본 논문에서는 심층 신경망을 구성·학습하여 차선 인식 및 도로 손상 영역을 인식하는 방법에 대해 제안한다. 자율주행을 위한 차선 인식의 경우, 높은 정확성과 빠른 연산 속도가 모두 중요시된다. 따라서 본 연구에서 제안하는 심층 신경망의 경우 연산 속도를 높이기 위해 그리드 맵을 적용한 세그멘테이션 방식을 사용하였다. 그리드 특성 맵에서 특성맵의 각 채널이 하나의 차선을 인식하고, 그리드 특성맵의 가로 행에서 차선이 포함된 그리드 하나를 선택하는 방식으로 네트워크를 구성하였으며, 4개의 채널을 사용하여 최대 4개의 차선을 인식할 수 있다. 도로 손상 영역의 경우, 손상의 종류를 인식하지 않고 손상 여부만 탐지하는 단일 클래스 그리드 맵 세그멘테이션을 적용하여 신경망의 연상량 증가를 최소화하면서 추가적인 결과를 얻을 수 있도록 구성하였다. 도로의 손상 종류를 탐지할 수는 없지만, 손상 여부 탐지만으로 자율주행 시나리오에서 주행 경로 결정에 도움을 줄 수 있을것으로 기대하며, 추가적인 시스템 또는 데이터베이스 구축으로 자동화된 도로 손상 인식 정보 수집 시스템을 구축하여 도로 유지보수에 도움을 줄 수 있다.
제안하는 심층 신경망은 크게 두 단계로 이루어져 있는데, 첫 번째 단계는 백본 네트워크(특성 추출기)이고 두 번째 단계는 결과 레이어이다. 백본 네트워크는 이미지의 일반적인 특성 추출을 목표로 하는 단계이고, 결과 레이어는 추출된 이미지의 특성에서 원하는 결과를 도출하는 것을 목표로 한다. 본 연구에서는 높은 수준의 특성 추출 성능을 보여주는 ResNeST 네트워크를 백본 네트워크로 사용하였다.