최근 합성곱 신경망(convolution neural network)의 뛰어난 특징 추출 능력으로, 입력층과 출력층 사이에 다수의 은닉층을 구성하여 복잡한 비선형 관계를 모델링하는 심층 신경망(deep neural network)이 다양한 태스크에 활용되고 있다. 좋은 성능을 위해서는 신경망의 구조가 타겟 태스크와 데이터에 적합하도록 설계되어야 하는데, 전문가의 경험에 의존하여 휴리스틱(heuristic) 방법으로 설계와 성능 평가를 반복하는 기존의 신경망 구조 설계 방식은 비효율적이며 설명 불가능하다. 신경망 구조 탐색(neural architecture search)은 자동화된 알고리즘으로 최적의 신경망 구조를 설계하기 위한 목적의 기술로써, 사람이 직접 설계한 신경망 구조의 성능을 능가하면서도 더 적은 시간적, 연산적 비용으로 좋은 신경망 구조를 탐색할 수 있는 효율적인 기술에 대한 연구가 진행되고 있다.
본 논문에서는 탐색 비용을 줄이기 위해 탐색 과정에서 학습되는 후보 구조 신경망의 가중치를 서로 공유하는 가중치 공유 신경망 구조 탐색을 위한 적응적 탐색 공간 정의와 탐색 조기 중단 기법을 설명한다. 제안하는 적응적 탐색 공간 정의 기법은 성능을 알고 있는 참조 신경망 구조를 기준으로 변경 규칙을 통해 주변을 탐색하여 효율적이며, 주어진 연산 자원에 따라 선택적으로 탐색 범위를 적용할 수 있어 상황에 적응적인 탐색 공간 정의 기법이다. 제안하는 탐색 공간 정의 및 조기 중단 기법은 기존의 대표적인 가중치 공유 신경망 구조 탐색 기술인 강화학습 기반 가중치 공유 신경망 구조 탐색 전략과 미분 가능 가중치 공유 신경망 구조 탐색 전략을 활용한 실험을 통해 효과를 확인하였다. 강화학습 기반의 후보 구조 샘플링 컨트롤러를 활용하는 강화학습 기반 가중치 공유 신경망 구조 탐색 실험에서는 ResNet-18과 ResNet-50 모델의 구조를 참조하여 합성곱 연산의 커널 크기에 대한 변경 규칙을 정의하고 4가지 수준 별 탐색 범위를 적용하는 적응적 탐색 공간을 대상으로 탐색을 진행하였다. 또한 후보 구조 샘플링 컨트롤러의 강화학습 과정에서 누적 감가 보상의 수렴성과 샘플링 행동 분포를 함께 고려하는 탐색 조기 중단으로 비용 절감을 확인하였다. 후보 구조들을 하나의 큰 신경망으로 구성하여 경사하강법 기반 최적화를 진행하는 미분 가능 가중치 공유 신경망 구조 탐색을 활용한 실험에서는 ResNet-50 모델의 구조를 참조하여 합성곱 연산의 커널 크기와 활성화 함수에 대한 변경 규칙을 정의하고 각 탐색 범위 별로 적용하는 탐색 공간을 탐색하였다. 또한 탐색 과정에서의 구조 파라미터 업데이트를 추적하여 탐색을 조기에 중단함으로써 탐색 비용을 줄일 수 있는 결과를 확인하였다.