표제지
초록
Abstract
목차
제1장 서론 13
제2장 관련 연구 15
2.1. 신경망 구조 탐색 15
2.2. 가중치 공유 신경망 구조 탐색 17
2.2.1. 강화학습 기반 가중치 공유 신경망 구조 탐색 17
2.2.2. 미분 가능 가중치 공유 신경망 구조 탐색 18
제3장 강화학습 기반 가중치 공유 신경망 구조 탐색을 활용한 2단계 신경망 파인튜닝 기법 21
3.1. 신경망 구조 파인튜닝 단계 23
3.1.1. 참조 신경망 구조를 활용하는 탐색 범위 별 탐색 공간 정의 23
3.1.2. 조기 중단을 활용하는 강화학습 기반 신경망 구조 탐색 29
3.2. 신경망 가중치 파인튜닝 단계 34
3.3. 실험 및 결과 37
3.3.1. 실험 환경 37
3.3.2. 신경망 구조 파인튜닝의 효과 38
3.3.3. 탐색 범위 간 비교 분석 40
3.3.4. 조기 중단 기법의 타당성 분석 42
3.3.5. 참조 신경망 모델의 확장 45
제4장 미분 가능 가중치 공유 신경망 구조 탐색을 위한 적응적 탐색 공간 정의 기법 50
4.1. 적응적 탐색 공간 정의 50
4.2. 미분 가능 가중치 공유 신경망 구조 탐색 전략 53
4.3. 실험 및 결과 55
4.3.1. 실험 환경 55
4.3.2. 탐색 결과 모델의 성능 비교 56
4.3.3. 구조 파라미터 업데이트 시각화 및 분석 58
제5장 결론 61
참고문헌 63
표 3.1. 탐색 범위 수준 별 탐색 공간 크기 28
표 3.2. 실험 활용 파라미터 정보 37
표 3.3. ResNet-18 기반 탐색 범위 수준 별 탐색 결과 신경망 구조 45
표 3.4. ResNet-50 기반 탐색 범위 수준 별 탐색 결과 신경망 구조 49
표 4.1. 실험 활용 파라미터 정보 55
표 4.2. 탐색 범위 수준 별 탐색 결과 신경망 구조 56
표 4.3. 탐색 결과 신경망 최종 성능 57
그림 2.1. 일반적인 신경망 구조 탐색 프레임워크 15
그림 2.2. 강화학습 기반 샘플링 컨트롤러 개요 17
그림 2.3. ENAS 탐색 학습 과정 18
그림 2.4. ProxylessNAS 탐색 학습 과정 20
그림 3.1. 2단계 신경망 구조 파인튜닝 모듈 21
그림 3.2. ResNet-18 모델 구조 24
그림 3.3. 기본 블록 구조 및 탐색 블록 구조 25
그림 3.4. Medium 탐색 범위를 적용한 탐색 신경망 모델 구조 27
그림 3.5. 서브넷 샘플링 컨트롤러 및 서브넷 학습 과정 30
그림 3.6. 신경망 모델 가중치 파인튜닝 과정 34
그림 3.7. 신경망 모델 가중치 파인튜닝 적용 예 35
그림 3.8. 탐색 범위 수준 별 가중치 파인튜닝 단계 비교 39
그림 3.9. ENASResNet 모델군 탐색 범위 수준 간 가중치 파인튜닝 단계 비교 41
그림 3.10. 서브넷 샘플링 컨트롤러의 행동 분포 히트맵 및 감가 누적 보상 43
그림 3.11. ResNet-50 모델 기반 기본 블록 구조 및 탐색 블록 구조 46
그림 3.12. Medium 탐색 범위를 ResNet-50 모델에 적용한 탐색 신경망 모델 구조 47
그림 3.13. ResNet-50 기반 탐색 범위 수준 별 가중치 파인튜닝 단계 비교 48
그림 4.1. Bottleneck 구조 및 탐색 블록 구조 51
그림 4.2. 탐색 범위 수준에 따른 탐색 공간 구성 52
그림 4.3. 미분 가능 가중치 공유 탐색 과정 53
그림 4.4. 탐색 결과 신경망 검증 정확도 57
그림 4.5. 탐색 블록 구조 파라미터 업데이트 경향 - 1 59
그림 4.6. 탐색 블록 구조 파라미터 업데이트 경향 - 2 60