표제지
목차
요약 9
Abstract 10
1. 서론 11
2. 종래기술 17
2.1. 메타 학습 17
2.2. MAML 기반의 다양한 메타 학습 기법 19
3. 제안 기법 22
3.1. 배경 지식 25
3.1.1. MAML 25
3.1.2. 배치 정규화의 조정에 대한 불변성 27
3.2. 그래디언트 조정 29
3.3. 조정 인자 생성 30
3.4. 조정 인자 생성 네트워크의 활성화 함수 32
4. 실험 결과 35
4.1. 실험 환경 및 구현에 대한 세부사항 36
4.2. 정량적 실험 결과 39
4.3. 정성적 실험 결과 45
4.3.1. 레이어별 그래디언트 노름의 분포 45
4.3.2. 특징 표현의 변화 46
4.3.3. 임베딩된 특징에 대한 시각화 48
4.4. 최적화 과정에서의 지형 분석 51
4.5. 타 기법과의 결합을 통한 확장성 55
5. 결론 60
참고문헌 62
표 1. CONV-4에서의 퓨샷 분류에 대한 실험 결과. 42
표 2. ResNet-12에서의 퓨샷 분류에 대한 실험 결과. 43
표 3. CONV-4에 대한 교차 도메인 퓨샷 분류 실험 결과. 44
표 4. ResNet-12에 대한 교차 도메인 퓨샷 분류 실험 결과. 44
표 5. 결합 기법의 퓨샷 분류에 대한 실험 결과. 57
표 6. 결합 기법의 교차 도메인 퓨샷 분류에 대한 실험 결과. 57
그림 1. MAML 및 제안 기법의 특징 임베딩 개념도. 새로운 태스크가 주어질 때 MAML은 특징 추출을 담당하는 백본보다 분류기의 결정 경계를 학습하는... 16
그림 2. 메타 학습의 개념도. 사전에 다양한 태스크들을 학습함으로써 이들을 관통하는 공통된 메타 지식을 먼저 학습한다. 이후 새로운 태스크가 주어졌을... 17
그림 3. MAML의 동작 개념도. MAML은 먼저 여러 태스크들로부터 웨이트 초기값 θ를 학습한다. 이를 각각의 새로운 태스크에 전이시켜 적응 과정에 이... 18
그림 4. 학습 단계에서 MAML의 적응 과정에서의 각 레이어별 그래디언트 노름을 로그 스케일로 보여주는 그래프. y축은 로그 스케일로 표현되어... 23
그림 5. 제안 기법의 전체 네트워크 구성도. 24
그림 6. 여러 태스크들로 구성된 미니 배치 B를 통한 학습 흐름도. 한 태스크 내에서는 서포트 셋과 쿼리 셋 모두 같은 종류의 클래스를 공유하지만 각 클... 26
그림 7. 조정 인자를 생성하는 서브 네트워크 gφ의 구성도. gφ는 2개의 레이어를 가지는 MLP이며 레이어 사이에는 ReLU 활성화 함수가, 마지막 단에는...[이미지참조] 30
그림 8. 활성화 함수의 종류에 따른 출력값 분포도. 34
그림 9. 활성화 함수의 종류에 따른 그래디언트 조정값의 분포도. 34
그림 10. CONV-4 네트워크의 구성도. 37
그림 11. ResNet-12 네트워크의 구성도. 38
그림 12. 제안 기법의 적응 과정에서의 각 레이어별 그래디언트 노름. MAML의 경우와는 다르게 분류기의 그래디언트 노름이 감소한 것을 볼... 46
그림 13. 적응 과정 전후의 특징 간 유사도 변화. 47
그림 14. t-SNE를 이용한 특징 표현에 대한 시각화. 50
그림 15. Loss landscape 53
그림 16. Gradient predictiveness 54
그림 17. Effective β smoothness 54
그림 18. 결합 기법과 타 기법과의 적응 과정 전후 특징 간 유사도 변화 비교. 58
그림 19. t-SNE를 이용한 결합 기법의 특징 표현에 대한 시각화. 59