표제지
목차
Abstract 8
요약 10
1. 서론 12
2. 종래기술 16
2.1. 특징 간 분리 기법이 적용된 2D 생성 모델 16
2.2. 주파수 영역의 분석 기법을 활용한 2D 생성 모델 19
2.3. 3D 생성 모델 21
3. 공동 적대적 학습을 적용한 3D 생성 모델 24
3.1. 제안 기법 24
3.1.1. 문제 정의 24
3.1.2. 기반 모델 : GIRAFFE 25
3.1.3. 공동 적대적 학습 27
3.1.4. 학습 방법 및 손실 함수 29
3.2. 실험 결과 31
3.2.1. 실험 환경, 데이터셋, 평가 방법, 벤치마킹 모델 31
3.2.2. 정성적 실험 결과 33
3.2.3. 정량적 실험 결과 35
3.2.4. 비교 실험 결과 37
3.3. 한계점 38
4. 주파수 영역 분석을 적용한 3D 생성 모델 47
4.1. 제안 기법 47
4.1.1. 문제 정의 47
4.1.2. 초점 주파수 손실 함수를 적용한 3D 생성 모델 47
4.1.3. 고주파수 영역 보존 손실 함수를 적용한 3D 생성 모델 51
4.2. 실험 결과 52
4.2.1. 실험 환경 52
4.2.2. 정성적 실험 결과 52
4.2.3. 정량적 실험 결과 53
4.2.4. 비교 실험 결과 54
4.3. 한계점 55
5. 결론 57
참고문헌 59
표 3.1. 제안된 영상 단위 판별자 모듈의 신경망 구조. 29
표 3.2. 제안된 특징 단위 판별자 모듈의 신경망 구조. 29
표 3.3. 제안된 판별자 모듈 내 다층 신경망 구조. 29
표 3.4. 제안된 전경(또는 배경) 특징 추출을 위한 인코더 모듈의 신경망 구조. 30
표 3.5. 3D 생성 모델의 정량적 실험 결과. 36
표 3.6. 생성자의 파라미터 개수 비교. 37
표 3.7. 전경과 배경 분리 성능의 정량적 실험 결과. 37
표 3.8. StyleGAN-v2 생성자를 사용한 생성 모델의 정량적 실험 결과. 38
표 4.1. 3D 생성 모델의 정량적 실험 결과. 54
표 4.2. 제안된 모델의 α 값에 따른 영상 생성의 정량적 결과. 55
그림 1.1. GAN의 개요도. 13
그림 1.2. 기존 3D 생성 모델이 지닌 문제점. 14
그림 2.1. Goodfellow 등 [NeurIPS' 14]에서 표기된 GAN의 학습 진행에 따른 실제 영상과 생성된 영상의 분포도 변화. 17
그림 2.2. CycleGAN의 개요도. 17
그림 2.3. Mildenhall 등 [ECCV '20]가 제안한 NeRF의 개념도. 23
그림 3.1. 기반 모델 GIRAFFE의 개요도. 24
그림 3.2. Niemeyer 등 [CVPR '21] 에서 표기된 업 샘플링 모듈의 개념도. 26
그림 3.3. 제안된 모델의 개요도. 27
그림 3.4. 모델의 학습에 사용된 데이터셋. 32
그림 3.5. 정성적 실험 결과. 33
그림 3.6. 제안된 모델의 추가적 실험 결과. FFHQ 256²의 외관 변화에 따라 생성된 영상. 35
그림 3.7. 제안된 모델의 추가적 실험 결과. FFHQ 256²의 형체 변화에 따라 생성된 영상. 39
그림 3.8. 제안된 모델의 추가적 실험 결과. FFHQ 256²의 자세 변화에 따라 생성된 영상. 40
그림 3.9. 제안된 모델의 추가적 실험 결과. CompCars 256²의 외관 변화에 따라 생성된 영상. 41
그림 3.10. 제안된 모델의 추가적 실험 결과. CompCars 256²의 형체 변화에 따라 생성된 영상. 42
그림 3.11. 제안된 모델의 추가적 실험 결과. CompCars 256²의 자세 변화에 따라 생성된 영상. 43
그림 3.12. 제안된 모델이 랜덤으로 생성한 FFHQ 256²의 얼굴 영상. 44
그림 3.13. 제안된 모델이 랜덤으로 생성한 CompCars 256²의 자동차 영상. 45
그림 3.14. 제안된 모델의 한계점 46
그림 4.1. 초점 주파수 손실 함수를 적용한 생성 모델의 개념도 50
그림 4.2. 고주파수 영역 보존 손실 함수를 적용한 생성 모델의 개념도 52
그림 4.3. 주파수 영역 손실 함수가 적용된 생성 모델의 정성적 실험 결과 53
그림 4.4. 제안된 모델의 α 값에 따른 영상 생성의 정성적 결과 55
그림 4.5. 제안된 모델의 한계점 56