표제지
초록
Abstract
목차
제1장 서론 15
1.1. 문제 배경 및 정의 15
1.2. 논문의 구성 21
제2장 기존의 연구 22
2.1. 2차원 영상으로부터의 얼굴 텍스처 생성 22
2.2. 영상 분할 24
2.3. 영상 합성 27
제3장 Macro 수준의 멀티모달 얼굴 텍스처 생성 기법 32
3.1. 텍스처 생성 34
3.1.1. 입력 영상 기반의 텍스처 생성 34
3.1.2. 메타휴먼 기반의 텍스처 선택 37
3.2. 안구 색 설정 40
3.3. 실험 결과 41
제4장 Micro 수준의 멀티모달 얼굴 텍스처 생성 기법 45
4.1. 데이터셋 취득 45
4.2. 피부 요소 분할 48
4.3. 피부 요소 합성 49
4.4. 실험 결과 52
4.4.1. 피부 요소 분할의 평가 52
4.4.2. 피부 요소 합성의 평가 54
4.4.3. 텍스처 생성 결과 67
제5장 결론 및 향후 연구 70
참고문헌 73
표 4.1. 영상 분할에 대한 정량적 평가. 각 모델에 대해 개선 모듈 추가 전과 후 비교. U-Net*, FCN*, DeepLabv3*는 개선 모듈 추가 후 결과 54
표 4.2. 피부 요소 합성에 대한 정량적 비교 평가. 얼굴 영역의 라벨 또는 피부 요소 라벨만 이용한 모델 결과와 비교 56
표 4.3. 피부 요소 종류에 따른 정량적 비교 결과 62
표 4.4. 다양한 이미지 합성 모델에서의 정량적 비교 결과. SPADE*와 SEAN*는 피부 요소 라벨을 추가한 분할 맵을 이용해 학습한 모델 결과 63
표 4.5. CelebAMask-HQ 데이터셋을 이용한 정량적 비교 결과. Pix2PixHD*는 피부 요소 라벨을 추가한 분할 맵을 이용해 학습한 모델 결과 63
그림 1.1. 텍스처 다양성의 중요성. (a) 입력 영상, (b) 메쉬 모델, (c) 난반사 맵만을 이용한 렌더링 결과, (d) 최종적인 렌더링 결과. 우측 하단은 일부 영역에 대해... 16
그림 1.2. 제안하는 기법의 흐름도 17
그림 1.3. 제안하는 기법의 단계별 결과 18
그림 1.4. 얼굴 합성의 다양성 19
그림 1.5. 영상 분할 데이터셋. 피부 요소 데이터셋은 좌로부터 주름, 모공, 홍조 분할 맵을 나타냄 19
그림 2.1. 영상 분할 연구의 분류 25
그림 2.2. 대표적인 영상 분할 모델의 구조 27
그림 2.3. 대표적인 분할 맵 기반 영상 합성 모델인 Pix2PixHD와 SEAN 모델 결과 29
그림 3.1. 제안하는 얼굴 텍스처 생성 기법의 흐름도 33
그림 3.2. (a) 메타휴먼 얼굴 텍스처, (b) 메타휴먼 목 텍스처 35
그림 3.3. 입력 영상에 따른 난반사 텍스처 생성 결과. 좌로부터 입력 영상, 얼굴 난반사 텍스처, 목 난반사 텍스처 생성 결과 36
그림 3.4. 캐비티 맵과 법선 맵 선택 과정 37
그림 3.5. 입력 영상에 따른 캐비티 맵과 법선 맵 결과. 좌로부터 입력 영상, 캐비티 맵, 법선 맵 39
그림 3.6. 안구 색 설정 설명. (a) 안구 색 설정에 이용되는 입력 영상의 눈 위치, (b) 메타휴먼 홍채 색 팔레트 40
그림 3.7. 입력 영상에 따른 텍스처 맵핑의 정성적 비교 결과 43
그림 3.8. 3D 얼굴 렌더링 결과. 좌측, 정면, 우측 결과와 법선 맵과 캐배티 맵을 사용하지 않았을 때 렌더링 결과 44
그림 4.1. 얼굴 합성의 전체 흐름도 46
그림 4.2. 데이터 예시. (a) 얼굴 정면 영상, (b) 주름 영상, (c) 모공 영상, (d) 홍조 영상 47
그림 4.3. 참가자에 대한 피부 유형 및 연령별 분포 그래프 48
그림 4.4. 제안하는 피부 요소 영역 조절 기법 51
그림 4.5. 피부 요소 분할에 대한 정성적 비교. (a) 주름, (b) 모공, (c) 홍조. U-Net*, FCN*, DeepLabv3*는 개선 모듈 추가 후 결과 55
그림 4.6. 피부 요소 합성에 대한 정성적 비교. (a) 피부 영역으로만 이루어진 라벨 영상으로 학습한 모델 결과, (b) 피부 요소로만 이루어진 라벨 영상으로 학습한... 58
그림 4.7. 피부 요소 합성에 대한 정성적 비교. (a) 피부 영역으로만 이루어진 라벨 영상으로 학습한 모델 결과, (b) 피부 요소로만 이루어진 라벨 영상으로 학습한... 59
그림 4.8. 얼굴 전체 영역 합성의 정성적 결과 60
그림 4.9. 피부 요소 조절에 따른 얼굴 합성 결과. (a) 주름, (b) 모공, (c) 홍조 61
그림 4.10. 다양한 이미지 합성 모델에서의 정성적 비교 결과. SPADE*와 SEAN*는 피부 요소 라벨을 추가한 분할 맵을 이용해 학습한 모델 결과 64
그림 4.11. CelebAMask-HQ 데이터셋을 이용한 정성적 비교 결과. Pix2PixHD*는 피부 요소 라벨을 추가한 분할 맵을 이용해 학습한 모델 결과. 왼쪽 아래는 입력... 65
그림 4.12. CelebAMask-HQ 데이터셋을 이용한 정성적 비교 결과. Pix2PixHD*는 피부 요소 라벨을 추가한 분할 맵을 이용해 학습한 모델 결과. 왼쪽 아래는 입력... 66
그림 4.13. 피부 요소 감소 시 텍스처 생성 결과. 라벨 영상을 통해 합성된 영상과 그에 따라 생성된 난반사 텍스처 68
그림 4.14. 피부 요소 증가 시 텍스처 생성 결과. 라벨 영상을 통해 합성된 영상과 그에 따라 생성된 난반사 텍스처 69