표제지
초록
Abstract
목차
제1장 서론 15
1.1. 배경 및 문제 정의 15
1.1.1. 온 디바이스 얼굴 라이트필드 합성 17
1.1.2. VLDI 기반 라이트필드 합성 19
1.2. 논문의 구성 22
제2장 기존의 연구 23
2.1. 라이트필드 취득 23
2.1.1. 다중 카메라 배열 23
2.1.2. 라이트필드 카메라 24
2.2. 라이트필드 합성 26
2.2.1. 다중 입력 기반 라이트필드 합성 26
2.2.2. 단안 입력 기반 라이트필드 합성 28
2.3. 계층적 장면 표현법 기반의 시점 합성 29
2.3.1. Multiplane Image 29
2.3.2. Layered Depth Image 32
2.4. 가상 환경 데이터 생성 34
제3장 온 디바이스 얼굴 라이트필드 합성 36
3.1. 가상 얼굴 라이트필드 데이터셋 36
3.1.1. 3차원 얼굴 모델 생성 및 배경환경 모델링 36
3.1.2. 가상 라이트필드 렌더링 및 데이터셋 구축 38
3.2. 온 디바이스 라이트필드 합성 모델 40
3.2.1. Appearance Flow 기반 라이트필드 합성 40
3.2.2. Appearance Flow 추정 네트워크 41
3.2.3. 손실함수 42
3.2.4. 온 디바이스 구현 44
3.3. 실험 결과 45
3.3.1. 얼굴 라이트필드 합성의 정량적 평가 45
3.3.2. 얼굴 라이트필드 합성의 정성적 평가 46
3.3.3. 플랫폼별 처리시간 46
3.3.4. 온 디바이스 라이트필드 응용 GUI 프로그램 49
제4장 VLDI 기반 라이트필드 합성 52
4.1. VLDI 장면 표현법 52
4.1.1. VLDI의 구조 52
4.1.2. VLDI 렌더링 53
4.2. VLDI 구축 프레임워크 54
4.2.1. 입력 깊이 영상 취득 54
4.2.2. 합성 네트워크 56
4.2.3. VLDI 변형 57
4.2.4. 손실함수 58
4.3. 실험 결과 60
4.3.1. 라이트필드 합성의 정량적 평가 61
4.3.2. 라이트필드 합성의 정성적 평가 61
4.3.3. 재초점화 63
4.3.4. 깊이 추정 63
4.3.5. 모델 크기 및 처리시간 68
4.3.6. Ablation Study 69
제5장 결론 72
참고문헌 75
표 3.1. 시스템 세부 사양 45
표 3.2. 얼굴 라이트필드 합성의 정량적 평가 46
표 3.3. 플랫폼별 라이트필드 합성 처리시간 49
표 4.1. 라이트필드 합성의 정량적 평가 결과 62
표 4.2. 라이트필드 합성 모델의 크기와 처리시간의 비교 69
표 4.3. Ablation study 결과 71
그림 1.1. 4D 라이트필드의 표현 16
그림 1.2. DIBR 시스템의 흐름도 17
그림 2.1. 렌즈 배열 방식 라이트필드 카메라의 구조와 동작 원리 25
그림 2.2. Multiplane image의 구조 30
그림 2.3. Layered depth image의 구조 32
그림 2.4. UnrealCV로 생성한 도심 가상환경 비디오 라이트필드 데이터셋 35
그림 3.1. 가상 얼굴 라이트필드 데이터의 생성과정 37
그림 3.2. Appearance flow 기반 라이트필드 합성 과정 및 네트워크 구조 43
그림 3.3. 오차지도와 EPI 슬라이싱을 통한 얼굴 라이트필드 합성 결과의 정성적 비교 47
그림 3.4. 실제 얼굴 영상을 사용한 라이트필드 합성 결과 48
그림 3.5. 라이트필드 응용 GUI 프로그램의 구성 50
그림 3.6. 깊이 영상 추정 및 3차원 점 구름 복원 결과 51
그림 4.1. VLDI 구축 프레임워크를 통한 라이트필드 합성 과정의 전체적인 흐름도. MDE는 단안 기반 깊이 추정 모델을 의미한다. 프레임워크는 합성 네트워크와 VLDI 변형 과정으로 구성된다. 최종적인 합성 결과는 프레임워크로 추정한... 55
그림 4.2. Flower 데이터셋에 대한 오차지도와 EPI 슬라이싱을 통한 라이트필드 합성의 정성적 비교 64
그림 4.3. Stanford, Kalantari 데이터셋에 대한 오차지도와 EPI 슬라이싱을 통한 라이트필드 합성의 정성적 비교 65
그림 4.4. 합성 결과 확대를 통한 라이트필드 합성의 정성적 비교 66
그림 4.5. 라이트필드 재초점 결과의 정성적 비교. 위에서부터 첫번째 장면의 전방 재초점, 후방 재초점 결과, 두번째 장면의 전방 재초점, 후방 재초점 결과이다. 67
그림 4.6. 깊이 추정 결과의 비교 68