라이트필드는 공간정보를 시공간의 제약 없이 복원하기 위하여 빛의 세기와 방향을 한 장의 영상으로 저장하는 기술이다. 이는 각종 실감 미디어 콘텐츠를 제작하는 데 사용되므로 최근 산업적으로 많은 관심을 받고 있다. 그러나 정교한 라이트필드를 취득하기 위해서는 고가의 전문적인 장비가 필요하다. 본 논문에서는 이러한 장비를 사용하지 않고 단안 영상으로부터 라이트필드를 합성하는 딥러닝 기반 방법에 관한 연구를 다룬다.
먼저, 얼굴 라이트필드 합성에 관한 연구를 다룬다. 얼굴 라이트필드 합성 모델을 학습시키기 위해서는 취득에 많은 시간과 비용이 소요되는 다량의 얼굴 라이트필드 데이터가 필요하다. 또한 라이트필드는 다량의 영상정보 처리가 필요하므로 온 디바이스로 처리하는 데 어려움이 있다. 이를 극복하기 위하여 본 논문에서는 600장으로 구성되는 가상 얼굴 라이트필드 데이터셋을 구축한다. 그리고 이를 이용하여 학습되는 온 디바이스 라이트필드 합성 모델을 설계한다. 또한 누구나 손쉽게 얼굴 라이트필드를 취득하고 이용할 수 있도록 응용 프로그램을 개발한다. 실험 결과를 통하여 제안하는 방법은 다양한 플랫폼에서 정성적, 정량적으로 우수한 성능을 달성함을 확인할 수 있다.
다음으로, 새로운 장면 표현법을 기반으로 하는 일반화된 장면에서의 라이트필드 합성에 관한 연구를 다룬다. 기존의 계층적 표현법 기반의 라이트필드 합성 방법은 레이어 별로 단일의 깊이 값을 가진다. 그러나 이러한 방식은 불연속적인 레이어의 깊이로 인하여 매끄럽지 않고 부정확한 합성 결과를 유발한다. 이를 해결하기 위하여 본 논문에서는 variable layered depth image (VLDI)로 명명한 새로운 장면 표현법과 이를 효율적으로 구축하기 위한 프레임워크를 제안한다. VLDI는 레이어의 화소 별로 깊이 값을 가지기 때문에 적은 수의 레이어로도 매끄럽고 정확한 합성 결과를 만들 수 있다. 그뿐만 아니라 제안하는 프레임워크는 영상 품질의 저하를 방지하고 처리시간을 줄일 수 있는 VLDI 변형 과정을 포함한다. 결과적으로 제안하는 방법은 정성적, 정량적 평가에서 state-of-the-art 수준의 성능을 달성함과 동시에 일반화된 장면에서도 단안 영상만으로 사실적인 결과를 합성할 수 있음을 확인할 수 있다.