Novel View Synthesis (NVS)는 어떤 장면이나 물체를 여러 각도에서 촬영한 영상과 각 영상을 찍은 카메라의 매개변수를 알고 있을 때, 임의의 새로운 시점에 대한 영상을 합성해 내는 과업이다. 양질의 새로운 시점에 대한 영상을 얻기 위해서는 각 영상을 찍은 카메라의 정확한 매개변수를 알아내는 것이 필수적이다. 하지만 실세계 데이터셋의 경우, 입력 영상을 촬영한 카메라의 매개변수에 대한 ground-truth (GT)를 알 수 없는 상황이 빈번히 발생하기 때문에, 특징점 기반 알고리즘을 이용해 카메라 매개변수 값을 추론한 후 NVS 문제를 푸는 경우가 대부분이다. 이 경우, 알고리즘의 성능이나 영상 데이터의 품질 문제로 카메라 매개변수가 불완전하게 추론되어 약간의 오차를 포함한다. 따라서 새로운 시점에 대해 합성한 영상은 좋지 않은 화질을 가지게 되는 문제점이 발생한다.
본 논문에서는 카메라 매개변수에 포함되어 있는 노이즈를 뉴럴넷 기반 최적화 프레임워크를 통해 최소화 하는 새로운 방법을 제안한다. 제안하는 방법은 입력 영상들 간에 기하학적 일관성(geometric consistency)과 광도 일관성(photometric consistency)이 유지될 수 있도록 뉴럴넷의 역전파를 이용해 카메라 매개변수에 대한 최적화를 수행한다. 이 두 가지 타입의 최적화는 서로 상호보완적으로 동작하며, 최적화가 끝난 후의 카메라를 얻은 후에는 선명한 렌더링이 가능해진다. 특히 제안하는 방법은 영상 기반 뉴럴 렌더링 기법에 기반을 두고 있기 때문에 임의의 장면이나 물체에 대해 일반적으로 동작한다.
실험에서는 데이터셋에 정의된 카메라 매개변수에 인위적으로 랜덤 노이즈를 추가한 카메라를 최적화 하는 경우와, 데이터셋의 카메라 자체로부터 최적화를 수행한 경우의 렌더링 결과를 비교한다. 실험에서의 렌더링 결과와 PSNR, SSIM, LPIPS 점수는 노이즈가 포함된 카메라가 최적화 되어 깨끗하고 선명한 렌더링이 가능해졌음을 보여준다. 또한 기존 데이터셋에 정의되어 있던 카메라보다도 성능이 향상된 것을 보여줌으로써 앞서 정의한 실세계 데이터셋의 카메라 자체가 가지고 있는 노이즈를 최적화 할 수 있음을 보여준다.