얼굴 텍스처 생성 기법은 얼굴 RGB 영상으로부터 3D 얼굴 모형에 해당하는 UV 좌표로 매핑하여 UV 맵을 생성하는 방법을 뜻한다. 게임 캐릭터와 디지털 휴먼 모델 생성에 사용되며 산업적으로 많은 관심을 받고 있다. 그러나 한 장의 얼굴 텍스처만을 이용하는 것은 얼굴의 기본 색상만을 나타낼 수 있고 피부 표면의 특징을 표현하지 못하기 때문에 비현실적인 렌더링 결과를 도출한다. 본 논문에서는 한 장의 얼굴 RGB 영상으로부터 매크로 수준 및 마이크로 수준에서 3D 휴먼 모델링을 위한 멀티모달 얼굴 텍스처 생성에 관한 연구를 다룬다.
먼저, 매크로 수준의 다양한 종류의 얼굴 텍스처 생성에 관한 연구를 다룬다. 얼굴 영상으로부터 메타휴먼 얼굴 모형의 UV 좌표를 이용해 매핑 과정을 거쳐 난반사 텍스처를 생성한다. 또한 굴곡과 같은 피부 표면을 표현하기 위해 변위 맵을 생성하고 이를 통해 기존 메타휴먼 중 굴곡이 비슷한 모델의 캐비티 맵(cavity map)과 법선 맵(normal map)을 선택하는 과정을 거친다. 또한 얼굴 2D 랜드마크 추출 과정 후 입력 영상에서의 눈 위치를 이용해 안구 색을 결정한다. 최종적으로 언리얼 엔진에서 메타휴먼의 얼굴 쉐이더와 눈 쉐이더를 이용해 모든 텍스처와 안구 색을 설정해 실험 결과를 보인다.
다음으로, 마이크로 수준의 멀티모달 얼굴 텍스처 생성에 관한 연구를 다룬다. 얼굴 RGB 영상으로부터 피부 요소 분할과 얼굴 영역 분할을 통해 라벨 영상을 생성한 후 딥러닝 기반 고해상도 영상 합성 모델을 이용해 얼굴 RGB 영상을 합성한다. 영역 단위가 아닌 화소 단위의 피부 요소 분할을 위해 분할 모델에 적용할 수 있는 개선 모듈을 제안한다. 개선 모듈을 적용하기 전과 후 분할 모델의 정량적 및 정성적 비교 평가를 진행하였다. 피부 요소 합성을 위한 라벨 영상 생성 과정에서 피부 요소를 조절하는 기법을 제안하여 한 장의 얼굴 라벨 영상으로부터 다양한 라벨 영상을 생성할 수 있게 하였다. 피부 요소의 영역을 편집하여 다양한 피부 유형을 표현할 수 있다. 실험 결과에서 피부 요소의 종류와 단계에 변화를 주어 다양한 얼굴을 합성할 수 있음을 확인할 수 있다.