무형문화재의 보호 및 개발은 전 세계적으로 직면하고 있는 중요한 과제이다. 첨단 기술을 통해 무형문화재에 대한 디지털 개발은 무형문화를 보호하는 중요한 수단이다. 경극(京劇)의 검보(검譜)는 중국 전통 희극에서 사람 얼굴을 화장하는 독특한 방법에 의한 것이다. 검보는 강력한 중화민족의 특징을 지니고 있고 문화적 의미가 깊게 담겨 있으면 미적, 문화적, 실용 가치를 가지고 있다.
증강현실(Augmented Reality, AR) 기술은 최근 컴퓨터 그래픽스 분야에서 각광을 받고 있는 분야이다. 컴퓨터에서 생산된 가상 디지털 정보를 현실 환경과 오버레이 할 뿐만 아니라 이 두 가지 소요를 하나로 융합시킬 수 있다. 디스플레이 장치를 통해 가상 장면을 나타내어 현실 환경 속의 정보 증강 효과를 얻는다. 증강현실 기술을 이용하여 경극 검보에 대해 디지털화 개발은 가상 검보를 실시간 사람 얼굴에 오버레이 하는 동시에 영사, 표정 변화, 모양 변화 등을 실현하는 것이다. 또한 이를 통해 더 많은 사람들이 경극 검보의 재미를 느끼게 한다.
얼굴 동태 증강현실은 자연 환경에서 실시간 얼굴 표정 포착 및 자세예측을 연구 대상으로 한다. 또한 가상 얼굴 및 현실 얼굴 정보의 오버레이를 실현하는 것을 목표로 한다. 이와 비슷한 많은 연구로는 예를 들면 사람 얼굴을 증강 대상으로 한 이동식 가상 화장 판매 시스템, 얼굴 보정, 카툰 디지털화 등 얼굴 표정 포착 및 자세 예측 등이 있다. 얼굴 동태 표정을 주요 특징으로 한 증강현실 응용 연구는 얼굴 특징을 인식하는 방법으로 가상 얼굴과 현실 얼굴을 매칭시키고 융합하는 기초이자 결정적인 요소이다. 최근 십 몇 년간 특정한 조건의 얼굴 특징 인식에 대한 많은 연구가 이뤄졌고 높은 성과를 거두었다. 이 많은 연구를 살펴보면, 기존의 방법을 가지고 자연 환경에서의 얼굴 인식 비율 및 정확도 측면에서 얼굴 구역을 중심으로 둔 증강현실 얼굴 포착 및 허실 얼굴 융합의 수요를 만족시키지 못하고 있다. 따라서 본 논문은 얼굴의 동태 변화가 심하고 표정이 복잡한 환경에서 얼굴 특징을 어떻게 인식할 것인가에 대하여 연구를 하였다. 얼굴 동태 증강현실 시스템은 제한 조건 없는 환경에서 응용되는 데에 기초를 마련하였고, 가상 및 현실 얼굴 융합 효과를 향상시켰다.
구체적인 내용은 다음과 같다.
우선 얼굴 동태 증강현실 기술에 대해 연구하였다. 상기 내용에서 제시된 얼굴 특징 인식의 문제점과 어려움을 찾아냈다. ① 인종, 성별, 나이에 따라 사람 얼굴 외형 및 부분 모양은 차이가 심하였다. ②얼굴 구조는 얼굴 자세 및 표정에 따라 뚜렷한 변화가 생겼다. ③자연 조건에서 포착한 얼굴 영상은 가려진 경우가 있고, 여기서 추출한 얼굴 모형은 안정적이지 않았다. ④얼굴 특징을 추출하는 주변의 환경의 특징으로 인하여 디멘션(Higher dimension) 특징이 모이는 문제가 생긴다.
상기 문제를 대상으로 얼굴 자세의 변화가 심하고 표정이 복잡한 조건을 가진 얼굴 특징 인식 기술을 연구하였다. 회귀형상(Recursion algorithm) 얼굴 특징 재구축인식 방법을 제시하였다. 이 방법은 얼굴 부분 특징에 대한 희소 제약(Sparse constraint)은 물론이고 얼굴 전체 모양에 대한 제약도 가능하였다. 얼굴의 부분 특징과 전체 모양에 대한 학습은 효율적으로 결합시켰다. 더 좋은 인식 효과를 달성하고 복잡한 환경에서 정확도를 높이기 위하여 본 연구는 다(多)초기화와 다(多)파라미터를 결합하는 전략을 선택하였다.
세 번째, 인식 효과를 높이기 위하여 얼굴 영상 중 대량의 특징을 추출하고 학습 모델의 크기를 조절하며 계산 효율을 향상시켰다. 모델 압축 얼굴 특징 증강 방법을 제시하였다. 데이터 중 예측한 특징 수량 및 위치를 선택 후 압축하였다. 압축된 얼굴 모형에 대해 학습시켰다. 많은 얼굴특징과 대응되는 희소 계수 간의 근사치를 회귀분석 후 대응되는 회귀영사함수를 구해냄으로써 얼굴 모형을 재구축하여 얼굴 특징을 증강시키는 목적을 달성하였다.
이어서 상기 제시한 개선 방법을 활용하여 얼굴 동태 증강현실 기술을 기반으로 경극 검보를 디지털화하고 개발하였다.
마지막으로 설문 조사 방법을 이용하여 경극 검보 증강현실 기술 응용에 대한 사용자 체험 밑 성능 평가를 실시하였다. 이를 통해 개선 방법의 유효성을 테스트하고 존재하는 문제점을 제기하였다.
요약하면, 증강현실을 기반으로 경극 검보 무형문화재의 디지털화 개발연구를 통해 얼굴 증강현실 기술을 연구하였고, 얼굴 인식의 응용성, 유창성 및 정확도에 대한 좋은 체험 효과를 나타날 수 있도록 하였다. 끝으로 본 논문이 얼굴 동태 증강현실 응용 연구 및 무형문화재 디지털 개발에 도움이 되었으면 한다.