연구 목적 : 본 연구의 목적은 패치영상을 이용한 딥러닝 신경망 기반 초고해상도 구현 알고리즘의 성능을 분석하는 것이다.. 패치영상을 이용하여 딥러닝 신경망 기반 초고해상도 구현시 제로 패딩 문제와 패치 영상 학습 데이터의 중복 문제가 시스템의 성능에 영향을 주며, 이에 대한 해결방법을 제시하고 성능을 분석한다.
개요: 본 연구에서는 전체 영상 입력을 사용하는 대신 패치 영상을 기반으로 하는 SRResNet 딥 러닝 모델을 사용하여 고전적인 단일 영상 초해상도 구현 문제를 다룬다 32x32x3 규격의 학습 패치 영상은 640x640x3 규격의 단일 전체 영상에서 추출되는데, 패치 영상을 기반으로 하는 방법은 상대적으로 작은 컴퓨팅 자원을 요구하고, 상대적으로 덜 복잡한 네트워크로도 구현이 가능하다는 것 등 다양한 장점이 있다. 패치 영상 기반 접근 방식은 초고해상도 구현에 있어서 영상의 국소적인 특성에 집중함으로써 상대적으로 기존 방법에 비하여 초고해상도 구현 성능을 향상시킬 수 있다. 다만, 초고해상도 구현에 있어서 패치 영상을 이용한 딥러닝 모델의 성능을 저하시키는 대표적인 두 가지 문제가 존재하는데, 그 중 하나는 제로 패딩으로 인하여 획득한 고해상도 패치 출력 영상에 테두리 왜곡을 유발하여 재구성된 영상의 질적 열화가 심각하게 생길 수 있다는 것이고, 또 다른 문제는 하나의 전체 영상에서 추출된 다량의 유사한 중복 패치데이터로 인한 학습 성능 저하이다. 단순한 제로 패딩의 문제점을 보상하기 위해 부분 합성곱 기반 패딩(Partial convolution based padding : PCP)을 고려하였는데, PCP 는 합성곱 출력에 보정비율계수를 곱하여 제로 패딩된 입력으로부터 구한 합성곱 출력 값을 보정함으로써 제로패딩 효과를 보상하였으며, 기존 PCP 방식을 보완한 부호화 PCP 및 적응형 PCP 라는 보다 정교한 알고리즘을 제시하였다.
중복된 패치 학습 데이터 문제를 해결하기 위해 학습 데이터의 수집에 있어서 데이터의 다양성(diversity)을 고려하는 DPP(determinantal point process) 기반 패치 학습 데이터 수집 알고리즘을 제안하였는데, DPP 기반 알고리즘은 데이터셋의 다양성을 고려함으로써 학습 데이터셋의 학습 성능을 높이고, 중복되고 유사한 패치 데이터를 무시함으로써 훈련 데이터셋의 양을 현저히 감소시켜 학습의 효율을 높일 수 있다. 실험 결과를 통하여 패치 입력 기반의 딥러닝 접근 방식이 SR 성능을 향상시킬 뿐만 아니라 딥러닝 구현에서 컴퓨팅 비용을 상당히 절약할 수 있음을 확인할 수 있다.