본 논문에서는 심층신경망을 이용하여 IR-RGB 영상 간 정합을 수행하는 방법론을 제시한다. RGB 영상을 기준으로 IR 영상의 각 픽셀과 RGB 영상의 각 픽셀을 맵핑시킬 수 있도록 IR 영상을 변화하는 변환 필드(Deformation filed)를 추론하는 정합 네트워크를 제안한다. 또한 GAN구조의 양식 변환 네트워크(Modality tranformer Network)를 통하여 RGB 영상을 IR 영상으로 변환하는 과정을 학습, 기존에 문제였던 서로 다른 양식을 가진 영상간 유사도 비교 문제를 동일한 양식으로 통일함으로써 해결하였다. 정합 네트워크에 경우 어파인변환(Affine Transform)을 수행하는 어파인 행렬을 추론하는 AffineSTN과 직접적으로 두 영상간 변환필드를 추론하는 UnetSTN으로 2단계로 나누어 정합을 진행하므로써, 1차적으로 최적의 어파인 변환을 진행한 후 부분적으로 더 세밀한 부분은 UnetSTN을 통하여 정합을 수행함으로써 변환과정에서 발생하는 영상 왜곡을 완화시키고 일부 객체에 대해서만 정합을 수행하는 것이 아닌, 영상 전체에 대한 변환을 추론하는 비지도 기반 다중 양식 영상 정합 모델을 제시하였다. 또한 실험을 통하여 해당 모델이 영상정합에 효과적임을 실험을 통하여 입증하였다.