소화기 내시경은 현재 진단과 수술에서 큰 효과를 보여 의료현장에서 많이 사용되는 기기들 중 하나이다. 특히 질환의 진단에 있어서 그 효과가 증대되는데, 첫 번째로는 다른 영상의학 장비들과 달리 환자들이 방사선에 노출될 필요가 없다는 점이 있다. 두 번째로는 수술이나 절개가 필요없이 직접적으로 조직검사를 위한 조직을 떼어내기 용이하다는 점이 있다. 세 번째로는, 소화기 질환을 진단하는 다른 여러가지 방법의 검사들보다 검출율이 좋다는 점이 있다. 진단 만이 아니라, 치료에 있어서도 내시경은 효과적인데, 특히 식도암, 위암과 같은 경우에는 초기 단계일 경우 수술 없이 내시경만으로도 치료가 가능하며, 다른 전이가 없다면 항암치료 없이도 암의 완치가 가능하다. 그러나 소화기 내시경 술기와 진단은 많은 훈련이 필요하며, 교육과 경험에 따라 검사와 치료의 질이 달라지게 된다. 따라서 본 연구에서는 '컨볼루젼 뉴럴 네트워크를 활용한 장 정결도의 평가 연구', '컨볼루젼 뉴럴 네트워크를 활용한 호산구성 식도염의 분류 연구', '깊이 추정 네트워크를 이용한 소화기 내시경 영상의 깊이 추정 연구를 통해' 의사들의 경험과 숙련도의 차이에 따른 간극을 줄일 수 있는 연구들을 수행했다. 첫 번째 연구에서는 장 정결도를 평가하는 지표 중 하나인 Boston Bowl Preparation Scale (BBPS) 척도를 내시경 검사와 함께 실시간으로 예측하는 딥러닝 모델을 ResNet50 이라는 컨볼루젼 뉴럴 네트워크 기반의 모델을 사용하여 개발하였다. 그 결과 이미지 세트에 대해서는 약 80.5%의 정확도를 보였으며, 최종적으로 더러운지 깨끗한지에 대해서 구별하는 능력에 대해 평가하였을 때는 94%의 정확도를 보였다. 두 번째 연구에서는 유병률이 높진 않지만 점점 늘고 있는, 차후에 크론병과 같은 양상으로 확산될 것으로 전망되는 질병인 호산구성 식도염 (Eosinophilic Esophagitis, EoE)을 정상 식도의 내시경 영상과 구별하는 연구를 진행하였다. 더 높은 분류능을 얻기 위해 본 연구에서는 skip connection auxiliary classifier U-Net (sca U-Net)을 개발하여 사용하였다. 우선 Auxiliary classifier U-Net (aux U-Net) 모델은 인풋 이미지 복원과 이미지 분류를 동시에 학습하는 모델이다. Auto-encoder 의 아이디어를 착안하여, bottleneck 부분의 feature map 을 활용하기 위해 bottleneck 에 auxiliary classifier 가 붙은 모델로, skip connection 의 효과로 인풋 이미지의 복원이 auto encoder 와 달리 선명하다는 장점이 있다. 그래서 본 연구에서는 skip connection 이 reconstruction 에만 효과적인지, 아니면 분류에도 효과적인지 알아보기 위해 skip connection 부분에 auxiliary classifier 를 장착한 sca U-Net 을 개발하여 실험하고 비교를 위해서 aux U-Net 을 실험하였다. 뿐만 아니라 기존의 이미지 분류 모델과는 다르게 우선 인풋 이미지 복원과 분류를 동시에 학습하는 것이 효과적인지 알아보기 위해 VGG, ResNet, EfficientNet 을 실험하였다. 마지막 연구로는 단안 내시경 영상으로부터 depthmap 을 예측하는 연구를 진행하였다. Depthmap 은 관찰 시점으로부터 이미지의 각 픽셀까지 실제 공간에서 어느 정도의 거리를 가지는지 저장한 행렬로, 정확한 depthmap 이 있다면 2d 이미지를 3D reconstruction 하는 것 혹은 사이즈 측정 등 다양한 3d 관련된 application 으로 연장될 수 있다. 본 연구에서는 CT 를 volume rendering 하여 얻은 가상 내시경 영상과 이에 대응되는 depthmap 을 활용하였다. Image-to-image translation 을 활용하여 가상내시경을 실제 내시경과 비슷한 영상으로 변환하여 얻은 영상을 U-Net 에 전달하여, depthmap 을 추정하도록 만들어서, depth estimation 네트워크를 개발하였다. 그 결과 예측한 U-Net 의 depthmap 과 실제 depthmap 의 mean squared error 는 0.002, structural similarity 는 0.95 로 높은 성능을 확인할 수 있었다. 실제 내시경 영상에도 depthmap 을 예측하는 것과 3 차원 재구성을 통해 정성적으로 depthmap 이 얼마나 정확한지에 대해서 확인하였다.