딥러닝은 하드웨어와 알고리즘의 발전과 함께 급속도로 성장하여 오늘날 많은 분야에서 활용되고 있다. 하지만 딥러닝은 데이터를 학습하는 과정에서 사람이 이해하기 힘든 블랙박스가 생성되어 왜 그렇게 학습이 되었는지 이해하기 힘들다. 이러한 블랙박스는 딥러닝이 도출한 결과와 딥러닝 모델 자체에 대한 신뢰성을 떨어트린다. 특히 의료, 금융 등 한 번의 결정이 막중한 결과로 이어지는 곳에서는 블랙박스로 인해 딥러닝의 결과를 신뢰하기 더욱 어렵다. 이러한 문제를 해결하고자 다양한 설명 가능한 인공지능 기법들이 연구되고 있다. 설명 가능한 인공지능 기법은 딥러닝 모델의 결과를 잘 추종하는 설명 가능한 모델을 대신 사용하여 블랙박스를 사람이 이해하기 쉬운 텍스트 및 이미지 등으로 설명하는 것이다.
본 논문에서는 온전한 형태의 선박이 들어있는 위성 이미지와 그렇지 않은 위성 이미지를 분류할 수 있는 합성곱 신경망을 만들고 설명 가능한 인공지능 기법 중 LIME과 필터 시각화 기법을 적용하여 합성곱 신경망의 블랙박스를 분석했다. LIME을 이용하여 합성곱 신경망이 이미지의 어느 부분에 집중하여 분류하는지를 확인하고 사람의 판단 기준과 어떻게 다른지를 비교 분석했다. 나아가 LIME이 설명을 위해 나눈 이미지의 Segment와 Label 및 합성곱 신경망 성능과의 관계에 대해 비교 분석했다. 필터 시각화 기법을 이용해서는 합성곱 신경망의 필터에 변화를 주었을 때의 성능변화와 함께 활성화된 필터를 비교 분석했다. 이를 통해 단순히 모형의 성능 수치만을 비교하는 것 이외에도 설명을 통해 사람이 이해하기에 타당하게 개선되고 있는지를 함께 분석했다.