표제지
초록
목차
1. 서론 10
1.1. 연구동기 10
1.2. 연구목표 12
1.3. 논문의 구성 13
2. 배경 지식 및 관련 연구 14
2.1. 심층신경망 영상 정합 및 스타일 변환 모델 14
2.2. 영상 정합 모델 15
2.2.1. STN (Spatial Transformer Network 15
2.3. 스타일 변환 모델 18
2.3.1. Pix2Pix 18
2.3.2. CycleGAN 21
2.4. 복수 양식 영상 유사도 비교 방법론 24
2.4.1. NEMAR 24
3. 제안하는 방법론 27
3.1. 제안하는 모델 구성도 27
3.2. 영상 정합 네트워크 29
3.2.1. Grid-sampler 29
3.2.2. AffineSTN 30
3.2.3. UnetSTN 32
3.3. 양식변환 네트워크 (Modality transformer) 34
3.4. 손실함수 37
3.4.1. 영상 정합 네트워크 손실함수 37
3.4.2. Smooth loss 38
3.4.3. 양식 변환 네트워크 손실함수 38
3.5. 정규화 방식 39
3.5.1. Batch Norm 39
3.5.2. Instance Norm 40
4. 실험 및 결과 42
4.1. 실험환경 및 평가 방식 42
4.1.1. 실험 데이터셋 42
4.1.2. 평가방식 45
4.2. 제안하는 구조에 대한 실험 47
4.2.1. 실험방식 및 결과 47
4.2.2. 실험 분석 48
4.3. 활성화 함수에 따른 실험 50
4.3.1. 실험방식 및 결과 50
4.3.2. 실험 분석 51
4.4. 정규화 방식에 따른 실험 53
4.4.1. 실험방식 및 결과 53
4.4.2. 실험 분석 54
4.5. 학습률에 따른 실험 56
4.5.1. 실험 방식 및 결과 56
4.5.2. 실험 분석 56
5. 결론 및 검토 58
5.1. 결론 58
5.2. 검토 59
참고문헌 60
표 4-1. [제목없음] 43
표 4-2. [제목없음] 47
표 4-3. [제목없음] 50
표 4-4. [제목없음] 53
표 4-5. [제목없음] 56
그림 2-1. Spatial Transformer Layer 구조 16
그림 2-2. 샘플러를 통한 변환 적용 예시 17
그림 2-3. Pix2Pix 입력 구조 18
그림 2-4. Pix2Pix 결과 예시 20
그림 2-5. CycleGAN 순환 학습과정 21
그림 2-6. CycleGAN을 통하여 이미지 변환 결과 23
그림 2-7. NEMAR의 학습 구조 24
그림 2-8. 공간 유지 손실 함수 구조 26
그림 3-1. 제안하는 다중 양식 영상 정합 모델 구조 28
그림 3-2. 그리드 샘플러(grid-sampler) 작동 방식 29
그림 3-3. AffineSTN 구조 31
그림 3-4. UnetSTN 구조 33
그림 3-5. Modality Transformer 구조 35
그림 3-6. Tanh함수 출력 예시 36
그림 4-1. 데이터셋 예시 44
그림 4-2. IoU 계산 과정 45
그림 4-3. 모델 구조에 따른 실험결과 49
그림 4-4. 활성화 함수에 따른 실험결과 52
그림 4-5. 정규화 방식에 따른 실험결과 55
그림 4-6. 학습률에 따른 실험결과 57