표제지
초록
Abstract
목차
제1장 서론 16
1.1. 문제 배경 및 정의 16
1.2. 논문의 구성 20
제2장 기존의 연구 21
2.1. 의미론적 분할 21
2.2. 군중 계산 23
2.3. 어텐션 기법 27
제3장 제안 기법 개요 30
제4장 RGB-D 의미론적 분할을 위한 융합 방법 32
4.1. 전반적인 프레임워크 32
4.2. 융합 모듈 구조 33
4.3. 실험 결과 37
4.3.1. 정량적 결과 39
4.3.2. 정성적 결과 43
4.3.3. Ablation Study 45
제5장 RGB-T 군중 계산을 위한 융합 방법 48
5.1. 전반적인 프레임워크 48
5.2. 융합 모듈 구조 51
5.3. 실험 결과 53
5.3.1. 정량적 결과 55
5.3.2. 정성적 결과 58
5.3.3. Ablation Study 58
제6장 결론 및 향후 연구 62
참고문헌 65
표 4.1. NYUDv2-13 데이터셋에 대한 RGB-D 의미론적 분할 정량적 비교 40
표 4.2. NYUDv2-40 데이터셋에 대한 RGB-D 의미론적 분할 정량적 비교 41
표 4.3. SUN-RGBD 데이터셋에 대한 RGB-D 의미론적 분할 정량적 비교 42
표 4.4. NYUDv2-40 데이터셋에 대한 IMA 블록의 각 모듈 효과에 대한 정량적 평가 47
표 4.5. NYUDv2-40 데이터셋에서 제안된 블록의 위치에 따른 정량적 평가 및 비교 47
표 5.1. RGBT-CC 데이터셋에서 다양한 백본으로 구현된 모델의 정량적 비교 56
표 5.2. ShanghaiTechRGBD 데이터셋에서 다양한 백본으로 구현된 모델의 정량적 비교 56
표 5.3. RGBT-CC 데이터셋에서 계수 성능 평가 결과 56
표 5.4. ShanghaiTechRGBD 데이터셋에서 계수 성능 평가 결과 57
표 5.5. RGBT-CC 데이터셋에서 BL 백본을 사용한 절제 연구 결과 60
표 5.6. ShanghaiTechRGBD 데이터셋에서 BL 백본을 사용한 절제 연구 결과 61
표 5.7. RGBT-CC 데이터셋에서 다양한 조명 조건에 따른 BL 백본 기반 모델 평가 결과 61
그림 1.1. RGB-D 데이터 응용 분야 예시. 자율 주행 자동차 환경 인식(좌)와 로봇 환경 기반 물체 인식(우) 17
그림 1.2. RGB-T 데이터 응용 분야 예시. 야간 환경에서 객체 탐지(좌)와 객체 추적(우) 18
그림 2.1. 전통적인 의미론적 분할 모델의 구조 22
그림 2.2. 초기 RGB-D 의미론적 분할 모델의 구조 23
그림 2.3. 다중 경로 기반 모델 및 단일 경로 기반 모델 구조 25
그림 2.4. RGB-T 및 RGB-D 쌍의 시각화. (a) 극도로 열악한 조명 환경에서 열화상 이미지의 긍정적 효과 예시, (b) 외부 열성 물체로 인한 부정적 효과 예시,... 26
그림 2.5. 셀프-어텐션 및 비국소 블록 구조 29
그림 4.1. RGB-D 의미론적 분할을 위한 제안하는 듀얼 스트림 네트워크 33
그림 4.2. SIM-NL(Shared Intra-inter Modal Non-local) 모듈 구조. 각 모달리티에 대한 벡터를 연결하고 어텐션 맵 계산을 위해 공유된 학습 가능한 모델 매개변수를 사용함 34
그림 4.3. ACF(Adaptive Channel-wise Fusion) 모듈 구조. SIM-NL에서 처리된 특징에 새로운 가중치를 부여하여 향상된 정보를 추출함 35
그림 4.4. 각 어텐션 맵에 대한 시각적 비교. (a) 모달리티 내(intra), (b) 모달리티 간(inter), (c) 모달리티 내부 및 모달리티 간(intra-inter) 어텐션 맵 36
그림 4.5. NYUDv2-40 데이터셋에서 모달리티 내(intra-modal), 모달리티 간(inter-modal), 제안하는 방법의 정성적 비교 44
그림 4.6. 세 가지 다른 구조에서 NYUDv2 데이터셋에 대한 모달리티 내(intra), 모달리티 간(inter), 제안하는 방법(intra-inter)의 성능 비교 결과 그래프. 제안하... 45
그림 5.1. 단일 모달리티 군중 계산에서 다중 모달리티로 확장하기 위해 제안하는 통합 네트워크 구조. CSCA 블록은 다중 모달리티 데이터 간의 전역 특징 상관... 49
그림 5.2. 블록 구조 간의 비교. (a) 일반적인 비국소 블록 (b) 제안하는 SCA 블록. 파란색 글씨는 SCA 블록의 차원 변환을 나타냄. Ĉ = C' Gl, S × C = N × C', S = N/Gl[이미지참조] 50
그림 5.3. 군중 계수에 대한 정성적 비교 결과. (a)와 (b)는 서로 다른 조명 조건에서의 입력 RGB 이미지 및 열화상 이미지. (c)와 (d)는 RGB 기반 및 열화상 기반 네트워크 결과. (e)와 (f)는 초기 융합 및 후기 융합 결과. (g)와 (h)는... 59