RGB는 세 가지 기본 색상의 조합으로 다양한 시각적 정보를 제공하며, 객체 인식, 이미지 분할, 깊이 추정 등 다양한 분야에서 범용적으로 활용된다. 과거의 컴퓨터 비전 기법들은 주로 RGB 정보에만 의존해 문제를 해결했지만, 최근에는 센서 기술의 발전으로 다중 센서 입력을 활용한 네트워크 구조에 대한 연구가 활발해지고 있다. 다중 입력을 활용하면 네트워크가 단일 정보에 국한되지 않고 다양한 정보를 조합하여 더욱 정확한 예측 및 결과를 얻을 수 있다. 하지만 각 입력 데이터는 고유한 특성을 가지고 있으므로 이들을 효과적으로 융합하는 것은 여전히 어려운 문제이다. 따라서, 본 논문에서는 RGB 데이터를 기반으로 하여 깊이나 열 화상과 같은 추가 모달리티와의 효율적인 결합을 목표로 하며, 다양한 입력 정보를 종합적으로 활용하기 위해 어텐션 기반의 융합 기법을 제안한다.
먼저, RGB-D 의미론적 분할을 위한 융합 방법에 관한 연구를 다룬다. 해당 연구에서는 RGB와 깊이 데이터로부터 유의미한 특징 추출 및 효과적인 결합을 위한 IMA(Intra-Inter Modal Attention) 모듈을 제안한다. IMA 모듈은 SIM-NL(Shared Intra-Inter Modal Non-Local)과 ACF(Adaptive Channel-wise Fusion)로 구성되어 있으며, SIM-NL은 공간 수준에서 특징을 조절하고 ACF는 채널 수준에서 특징을 재보정한다. 제안하는 모듈은 비국소 어텐션(non-local attention)을 기반으로 하면서도 RGB와 깊이 데이터 간의 관계를 효율적으로 모델링하기 위해 공유 매개변수 전략을 활용하고, 비국소 기반 블록의 한계를 극복하기 위해 채널 수준에서 공간 상관 특성을 적응적으로 재가중화한다. 기존의 융합 방법들은 주로 입력 정보 간의 관계를 고려하지만, 해당 연구에서는 각각의 입력 정보 내부에서의 상호 관계도 함께 고려한다. 최종적으로 두 정보를 활용하여 의미론적 분할을 수행하며 기존 기법들과의 정량적 및 정성적 비교 평가를 진행한다.
다음으로, RGB-T 군중 계산을 위한 융합 방법에 관한 연구를 다룬다. RGB와 열화상 또는 깊이 정보를 동시에 사용하며 효율적인 융합을 위한 CSCA(Cross-modal Spatio-Channel Attention) 모듈을 제안한다. CSCA 모듈은 두 개의 주요 모듈로 구성되어 있으며, 첫 번째 모듈인 SCA(Spatial-wise Cross-modal Attention)는 교차 모달 작업에 적합하도록 설계되었으며 계산 복잡성을 크게 감소시킨다. 두 번째 모듈인 CFA(Channel-wise Feature Aggregation)는 채널 수준에서 공간적으로 상관된 특징을 적응적으로 조절하여 다중 모달 데이터의 전역 특징 상관관계를 고려한다. 제안하는 기법은 RGB-T 및 RGB-D와 같은 까다로운 다중 모달 작업에서 상호 보완적으로 작용하여 군중 계산 작업의 성능을 향상시킨다.