표제지
초록
Abstract
목차
제1장 서론 17
1.1. 연구의 필요성 17
1.2. 연구 방향 19
1.3. 논문 구성 19
제2장 관련 연구 21
2.1. 컴퓨터 비전 분야의 트랜스포머 21
2.1.1. 비전 트랜스포머 인코더 21
2.1.2. 어텐션 메커니즘 23
2.1.3. 컴퓨터 비전 분야의 트랜스포머 24
2.2. 심층신경망의 위치 정보 32
2.2.1. 변환 불변성 및 등변성 32
2.2.2. 순열 불변성 32
2.3. 비전 트랜스포머를 위한 위치 임베딩 36
2.3.1. 고정 길이 위치 임베딩 36
2.3.2. 가변 길이 위치 임베딩 41
제3장 위치 정보 임베딩을 위한 중앙화된 포지션 위치 기법 46
3.1. 배경 지식 46
3.1.1. 가변 길이 위치 임베딩 기법의 사용 방법 46
3.1.2. 계층적 비전 트랜스포머 구조 47
3.2. 가변 길이 위치 임베딩 기법의 문제점 48
3.2.1. 부정확성 48
3.2.2. 비효율성 51
3.3. 중앙화된 위치 임베딩 52
제4장 실험 결과 54
4.1. 가변 길이 위치 임베딩과 중앙화된 위치 임베딩의 비교 54
4.2. ImageNet-1K 데이터셋에 대한 이미지 분류 56
4.2.1. 실험 환경 56
4.2.2. 실험 결과 56
4.3. COCO 데이터셋에 대한 객체 탐지 및 인스턴스 분할 57
4.3.1. 실험 환경 57
4.3.2. 실험 결과 58
4.4. ADE20K 데이터셋에 대한 영상 분할 61
4.4.1. 실험 환경 61
4.4.2. 실험 결과 61
4.5. 절제 연구 64
제5장 결론 및 향후 연구 65
참고문헌 67
표 1. Biformer-Tiny [5] 모델의 DPE에 각각 다른 커널 크기가 적용되었을 때 이미지 분류 결과. 49
표 2. ImageNet-1K 데이터셋 [11]에 대한 이미지 분류 과업의 정량적 성능 평가. 56
표 3. 객체 탐지 과업에서 COCO 데이터셋 [9]에 대해 다양한 기준 모델에 적용된 위치 임베딩 방법에 따른 정량적 결과. 실험에는 RetinaNet [12] 프레임워크를 이... 58
표 4. 인스턴스 분할 과업에서 COCO 데이터셋 [9]에 대해 다양한 기준 모델에 적용된 위치 임베딩 방법에 따른 정량적 결과. 실험에는 Mask R-CNN [13] 프레... 59
표 5. 영상 분할 과업에서 ADE20K 데이터셋 [10]에 대해 다양한 기준 모델에 적용된 위치 임베딩 방법에 따른 정량적 결과. 실험에는 Semantic FPN [14]과 Upernet... 61
표 6. CPE 블럭의 개수에 따른 이미지 분류 과업의 정량적 평가. 각 모델의 괄호안의 숫자는 위치 임베딩 블럭의 개수를 의미한다. 64
그림 1. L개의 연속적인 트랜스포머 블럭으로 이루어진 트랜스포머 인코더 및 트랜스포머 블럭의 구조. 22
그림 2. (a): 단일 헤드 스케일드 닷 프로덕트 어텐션, (b): 다중 헤드 어텐션. 단일 헤드 스케일드 닷 프로덕트 어텐션과 다중 헤드 어텐션을 나타낸다. 24
그림 3. 비전 트랜스포머 [1] 구조. 25
그림 4. PVT [2] 구조 및 공간 축소 어텐션 방법. 27
그림 5. Swin-T [3] 구조 및 쉬프트 윈도우 어텐션 방법. Swin-T 논문의 그림을 재사용함. 28
그림 6. CSwin-T [4] 구조 및 십자형 윈도우 어텐션 방법. CSwin-T 논문의 그림을 재사용함. 29
그림 7. (a): Biformer [5] 구조, (b): 이중 레벨 라우팅 어텐션의 토큰 선정 과정, (c): 이중 레벨 라우팅 어텐션의 토큰 선정 결과 시각화. (a)와 (b)는 Biformer 논... 31
그림 8. (a): 변환 불변성에 대한 예시 이미지. 이미지 분류 과업에서는 물체의 위 치와 관계없이 분류 결과는 동일해야한다. (b): 변환 등변성에 대한 예시 이미지.... 33
그림 9. 어텐션 메커니즘의 순열 불변성에 대한 설명. (a): 여러 개의 패치로 나뉜 예시 이미지 X, (b), (e): query 토큰, (c), (f): query를 포함한 나머지 토큰, (d):... 35
그림 10. 토큰 시퀀스 변형 과정 및 절대적 위치 임베딩 방법. (a): 입력 이미지 X, (b): 입력 이미지를 변형시킨 토큰 시퀀스 Xp, (c): 개별 토큰들의 절대적 위치...[이미지참조] 38
그림 11. (a): query 토큰, (b): query 토큰과 나머지 토큰 사이의 거리를 이용한 상대적 위치 임베딩 RPE(△X,△Y) ∈ RD.[이미지참조] 40
그림 12. (a): CPVT [6] 모델 구조, (b): PEG 모듈. CPVT 논문의 그림을 재사용함. 42
그림 13. (a): Twins-PCPVT [7] 모델 구조, (b): Twins-SVT에 활용된 지역적 어텐션 (LSA) 및 전역적 어텐션 (GSA) 방법의 개략도. Twins 논문의 그림을 재사용함. 43
그림 14. (a): CSwin-T [4] 모델의 위치 임베딩 방법 및 LePE의 비교, (b): 국소 강화 위치 임베딩 LePE 방법. (a)는 CSwin-T 논문의 그림을 재사용함. 44
그림 15. Uniformer [8]의 전체적인 모델 구조 및 트랜스포머 블럭의 내부 구조. Uniformer 논문의 그림을 재사용함. 45
그림 16. 이미지 분류 과업에 사용된 계층적 비전 트랜스포머 구조의 예시. 48
그림 17. 이미지 분류 과업에 대해 Biformer-Tiny [5] 모델에서 3번째 단계의 0번째 트랜스포머 블럭에서 DPE가 추출한 위치 정보의 시각화. 49
그림 18. 커널 사이즈에 따른 차원 축소된 DPE의 시각화 결과. 각 주성분 분석 결과는 이미지 분류 과업에 대해 Biformer-Tiny [5] 모델에서 3번째 단계의 각각... 50
그림 19. 동적 위치 임베딩 (DPE)와 제안하는 중앙화된 위치 임베딩 (CPE)의 비교. 52
그림 20. 기준 모델에 각각 다른 위치 임베딩 방법을 적용한 결과. (a), (c): 기존 위치 임베딩 방법, (b), (d): 제안하는 위치 임베딩 CPE을 적용한 방법. 55
그림 21. COCO 데이터셋 [9]을 이용한 객체 탐지 과업의 정성적 평가. 60
그림 22. ADE20K 데이터셋 [10]을 이용한 영상 분할 과업의 정성적 평가. 63