표제지

목차

Abstract 11

요약 12

1. 서론 13

2. 관련 연구 및 문제점 분석 17

2.1. 이미지 검색에서의 질의 방법들 17

2.1.1. 텍스트 질의 기반 이미지 검색 17

2.1.2. 유사 이미지 질의 기반 이미지 검색 18

2.1.3. 스케치 질의 기반 이미지 검색 19

2.1.4. 레이아웃 기반 이미지 검색 20

2.2. 객체 명 임베딩 21

2.2.1. word2vec 21

2.2.2. CLIP text encoder 22

2.3. Layout Diffusion 22

2.4. 기존 연구 및 문제점 분석 23

3. 객체 레이아웃 기반 질의 특징벡터 생성 방법 28

3.1. 질의 영역 특징벡터 추출을 위한 마스킹 방법 30

3.2. 이미지 생성모델을 통한 질의 특징벡터 생성 33

3.3. 시각적 특징 합성을 통한 질의 특징벡터 생성 35

3.3.1. CLIP 텍스트 인코더를 통한 객체 명 임베딩 방법 36

3.3.2. 특징벡터 정규화 방법 38

4. 실험 및 분석 40

4.1. 실험 데이터 및 평가 지표 40

4.2. 성능평가 및 분석 43

4.2.1. 질의 영역 특징벡터 추출을 위한 마스킹 방법 성능 분석 43

4.2.2. 이미지 생성 모델을 통한 질의 특징벡터 생성 방법 성능 분석 46

4.2.3. 시각적 특징 합성을 통한 질의 특징벡터 생성 방법 성능 분석 49

4.2.4. 실험 결과에 대한 종합 분석 53

4.3. 관련 연구와의 비교 56

5. 결론 및 향후 연구 57

6. 참고문헌 59

A. 부록 63

[표1] 마스킹 방법 적용에 따른 검색 성능 평가 44

[표2] 생성 이미지를 활용한 검색 방법 적용에 따른 검색 성능 평가 47

[표3] 특징벡터 정규화 방법의 적용에 따른 검색 성능 평가 50

[표4] 객체 명 임베딩 방법에 따른 성능 51

[표5] 본 논문에서 제안하는 방법에 따른 검색 성능 평가 55

[표6] 테스트셋에 포함된 객체 수에 따른 질의 55

[표7] 질의 형태에 따른 이미지 검색 시스템에서의 묘사 가능 항목 56

[그림 1] 질의 형태에 따른 이미지 검색 예시 14

[그림 2] 기존 연구 구조도 24

[그림 3] 객체 명과 무관한 검색 결과 26

[그림 4] 학습되지 않은 객체명에 대한 검색 예시 26

[그림 5] 다중 객체에서 특정 객체가 누락된 검색 결과 27

[그림 6] 전체 시스템 구조도 29

[그림 7] 마스킹 방법 구조도 31

[그림 8] 마스킹 방법을 적용한 데이터베이스 특징벡터 추출과정 32

[그림 9] 생성 모델을 통한 질의 특징벡터 생성과정 34

[그림 10] 이미지 생성모델을 통한 질의 특징벡터 생성 알고리즘 34

[그림 11] 시각적 특징 합성을 통한 질의 특징벡터 생성 구조도 36

[그림 12] 캔버스 벡터 임베딩 모듈 구조도 37

[그림 13] 특징벡터 정규화 알고리즘 39

[그림 14] 질의 영역 마스킹 방법의 적용에 따른 검색 결과 45

[그림 15] 생성 이미지를 활용한 검색 방법 및 기존 연구[1]에 대한 이미지 검색 결과 48

[그림 16] 특징벡터 정규화방법의 적용에 따른 검색 결과 50

[그림 17] 객체 명 임베딩 방법에 따른 검색 결과 52

[그림 18] Spatial-Semantic Relevance Score threshold에 따른 실험결과 63