본문 바로가기 주메뉴 바로가기
22대 대한민국 국회 국회정보길라잡이 국회의원검색
회원가입 로그인
HOME

정보검색

소장정보 검색

국회도서관 홈으로 정보검색 소장정보 검색
결과 내 검색 동의어 포함
결과 내 검색 동의어 포함

-

목차보기

표제지

목차

Abstract 11

요약 12

1. 서론 13

2. 관련 연구 및 문제점 분석 17

2.1. 이미지 검색에서의 질의 방법들 17

2.1.1. 텍스트 질의 기반 이미지 검색 17

2.1.2. 유사 이미지 질의 기반 이미지 검색 18

2.1.3. 스케치 질의 기반 이미지 검색 19

2.1.4. 레이아웃 기반 이미지 검색 20

2.2. 객체 명 임베딩 21

2.2.1. word2vec 21

2.2.2. CLIP text encoder 22

2.3. Layout Diffusion 22

2.4. 기존 연구 및 문제점 분석 23

3. 객체 레이아웃 기반 질의 특징벡터 생성 방법 28

3.1. 질의 영역 특징벡터 추출을 위한 마스킹 방법 30

3.2. 이미지 생성모델을 통한 질의 특징벡터 생성 33

3.3. 시각적 특징 합성을 통한 질의 특징벡터 생성 35

3.3.1. CLIP 텍스트 인코더를 통한 객체 명 임베딩 방법 36

3.3.2. 특징벡터 정규화 방법 38

4. 실험 및 분석 40

4.1. 실험 데이터 및 평가 지표 40

4.2. 성능평가 및 분석 43

4.2.1. 질의 영역 특징벡터 추출을 위한 마스킹 방법 성능 분석 43

4.2.2. 이미지 생성 모델을 통한 질의 특징벡터 생성 방법 성능 분석 46

4.2.3. 시각적 특징 합성을 통한 질의 특징벡터 생성 방법 성능 분석 49

4.2.4. 실험 결과에 대한 종합 분석 53

4.3. 관련 연구와의 비교 56

5. 결론 및 향후 연구 57

6. 참고문헌 59

A. 부록 63

표목차

[표1] 마스킹 방법 적용에 따른 검색 성능 평가 44

[표2] 생성 이미지를 활용한 검색 방법 적용에 따른 검색 성능 평가 47

[표3] 특징벡터 정규화 방법의 적용에 따른 검색 성능 평가 50

[표4] 객체 명 임베딩 방법에 따른 성능 51

[표5] 본 논문에서 제안하는 방법에 따른 검색 성능 평가 55

[표6] 테스트셋에 포함된 객체 수에 따른 질의 55

[표7] 질의 형태에 따른 이미지 검색 시스템에서의 묘사 가능 항목 56

그림목차

[그림 1] 질의 형태에 따른 이미지 검색 예시 14

[그림 2] 기존 연구 구조도 24

[그림 3] 객체 명과 무관한 검색 결과 26

[그림 4] 학습되지 않은 객체명에 대한 검색 예시 26

[그림 5] 다중 객체에서 특정 객체가 누락된 검색 결과 27

[그림 6] 전체 시스템 구조도 29

[그림 7] 마스킹 방법 구조도 31

[그림 8] 마스킹 방법을 적용한 데이터베이스 특징벡터 추출과정 32

[그림 9] 생성 모델을 통한 질의 특징벡터 생성과정 34

[그림 10] 이미지 생성모델을 통한 질의 특징벡터 생성 알고리즘 34

[그림 11] 시각적 특징 합성을 통한 질의 특징벡터 생성 구조도 36

[그림 12] 캔버스 벡터 임베딩 모듈 구조도 37

[그림 13] 특징벡터 정규화 알고리즘 39

[그림 14] 질의 영역 마스킹 방법의 적용에 따른 검색 결과 45

[그림 15] 생성 이미지를 활용한 검색 방법 및 기존 연구[1]에 대한 이미지 검색 결과 48

[그림 16] 특징벡터 정규화방법의 적용에 따른 검색 결과 50

[그림 17] 객체 명 임베딩 방법에 따른 검색 결과 52

[그림 18] Spatial-Semantic Relevance Score threshold에 따른 실험결과 63

초록보기

 이미지 검색은 사용자 질의를 기반으로 가장 적합한 이미지를 반환하는 태스크다. 기존의 텍스트, 이미지, 스케치 질의 방식은 객체 위치와 크기 묘사에 한계가 있다. 이에, 본 논문에서는 객체 레이아웃 질의 기반 검색 방법을 제안한다. 이 방법은 기존 연구에서 발생한 객체 특징벡터 생성의 문제를 해결한다. 먼저, 유사도 비교시 질의 영역에 국한된 특징벡터를 추출하는 마스킹 방법을 사용한다. 이 방법은 이미지에 대해 추출된 CNN 특징벡터에서 질의 캔버스의 특정 영역에 초점을 맞출 수 있게 한다. 또한, Layout Diffusion 이미지 생성모델을 이용해 레이아웃 기반의 픽셀 수준 이미지를 생성해 질의 특징벡터를 생성하는 방법을 제안한다. 생성된 이미지에 대한 특징벡터는 CNN 특징 추출기로 얻는다. 본 논문에서는 또한 CLIP을 활용한 객체 명 임베딩 방법을 제안한다. 마지막으로, 생성된 특징벡터에 정규화를 적용하는 방법을 제안해 검색의 정확도를 향상시키며, 이를 통해 mAP@10 기준 0.772, nDCG@10 기준 0.671의 성능을 달성한다.

추천서가 (다양한 추천 자료를 만나보세요)

권호기사보기

권호기사 목록 테이블로 기사명, 저자명, 페이지, 원문, 기사목차 순으로 되어있습니다.
기사명 저자명 페이지 원문 기사목차