표제지
목차
제1장 서론 12
1.1. 연구배경 및 필요성 12
1.2. 연구 내용 13
1.3. 논문의 구성 14
제2장 관련 연구 15
2.1. 공개정보의 정의 15
2.2. 공개정보를 이용한 프로파일링 16
2.3. 인공지능 기반 프로파일링 기법 연구 17
제3장 심층 사례 연구 19
3.1. Bazzell 워크플로 19
3.2. 이미지 기반 프로파일링 연구 현황 분석 21
3.3. 이미지 내 정보 수집 기술 현황 분석 21
3.4. 프로파일링을 위한 데이터베이스 26
제4장 공개정보 프로파일링을 위한 워크플로 31
4.1. 공개정보 프로파일링을 위한 워크플로 31
4.1.1. 개인 프로파일링을 위한 워크플로 31
4.2. 이미지 기반 프로파일링을 위한 워크플로 37
4.2.1. 이미지 수집을 위한 워크플로 38
4.2.2. 이미지 유형 분류 40
4.2.3. 이미지 분석 워크플로 41
제5장 인공지능 기반 이미지 내 개인정보 추출 및 분석 52
5.1. Object detection모델을 활용한 이미지 유형 분류 52
5.1.1. YOLOv5 모델 선정 54
5.1.2. 알고리즘 적용에 따른 이미지 유형 분류 56
5.2. 인물 정보 포함 이미지 내 객체 정보 추출 63
5.3. 텍스트 포함 이미지 내 글자 정보 추출 66
제6장 데이터베이스 스키마 설계 68
6.1. 개인 데이터베이스 스키마 68
6.2. 이미지 데이터베이스 스키마 69
제7장 결론 70
ABSTRACT 71
참고문헌 73
부록 77
[표 1] 컴트루테크놀로지 분류 행정문서 22종 23
[표 2] 데이터베이스 요인분류 27
[표 3] Person 테이블 28
[표 4] Facebook Post 테이블 29
[표 5] Instagram Post 테이블 30
[표 6] 유명인(정치인) 워크플로 기반 수집 가능 정보 종류 33
[표 7] 유명인(연예인) 워크플로 기반 수집 가능 정보 종류 35
[표 8] 일반인 워크플로 기반 수집 가능 정보 종류 37
[표 9] 이미지 유형 분류 40
[표 10] YOLOv5s, YOLOvm 모델별, 에포크에 따른 평가지표 표 55
[표 11] 개인 테이블 68
[표 12] 이미지 테이블 69
(그림 1) OSINT 정보 수집 절차 16
(그림 2) Real Name OSINT workflow (2019년 버전) 20
(그림 3) 행정문서 분류 및 ImageScan 예시 22
(그림 4) 클로바 도큐먼트 OCR 신분증 예시 23
(그림 5) ImageOCR 예시 24
(그림 6) 의무 기록지 예시 26
(그림 7) 유명인(정치인) 워크플로 32
(그림 8) 유명인(연예인) 워크플로 34
(그림 9) 개인(일반인) 워크플로 36
(그림 10) 이미지 기반 프로파일링 전체 과정 37
(그림 11) 이미지 수집 워크플로 38
(그림 12) 이미지 수집 워크플로 사례 39
(그림 13) 배경(고정 정보) 포함 이미지 분석 워크플로 41
(그림 14) 배경(고정 정보) 포함 이미지 분석 사례 42
(그림 15) 텍스트 포함 이미지 분석 워크플로 43
(그림 16) 텍스트 포함 이미지 분석 사례 1 44
(그림 17) 텍스트 포함 이미지 분석 사례 2 45
(그림 18) 텍스트 포함 이미지 분석 사례 3 46
(그림 19) 휴대물 등(이동정보) 포함 이미지 분석 워크플로 46
(그림 20) 휴대물 등(이동정보) 포함 이미지 분석 사례 47
(그림 21) 인물 및 특이정보 포함 이미지 분석 워크플로 48
(그림 22) 인물 포함 이미지 분석 사례 49
(그림 23) 특이정보(소유물) 포함 이미지 분석 사례 50
(그림 24) 특이정보(반려견) 포함 이미지 분석 사례 50
(그림 25) 인공지능 기반 이미지 내 개인정보 추출 과정 52
(그림 26) YOLOv5 구조 53
(그림 27) YOLOv5 모델 종류 54
(그림 28) Precision, Recall 값 도출식 55
(그림 29) 이미지 유형 분류 전체 구조 57
(그림 30) 고정정보가 포함된 이미지 자동 분석 예시 57
(그림 31) 이동정보가 포함된 이미지 자동 분석 예시 58
(그림 32) 특이정보가 포함된 이미지 자동분석 예시 1 59
(그림 33) 특이정보가 포함된 이미지 자동분석 예시 2 59
(그림 34) 인물 정보가 포함된 이미지 자동 분석 예시 60
(그림 35) 텍스트가 포함된 이미지 자동 분석 예시 1 61
(그림 36) 텍스트가 포함된 이미지 자동 분석 예시 2 62
(그림 37) Image Caption 과정 63
(그림 38) Image Caption 결과 예시 1 64
(그림 39) Image Caption 결과 예시 2 65
(그림 40) EasyOCR Framework 66
(그림 41) 이미지 내 텍스트 추출 결과 67
(그림 42) 텍스트 포함 이미지 자동 분석 결과 67