표제지
논문개요
목차
제1장 서론 13
1.1. 연구 배경과 의의 13
1.2. 국내외 연구 현황 15
1.3. 주요 내용 19
1.4. 논문의 구성 21
제2장 관련 기술과 기본이론 23
2.1. Spark 분산 플랫폼 23
2.1.1. Spark 소개 23
2.1.2. Spark RDD 25
2.1.3. Spark 운영 체제 26
2.1.4. Spark MLlib 29
2.2. 협동 필터링 추천 알고리즘 분석 34
2.2.1. 사용자 기반 협업 필터링 추천 알고리즘 35
2.2.2. 물품 기반 협업 필터링 추천 알고리즘 36
2.2.3. 모델 기반 공동 필터링 추천 알고리즘 37
제3장 인접 지역에 기반한 협동 필터링 알고리즘의 최적화 및 병렬화 실현 38
3.1. 사용자 기반 협업 필터링 알고리즘과 스파크 병렬화 구현 38
3.1.1. 문제분석 38
3.1.2. 알고리즘의 최적화 설계 40
3.1.3. Spark 플랫폼 알고리즘의 병렬화의 구현 42
3.2. 물품 기반 협동 필터링 알고리즘의 최적화와 병행화 구현 45
3.2.1. 문제분석 45
3.2.2. 알고리즘의 최적화 설계 47
3.2.3. 스파크 플랫폼 알고리즘의 병렬화 실현 49
3.3. 실험 설계 및 결과 분석 52
3.3.1. 실험 환경과 실험 데이터 세트 52
3.3.2. 평가지표 56
3.3.3. 실험 설계 및 결과 분석 57
제4장 ALS 모델 추천 알고리즘의 최적화와 병행화의 구현 61
4.1. 문제분석 61
4.2. 알고리즘의 최적화 설계 62
4.3. Spark 플랫폼 알고리즘의 병렬화의 실현 64
4.4. Spark 기반 추천 알고리즘의 병렬화의 구현 분석 66
4.4.1. 데이터 흐름의 병렬화 68
4.4.2. 작업의 병렬화 69
4.5. 실험 및 결과 분석 72
4.5.1. 실험 환경과 실험 데이터 세트 72
4.5.2. 시스템 평가 지표 72
4.5.3. 실험 설계 및 결과 분석 72
제5장 결론 77
참고문헌 80
Abstract 87
[표 3-1] 뉴스 이용자의 평점 46
[표 3-2] 뉴스와 그 종류 48
[표 3-3] 물품 속성 특성 행렬 48
[표 3-4] 사용자 기반 협업 필터링 알고리즘의 N-값별 시스템 지표 58
[표 3-5] N 값에 따른 물품의 협동 필터링 알고리즘의 시스템 지표 58
[표 3-6] 최적화된 사용자 기반 협업 필터링 알고리즘 평가지표 60
[표 3-7] 최적화된 물품 기반 협동 필터링 알고리즘 평가지표 60
[표 4-1] 현재 흔히 볼 수 있는 알고리즘과 ALS_imp 최적 RMSE를 비교하다 76
[그림 2-1] Spark의 master와 worker의 관계 구조도 28
[그림 3-1] 사용자-뉴스 기록 예제 39
[그림 4-1] GroupByKeyExample의 논리 실행 그림 68
[그림 4-2] GroupByKeyExample의 물리적 실행 71
[그림 4-3] 알고리즘은 Spark 플랫폼과 스탠드 아론에서 RMSE 74
[그림 4-4] ALS 모델 알고리즘을 기반으로 최적화 전후의 RMSE 대비 75