표제지
논문개요
목차
Ⅰ. 서론 12
1. 연구배경 12
2. 연구목적 15
3. 논문 기여 및 구성 16
Ⅱ. 관련 연구 17
1. 이모티콘 추천 시스템 17
2. 사전학습 언어 모델 20
3. 앙상블 분류기 27
Ⅲ. 시스템 구성 35
Ⅳ. 데이터 구성 및 전처리 37
1. 데이터 수집 37
2. 데이터 전처리 39
3. 이모티콘 계층적 클러스터링 43
4. 데이터 라벨링 및 분석 51
Ⅴ. 모델 설계 및 학습 53
1. 사전학습 언어 모델 학습 53
2. 계층적 모델 및 이모티콘 추천 58
3. 스태킹 앙상블 모델 학습 60
Ⅵ. 실험 설계 및 결과 64
1. 성능지표 64
2. 하이퍼파라미터 실험 66
3. 모델 성능 실험 환경 및 설계 68
4. 모델 성능 실험 결과 및 분석 71
4.1. 계층적 KoBERT 모델 성능 평가 71
4.2. 스태킹 앙상블을 적용한 계층적 모델 성능 평가 74
Ⅶ. 결론 81
참고문헌 84
ABSTRACT 89
표 4-1. Example of Instagram post 38
표 4-2. Emoticon Dictionary 40
표 4-3. Changes in Data Count During Data Preprocessing 42
표 4-4. Example of Experimental Data Configuration 52
표 5-1. Korean Pre-learning Model's Configure 54
표 5-2. Hyperparameters 57
표 5-3. Pseudocode: Constructing Hierarchical Model After Applying Stacking Ensemble to Main Model 62
표 6-1. Confusion Matrix 64
표 6-2. System Configuration 68
표 6-3. Comparison of Main model Performances (DNN, LSTM, Bi-LSTM, GRU, KoBERT) 72
표 6-4. Performance of Hierarchical KoBERT Model compared to different models 74
표 6-5. Comparison of Recommendation Time per Sentence between Hierarchical KoBERT Model and Different Models 74
표 6-6. Comparison of Main model Performances (KoBERT, KoBART, KoGPT2, KcELECTRA, KoELECTRA) 75
표 6-7. Comparison of Main model Performances (SoftVoting, Stacking-LR, Stacking-XGB, Stacking-LGBM) 76
표 6-8. Performance of Ensemble-Applied Hierarchical Model compared to different models 79
표 6-9. Comparison of Recommendation Time per Sentence between the Ensemble-Applied Hierarchical Model and Different Models 80
그림 1-1. Example of emoticon usage on Instagram 13
그림 2-1. Pre-training and fine-tuning of BERT 21
그림 2-2. GPT-2 Architecture 23
그림 2-3. BART Architecture 24
그림 2-4. Noise Injection Techniques 25
그림 2-5. Overview of Replaced Token Detection in the ELECTRA 26
그림 2-6. Voting Ensemble Learning Structure 28
그림 2-7. Bagging Ensemble Learning Structure 29
그림 2-8. Boosting Ensemble Learning Structure 31
그림 2-9. Stacking Ensemble Learning Structure 32
그림 3-1. System Overview 36
그림 4-1. Data Preprocessing in System Overview 41
그림 4-2. Unicode Emoji Category and Subcategory 43
그림 4-3. Emoticon Main Category and Sub Category 44
그림 4-4. Context-awere Emoticon Clustering in System Overview 46
그림 4-5. Hierachical Emoticon 37 50
그림 4-6. Imbalanced Data Distribution 52
그림 5-1. Hierarchical Model 55
그림 5-2. Hierarchical Model Fine-Tuning 56
그림 5-3. Inference in System Overview 58
그림 5-4. Hierarchical KoBERT Model for Emoticon Recommendation 59
그림 5-5. Stacking Ensemble Based on Korean Pretrained Language Models 61
그림 5-6. Hierarchical Model with Stacking Ensemble 63
그림 6-1. KoBERT Hyperparameter Tuning Results 66
그림 6-2. KoBART Hyperparameter Tuning Results 67
그림 6-3. KoGPT2 Hyperparameter Tuning Results 67
그림 6-4. KcELECTRA Hyperparameter Tuning Results 67
그림 6-5. KoELECTRA Hyperparameter Tuning Results 67
그림 6-6. Comparison of Sub model Performances (DNN, LSTM, Bi-LSTM, GRU, KoBERT) 73
그림 6-7. Comparison of Sub model Performances (KoBERT, KoBART, KoGPT2, KcELECTRA, KoELECTRA) 78
그림 7-1. Inference Experiment for Emoji Recommendation 83