본 연구에서는 딥러닝 기법과 정서적 AI를 적용하여 사용자의 감정 상태를 추정하고 이를 추천 과정에 반영할 수 있는 추천 시스템에 대한 새로운 연구 프레임워크를 제안한다. 이를 위해 분노, 혐오, 공포, 행복, 슬픔, 놀람, 중립의 7가지 감정을 각각 분류하는 감정분류모델을 구축하고, 이 결과를 추천 과정에 반영할 수 있는 모형을 제안한다. 그러나 일반적인 감정 분류 데이터에서는 각 레이블 간 분포 비율의 차이가 크기 때문에 일반화된 분류 결과를 기대하기 어려울 수 있다. 본 연구에서는 감정 이미지 데이터에서 혐오감 등의 감정 개수가 부족한 경우가 많으므로 데이터 증강을 이용한다. 마지막으로, 이미지 증강을 통해 데이터 기반의 감정 예측 모델을 추천시스템에 반영하는 방법을 제안한다.
In this study, we propose a novel research framework for the recommendation system that can estimate the user's emotional state and reflect it in the recommendation process by applying deep learning techniques and emotion AI (artificial intelligence). To this end, we build an emotion classification model that classifies each of the seven emotions of angry, disgust, fear, happy, sad, surprise, and neutral, respectively, and propose a model that can reflect this result in the recommendation process. However, in the general emotion classification data, the difference in distribution ratio between each label is large, so it may be difficult to expect generalized classification results. In this study, since the number of emotion data such as disgust in emotion image data is often insufficient, correction is made through augmentation. Lastly, we propose a method to reflect the emotion prediction model based on data through image augmentation in the recommendation systems.