표제지
목차
Contents 7
요약 15
Abstract 17
I. 서론 19
II. 관련 연구 22
2.1. 체성 신경계 기반의 감정인식 및 분류 22
2.2. 자율 신경계 기반의 감정인식 및 분류 23
2.3. 제한된 하드웨어 환경에서의 딥러닝 모델 사용 24
2.4. 1D Convolutional Autoencoder 모델 26
III. 생체신호 기반의 데이터베이스 28
3.1. DEAP 29
3.2. MAHNOB-HCI 30
3.3. MERTI-Apps 31
IV. 제안하는 감정분류 방법 33
4.1. 사용자의 편의성, 사용성을 위한 생체신호 34
4.2. PPG, GSR 신호의 데이터 전처리 35
4.3. 학습데이터 window slicing 설정 38
4.4. 학습데이터 labeling 설정 40
4.5. 감정분류를 위한 모델 설정 42
V. 실험 및 성능 평가 45
5.1. 실험 환경 구성 45
5.2. 생체신호 기반 선례연구와 결과 비교 46
5.3. 제안하는 멀티모달 모델의 감정 분류 결과 48
VI. 결론 53
참고문헌 55
표 1. 공개 데이터셋 (a) DEAP (b) MAHNOB-HCI 28
표 2. 아시안 멀티모달 데이터베이스 MERTI-Apps 32
표 3. 1.1초 단위의 감정분류를 위한 3개의 클래스 기준 41
표 4. 관찰자 주석 라벨링을 사용한 파형 단위 PPG, GSR 신호 라벨 42
표 5. 실험 결과 도출에 사용되는 장비의 성능 45
표 6. 생체신호 기반의 선례연구와 제안한 방법의 소요시간 비교 47
표 7. 다양한 생체 신호 기반의 감정 인식 및 분류 연구 결과 51
표 8. 서로 다른 하드웨어 환경에서의 실험 결과 52
그림 1. 측정 위치 및 유형 기반 자율신경계의 생체신호 분류 20
그림 2. 대표적인 모델 경량화 방법; (왼쪽) 가지치기 기법; (오른쪽) 지식증류 기법 25
그림 3. 1차원 입력을 가지는 합성곱 심층 신경망의 일반적인 구조 26
그림 4. convolutional autoencoder 구조; max-pooling, up-sampling 예시 27
그림 5. 2차원 구조에서의 Arousal, Valence 영역 29
그림 6. Self-Assessment Manikins 30
그림 7. 동일한 30초 길이의 데이터 Label 분포도; (위쪽) DEAP dataset의 자기평가 라벨링; (아래쪽) MAHNOB-HCI database의 관찰자 주석 라벨링 31
그림 8. 생체신호(PPG, GSR)기반의 감정분류를 위해 제안하는 전체적인 구성도 33
그림 9. 제안하는 감정분류 방법과 기존 방법의 흐름도 34
그림 10. 생체신호에 따른 실제 취득 방법 및 위치; (a) EEG; (b) ECG; (c) PPG, GSR; 35
그림 11. 10초 길이의 PPG, GSR 신호 전처리 결과; (a) 전처리된 PPG 신호; (b) PPG 신호의 첨두치; (c) PPG 신호의 첨두치와 동일한 구간의 GSR 신호 37
그림 12. 잘못된 window slicing 방법으로 처리된 PPG 신호; 38
그림 13. 전처리 후 분할된 최종 PPG 신호의 결과물 (sample size 1,100); 39
그림 14. 전처리 후 분할된 최종 GSR 신호의 결과물 (sample size 1,100); 40
그림 15. 제안하는 멀티모달 1d convolutional autoencoder 구성도 42
그림 16. 논문에서 사용한 학생모델(1D CNN) 구성도 44
그림 17. PPG, GSR 신호 기반의 감정분류 결과 그래프 52