표제지
목차
국문요약 9
I. 서론 10
II. 관련연구 14
2.1. 텍스트 임베딩 및 사전 학습 언어 모델 14
2.2. BERT 및 BERT 응용 18
III. 제안 방법론 21
3.1. 연구 절차 21
3.2. 마스킹 단어 선정 22
3.3. 선택적 마스킹을 활용한 BERT 추가 사전 학습 28
IV. 실험 33
4.1. 실험 개요 33
4.2. 어텐션 기반 감성 분류 및 단어 역할 구분 결과 33
4.3. 확장된 BERT 토크나이저 구축 및 선택적 마스킹 수행 결과 36
4.4. 감성 분류 수행 결과 및 성능 평가 38
V. 결론 42
참고문헌 44
Abstract 48
〈표 1〉 감성 문장 및 태그 23
〈표 2〉 단서 단어와 주변 단어, 유효 단어 말뭉치 27
〈표 3〉 어텐션 가중치 추출 결과 35
〈표 4〉 단서 단어 리스트, 주변 단어 리스트, 유효 단어... 35
〈표 5〉 확장된 BERT 토크나이저를 통한 감성 댓글 분절 결과 36
〈표 6〉 선택적 마스킹 기반 추가 사전 학습에 따른 임베딩... 37
〈그림 1〉 임의 마스킹의 뉘앙스 학습 12
〈그림 2〉 Word2Vec 학습 방식 15
〈그림 3〉 Attention Mechanism 작동 원리 16
〈그림 4〉 Attention Mechanism 수행 결과 예시 17
〈그림 5〉 BERT의 사전 학습 및 미세 조정 과정 19
〈그림 6〉 제안 방법론 전체 개요 21
〈그림 7〉 Attention-based LSTM 학습 과정 24
〈그림 8〉 어텐션 가중치 시각화 및 임계값에 따른 구분 결과 25
〈그림 9〉 BERT 사전 학습 과정 28
〈그림 10〉 BERT 토크나이저 확장을 통한 단어 의미 보존 30
〈그림 11〉 선택적 마스킹을 적용한 MLM 학습 예 31
〈그림 12〉 어텐션 기반 감성 분류 모델의 구조 34
〈그림 13〉 성능 평가 실험의 전체 개요 38
〈그림 14〉 각 모델의 손실 값 비교 39
〈그림 15〉 각 모델의 분류 정확도 비교 40