표제지
목차
논문요약 9
제1장 서론 11
1.1. 연구의 배경 11
1.2. 연구 수행 절차 13
제2장 이론적 배경 14
2.1. 선행 연구 14
2.2. BERT 모델과 Transformer 16
1) BERT 이전의 언어 모델 16
2) 트랜스포머(Transformer) 17
3) BERT (Bidirectional Encoder Representations from Transformers) 18
2.3. 기계독해(MRC, Machine Reading Comprehension) 20
1) 기계독해 개념 20
2) 기계독해(Question Answering) 유형 21
3) 기계독해 성능 평가 방법 23
제3장 실험 환경 및 데이터 24
3.1. 환경 구성 24
3.2. 데이터 설명 27
3.3. 데이터 전처리 32
제4장 실험 및 평가 34
4.1. 성능 평가 기준 34
4.2. 성능 평가 36
제5장 결론 40
1) 결론 요약 40
2) 기존 연구 비교 41
3) 향후 연구 42
참고문헌 43
ABSTRACT 46
[표 1] 기계독해(Question answering) 유형 22
[표 2] 기계독해 성능 평가 유형(Extractive Based) 23
[표 3] 용역계약서 관리 항목 27
[표 4] 용역계약서 데이터 셋 예시 28
[표 5] "불용어-특수문자, 기호" 처리 예시 33
[표 6] 성능 평가 결과표 (전체) 36
[표 7] 항목별 성능평가 결과표 37
[표 8] 항목별 정답값과 예측값 비교 38
[그림 1] 본 연구 수행 절차 13
[그림 2] The Transformer - Model architecture 17
[그림 3] 문장 예측 방향성 - "양방향성 및 단방향성" 18
[그림 4] BERT Architecture - "Pre-Training and Fine-Tuning" 19
[그림 5] 기계독해 적용 예시 - 검색엔진 (https://cn.bing.com/) 20
[그림 6] MRC, QA, NLP, CV의 연관도 20
[그림 7] 용역계약서 질의응답 시스템 개념도 24
[그림 8] 제안 시스템 기본 파라미터 설정 25
[그림 9] 학습 하이퍼파라미터 설정 26
[그림 10] 불용어 처리 코드 예시 32