표제지
국문 초록
목차
제1장 서론 9
제1절 연구의 배경 9
제2절 연구의 필요성 및 목표 17
제3절 문서의 구성 17
제2장 관련 연구 19
제1절 언어 모델 19
제2절 거대 언어 모델 20
제3절 문서 수준 관계 추출 23
제3장 제안 방법 25
제1절 개요 25
제2절 목표 데이터 셋 : Re-DocRED 25
제3절 기반 거대 언어 모델 : LLaMA 29
제4절 모델 학습 30
제5절 모델 추론 40
제4장 실험 및 결과 42
제1절 실험 설계 42
제2절 실험 결과 및 분석 45
제5장 결론 59
제1절 연구 요약 59
제2절 논의점 60
제3절 연구의 한계 및 향후 연구 방향 62
참고문헌 64
부록 76
부록 1. Re-DocRED의 관계 종류 76
부록 2. 지도학습 미세조정을 위한 입력 프롬프트-출력 기댓값 예시 89
Abstract 93
표 1. 거대 언어 모델 21
표 2. 주요 문서 수준 관계 추출 데이터 셋 24
표 3. Re-DocRED 각 스플릿 별 통계량 27
표 4. LLaMA 각 버전 별 하이퍼파라미터 30
표 5. LLaMA 사전학습 말뭉치 내 말뭉치 비율 30
표 6. 각 LLaMA 버전 별 다양한 추론 문제에 대한 성능 31
표 7. 실험 1 결과 : 모델 성능 45
표 8. 실험 2 결과 : 지시사항 미세조정의 효과 55
표 9. 실험 3 결과 : Chain of Thought의 효과 56
표 10. 실험 4 결과 : 적절한 no_rel_rate 값 탐색 56
표 11. 실험 5 결과 : 재현율만 높인 모델 57
그림 1. 사전학습-미세조정 패러다임 10
그림 2. 사전학습-프롬프트-예측 패러다임 14
그림 3. 지식 그래프 15
그림 4. 관계 추출 16
그림 5. 문서 수준 관계 추출 17
그림 6. 모델 학습 방법 26
그림 7. 모델 추론 방법 27
그림 8. 영화 댓글 긍/부정 감성 분석 과제를 위한 입력 프롬프트-출력 기댓값 쌍 예시 32
그림 9. Chain of Thought 예시 34
그림 10. Re-DocRED를 위한 입력 프롬프트 구조 36
그림 11. Re-DocRED를 위한 출력 기댓값 구조 37
그림 12. LoRA 38
그림 13. 정규 표현식 41
그림 14. 실험 2를 위한 입력 프롬프트 구조 44
그림 15. 정답 사례 1 47
그림 16. 정답 사례 2 49
그림 17. 오답 사례 1 51
그림 18. 오답 사례 2 52
그림 19. 오답 사례 3 54
수식 1. 정밀도(Precision), 재현율(Recall), F1 점수(F1 Score) 28
수식 2. causal language modelling을 위한 손실 함수 33