생성형 거대 언어 모델에 관한 여러 연구들은 생성형 거대 언어 모델이 자연어에 대한 이해를 넘어 상당한 '지식'을 가지고 있음을 시사한다. 이에 생성형 거대 언어 모델의 지식을 활용해 여러 추론 문제를 풀려고 하는 시도들이 계속되고 있다. 한편 문서 수준 관계 추출은 두 문장 이상으로 구성된 텍스트에서 두 개체 간의 관계를 찾아내는 과제로, 대규모 지식 그래프 구축에 있어 필수적인 과제이다.
본 학위논문에서는 생성형 거대 언어 모델을 이용해 '사전학습-프롬프트-예측' 패러다임으로 문서 수준 관계 추출 과제를 해결하는 방법을 연구하였다. 기반 모델로는 Meta에서 공개한 LLaMA-7B 모델을 사용하였다. 학습 데이터 셋으로는 문서 수준 관계 추출 학습/벤치마크 데이터 셋인 Re-DocRED를 사용하였다. 기반 모델은 Chain of Thought를 활용해 만들어진 입력 프롬프트-출력 기댓값 쌍들에 대해 지시사항 미세조정된다. 이때 LoRA를 활용해 효율적인 방식으로 학습을 진행했다.
제안한 방법의 성능을 확인하기 위해 다양한 실험을 수행하였다. 우선 Re-DocRED에 대한 F1 점수는 0.47로, '사전학습-미세조정' 패러다임에 기반한 기존 방법들에 비해 성능이 낮게 측정되었다. 하지만 모델이 실제로 생성한 다양한 정답/오답 사례들에서 데이터 셋의 한계와 평가 방법의 한계 등을 확인할 수 있었다. 또한 지시사항 미세조정과 Chain of Thought를 각각 사용했을 때와 사용하지 않았을 때의 모델 성능을 비교해, 두 방법이 모델 성능에 유의미한 기여를 하고 있음을 확인하였다. 특히 재현율만 높이는 방향으로 모델을 미세조정할 경우, 재현율 0.73을 달성하는 것을 확인할 수 있었다.