본 논문은 사전 훈련된 언어 모델과 자연어 처리 기술을 활용하여 영어 에세이의 품질을 평가하고 피드백을 제공하는 인공지능 기반 영어 에세이 자동채점(Automated Essay Scoring: AES)에 대한 연구이다. 먼저, 중학교 1학년과 3학년 학생들이 쓴 영어 에세이를 대상으로 어법, 어휘, 구성 세 가지 영역의 채점을 실시하여 글의 문법적 정확성, 어휘적 다양성, 논리적 구조를 평가하였다. 이를 여러 방식의 자동채점모형의 채점 결과와 비교하여 정확도, 정밀도, 재현율, F1점수, 상관계수를 산출하는 과정을 통해 자동채점모형의 성능을 평가하고 분석하였다. 또한, 1학년 학생들에게 자신의 에세이에 대한 교사와 인공지능 모델의 채점 결과를 보여주고 인식 조사를 실시하였다. 연구 결과, 사전 훈련된 BERT(Bidirectional Encoder Representations from Transformers) 모델이 학생들의 에세이 데이터를 추가적으로 학습하여 에세이의 품질을 예측하고 점수를 산출하는 방식이 교사 점수와의 상관관계가 가장 높았다. AES의 채점 결과에 대해 학생들은 중간보다 약간 높은 수준으로 신뢰하는 것으로 나타났고, ChatGPT의 자세한 피드백에 대해서는 긍정적으로 반응하는 경향을 보였다.
본 연구는 교사 개인이 한정된 자원과 데이터를 활용하여 AES를 개발하고 실행한 결과 교사 점수와의 높은 상관관계를 보인 모델을 현장에서 수행평가 및 기타 글쓰기 활동 채점의 보조 수단으로, ChatGPT의 피드백을 개별화 맞춤형 학습에 활용할 수 있는 가능성을 탐색하였고, 자동 채점에 대한 학생들의 인식과 태도에 관한 통찰을 제공하였다. 앞으로 AES를 교육 현장에 보급하기 위해서는 인공지능 모델의 성능 향상과 학생들의 수용성 증진 방안에 대한 추가적인 연구가 필요하다.