표제지
목차
연구요약 6
Ⅰ. 서론 17
1. 연구 필요성 및 목적 18
가. 연구 배경 및 필요성 18
나. 선행 연구와의 관련성 20
다. 연구 의의 및 목적 22
2. 연구 내용 25
가. 한국어 자동채점을 위한 자연언어처리 기술 이론 탐색 25
나. 단어ㆍ구 수준 자동채점 프로그램 분석 및 실용화 개발 25
다. 단어ㆍ구 수준 자동채점 프로그램의 시범 적용 및 통계 분석 25
라. 문장 수준 자동채점 프로그램 프로토타입 설계 및 개발 26
마. 문장 수준 자동채점 프로그램의 시범 적용 및 통계 분석 26
3. 연구 추진 방법 27
가. 문헌 연구 27
나. 문항 분석 27
다. 자동채점 프로그램 개발 28
라. 자동채점 프로그램 적용 28
마. 채점 및 통계 분석 29
바. 전문가 협의회 29
사. 워크숍 30
Ⅱ. 한국어 자동채점을 위한 자연언어처리 기술 이론 탐색 32
1. 한국어 답안 자연언어처리 과정의 개요 33
2. 문장 분석 전처리 단계 36
가. 문장 분리 36
나. 기호 제거 37
다. 철자 오류 교정 38
라. 띄어쓰기 오류 교정 40
3. 문장 분석 단계 42
가. 형태소 분석 및 품사 부착 42
나. 기본구 인식 45
다. 구문 분석 47
라. 의미역 분석 49
4. 문장 비교 단계 50
Ⅲ. 2014년 한국어 서답형 문항 자동채점 프로그램 개발 53
1. 단어ㆍ구 수준 자동채점 프로그램 분석 및 개선 54
가. 2013년 단어ㆍ구 수준 자동채점 프로그램 분석 54
나. 단어ㆍ구 수준 자동채점 프로그램 개선 56
다. 단어ㆍ구 수준 자동채점 프로그램의 사용자 인터페이스 개선 68
2. 문장 수준 자동채점 프로그램 프로토타입 설계 및 개발 75
가. 문장 수준 문항 분석을 통한 자연언어처리 기술 선정 75
나. 문장 수준 자동채점 프로그램의 프로토타입 설계 80
다. 문장 수준 자동채점 프로그램의 사용자 인터페이스 개발 91
Ⅳ. 2014년 한국어 서답형 문항 자동채점 프로그램 채점 결과 분석 100
1. 단어ㆍ구 수준 자동채점 프로그램 채점 결과 분석 101
가. 분석 대상 101
나. 분석 방법 105
다. 분석 결과 110
2. 문장 수준 자동채점 프로그램 채점 결과 분석 126
가. 분석 대상 126
나. 분석 방법 130
다. 분석 결과 132
Ⅴ. 결론 및 제언 146
1. 결론 147
가. 한국어 자동채점을 위한 자연언어처리 기술 이론 탐색 147
나. 한국어 서답형 문항 자동채점 프로그램 개발 148
다. 한국어 서답형 문항 자동채점 프로그램 채점 결과 분석 151
라. 한국어 서답형 문항 자동채점 프로그램의 성과와 한계 154
2. 후속 연구 및 정책 제언 158
가. 연구 확장을 위한 후속 연구 제언 159
나. 자동채점 프로그램 활용 방안을 위한 정책 제언 170
참고문헌 181
관련 자료 목록 187
ABSTRACT 189
판권기 3
〈표 Ⅰ-1〉 본원의 서답형 문항 자동채점 관련 연구 21
〈표 Ⅰ-2〉 에세이형과 단문형 프로그램 비교 23
〈표 Ⅰ-3〉 연도별 연구 개요 비교 31
〈표 Ⅱ-1〉 2011년 학업성취도 평가 중3 국어 3-(2)번 문항의 학생 답안 처리 36
〈표 Ⅱ-2〉 문장 분리의 예 37
〈표 Ⅱ-3〉 기호 제거의 예 38
〈표 Ⅱ-4〉 철자 오류 교정의 예 39
〈표 Ⅱ-5〉 띄어쓰기 오류 교정의 예 40
〈표 Ⅱ-6〉 형태소 분석 및 품사 부착의 예 43
〈표 Ⅱ-7〉 기본구 인식의 예 45
〈표 Ⅱ-8〉 구문 분석의 예 47
〈표 Ⅱ-9〉 의미역 분석의 예 49
〈표 Ⅱ-10〉 명사의미부류사전 및 격틀사전 정보의 예 50
〈표 Ⅱ-11〉 문장 틀의 예 52
〈표 Ⅲ-1〉 단어ㆍ구 수준 자동채점 프로그램 실용화 개발 일정 68
〈표 Ⅲ-2〉 학업성취도 평가 문장 수준 서답형 문항의 답안 유형 수(일부) 75
〈표 Ⅲ-3〉 학업성취도 평가 국어 문항의 학생 답안 예 76
〈표 Ⅲ-4〉 학업성취도 평가 서답형 문항의 채점 기준 예(일부) 77
〈표 Ⅲ-5〉 서답형 문항 및 채점 기준 분석을 통해 추출한 자연언어처리 기술 79
〈표 Ⅲ-6〉 2011년 중3 국어 2번 문항의 문서 정규화 82
〈표 Ⅲ-7〉 2012년 중3 국어 5-(1)번 문항의 형태소 분석 및 품사 부착 83
〈표 Ⅲ-8〉 2012년 중3 국어 3-(1)번 문항의 구묶음 85
〈표 Ⅲ-9〉 단어 치환을 통한 바꿔쓰기의 예 86
〈표 Ⅲ-10〉 학생 답안의 언어 분석 결과 87
〈표 Ⅲ-11〉 자질 집합의 종류와 예 88
〈표 Ⅲ-12〉 자질 가중치(tf-idf) 학습의 예 89
〈표 Ⅲ-13〉 문장 수준 자동채점 프로그램 개발 일정 91
〈표 Ⅲ-14〉 언어 분석 결과 색깔의 의미 94
〈표 Ⅳ-1〉 2014년 중3 사회 자동채점 대상 서답형 문항 정보 102
〈표 Ⅳ-2〉 2014년 사회 교과 합숙채점 인원 구성 111
〈표 Ⅳ-3〉 2014년 사회 교과 자동채점 인원 구성 112
〈표 Ⅳ-4〉 2014년 사회 교과 합숙채점 비용 114
〈표 Ⅳ-5〉 2014년 사회 교과 자동채점 비용 115
〈표 Ⅳ-6〉 2014년 사회 문항 채점 결과의 완전일치도 116
〈표 Ⅳ-7〉 2014년 사회 문항 채점 결과의 근사일치도 117
〈표 Ⅳ-8〉 2014년 사회 문항 채점 결과의 상관계수 118
〈표 Ⅳ-9〉 2014년 사회 문항 채점 결과의 카파계수 119
〈표 Ⅳ-10〉 2014년 사회 문항 채점 결과의 일차가중카파계수 120
〈표 Ⅳ-11〉 2014년 사회 문항 채점 결과의 이차가중카파계수 120
〈표 Ⅳ-12〉 2014년 사회 문항의 자동채점 결과 개요 121
〈표 Ⅳ-13〉 2013년 국어, 사회 자동채점 대상 서답형 문항 정보(1) 126
〈표 Ⅳ-14〉 2013년 국어, 사회 자동채점 대상 서답형 문항 정보(2) 126
〈표 Ⅳ-15〉 2013년 국어, 사회 문항의 채점 정보 132
〈표 Ⅳ-16〉 2013년 중3 국어 2-(1)번 문항의 채점 정보 134
〈표 Ⅳ-17〉 2013년 국어, 사회 문항의 채점 정보 간 상관계수 135
〈표 Ⅳ-18〉 2013년 국어, 사회 문항 채점 결과의 기초 통계치 137
〈표 Ⅳ-19〉 2013년 국어, 사회 문항 채점 결과의 평균제곱근편차, 표준화된 평균제곱근편차 138
〈표 Ⅳ-20〉 2013년 국어, 사회 문항 채점 결과의 일치도 및 상관계수 139
〈표 Ⅳ-21〉 2013년 국어, 사회 문항 채점 결과의 카파계수 141
〈표 Ⅴ-1〉 한국어 답안 분석을 위한 자연언어처리 기술 147
〈표 Ⅴ-2〉 단어ㆍ구 수준 자동채점 프로그램 개발 항목 및 시스템 구조도 149
〈표 Ⅴ-3〉 문장 수준 자동채점 프로그램 개발 항목 및 시스템 구조도 150
〈표 Ⅴ-4〉 2014년 학업성취도 평가 중3 사회 문항의 채점 결과 요약 152
〈표 Ⅴ-5〉 2013년 국어, 사회 문장 수준 11개 문항의 채점 결과 요약 153
〈표 Ⅴ-6〉 단ㆍ중기 프로그램 개발 계획에 따른 서답형 문항의 답안 유형(안) 160
〈표 Ⅴ-7〉 단ㆍ중기 프로그램 개발 계획에 따른 핵심 개발 내용(안) 161
〈표 Ⅴ-8〉 2015년 문장 수준 자동채점 프로그램 연구 개발 수행 계획(안) 163
〈표 Ⅴ-9〉 단ㆍ중기 프로그램 개발 계획에 따른 한국어 자원 개발(안) 165
[그림 Ⅰ-1] 전체 연구 개요 26
[그림 Ⅰ-2] 자동채점 프로그램 개발 단계 27
[그림 Ⅱ-1] 자동채점을 위한 한국어 자연언어처리 단계 34
[그림 Ⅱ-2] 2011년 학업성취도 평가 중3 국어 3-(2)번 문항 35
[그림 Ⅱ-3] '아 기다리고 기다렸다'의 띄어쓰기 분석 상태 41
[그림 Ⅱ-4] 문장 '나는 그 소식을 들었다'의 형태소 분석 상태 44
[그림 Ⅱ-5] '지난해 12월 중순 정부 차원에서'의 기본구 인식 분석 상태 46
[그림 Ⅱ-6] 부사어 '완전히'의 지배소 후보 선택 49
[그림 Ⅱ-7] 한국어 자동채점의 자연언어처리 과정 51
[그림 Ⅲ-1] 2013년 개발 단어ㆍ구 수준 자동채점 시스템 구조도 및 개발 항목 54
[그림 Ⅲ-2] 2014년 단어ㆍ구 수준 자동채점 시스템 구조도 56
[그림 Ⅲ-3] 자동채점을 위한 학생 답안 입출력 양식 59
[그림 Ⅲ-4] 2013년 정답 템플릿 작성 도구와 재설계된 정답 템플릿 작성 도구의 비교 61
[그림 Ⅲ-5] 2013년 개발 자동채점 프로그램의 단계별 프로세스 64
[그림 Ⅲ-6] 맞춤법 교정 변경 사항이 적용된 자동채점 프로그램의 단계별 프로세스 64
[그림 Ⅲ-7] 맞춤법 교정 후보의 작성 예시 65
[그림 Ⅲ-8] 맞춤법 교정 후보 생성을 위한 자료 구조 66
[그림 Ⅲ-9] 유의어ㆍ맞춤법 교정 목록 파일 예시 67
[그림 Ⅲ-10] 학생 답안 파일 분리 및 통합 도구 69
[그림 Ⅲ-11] 전처리 방식의 학생 답안 정규화 도구 70
[그림 Ⅲ-12] '연동 문항' 옵션을 위한 엑셀 파일 준비 예시 70
[그림 Ⅲ-13] 정답 템플릿 작성 도구 화면 71
[그림 Ⅲ-14] 수작업 채점 도구의 화면 72
[그림 Ⅲ-15] 채점 결과 비교 도구 화면 73
[그림 Ⅲ-16] 자동채점 결과 보고서 작성 도구 화면 74
[그림 Ⅲ-17] 학업성취도 평가 사회 문항의 의존관계 분석 결과(일부) 78
[그림 Ⅲ-18] 문장 수준 자동채점 프로그램의 시스템 구조도 80
[그림 Ⅲ-19] 2011년 중3 국어 2번 문항의 의존구조 분석 86
[그림 Ⅲ-20] 문장 수준 자동채점 프로그램의 사용자 인터페이스 91
[그림 Ⅲ-21] 파일 메뉴 목록 및 학생 답안 파일 열기 92
[그림 Ⅲ-22] 학생 답안 및 채점 문항 선택 93
[그림 Ⅲ-23] 답안 언어 분석 결과 예시 93
[그림 Ⅲ-24] 채점 기준 입력 인터페이스 95
[그림 Ⅲ-25] 1차 군집화 결과 95
[그림 Ⅲ-26] 1차 군집화 후 답안 채점 결과 96
[그림 Ⅲ-27] 채점자가 점수를 채점하기 위한 콤보박스 96
[그림 Ⅲ-28] 1회 기계학습을 통한 채점 결과 97
[그림 Ⅲ-29] 예측 점수가 같은 그룹에 속한 학생 답안 98
[그림 Ⅲ-30] 2회 기계학습을 통한 채점 결과 98
[그림 Ⅲ-31] 기계학습을 통해 완료된 채점 결과 99
[그림 Ⅳ-1] 2014년 중3 사회 7번 문항 104
[그림 Ⅳ-2] 2014년 중3 사회 7번 문항의 채점 기준(일부) 104
[그림 Ⅳ-3] 2011년 학업성취도 평가 중3 사회 학생 답안 이미지 105
[그림 Ⅳ-4] 2013년 중3 국어 4-(2)번 문항 128
[그림 Ⅳ-5] 2013년 중3 국어 4-(2)번 문항의 채점 기준(일부) 129
[그림 Ⅴ-1] 한국어 서답형 문항 자동채점 프로그램의 단계별 순환 채점 방식 155
[그림 Ⅴ-2] 한국어 서답형 문항 자동채점 프로그램 관련 연구 및 정책 제언 158
[그림 Ⅴ-3] 국가수준 평가 시스템과 자동채점 프로그램 연계 계획(안) 168
[그림 Ⅴ-4] 온라인 형성평가 시스템과 자동채점 프로그램 연계 계획(안) 169
[그림 Ⅴ-5] 현행 국가수준 학업성취도 평가 표집ㆍ전수답안의 온라인 채점 절차 175
[그림 Ⅴ-6] 국가수준 학업성취도 평가 표집답안의 자동채점 절차(안) 175
[그림 Ⅴ-7] 2013년 국가수준 학업성취도 국어 채점 결과표 예시(안) 176
[그림 Ⅴ-8] 2013년 국가수준 학업성취도 사회 채점 결과의 교사용 보고서 예시 177
[그림 Ⅴ-9] 구글 폼을 통해 입력한 서답형 답안 입력 예시 179
[그림 Ⅴ-10] 구글 폼을 통해 수집한 학생 답안 예시 180