표제지
목차
연구요약 5
I. 서론 14
1. 연구의 필요성 및 목적 15
2. 연구 내용 19
가. 학업성취도 평가의 컴퓨터 기반 평가 전환을 위한 사례 분석 및 이론적 탐색 19
나. 컴퓨터 기반 학업성취도 평가에 적합한 문항 유형 탐색 및 적용 계획 수립 19
다. 컴퓨터 기반 학업성취도 평가 도입을 위한 출제 방안 마련 20
3. 연구 방법 21
가. 문헌 연구 21
나. 전문가협의회 21
다. 워킹그룹 운영 22
II. 학업성취도 평가의 컴퓨터 기반 평가 전환을 위한 이론적 탐색 및 출제 방향 설정 23
1. 국제 및 국외 학업성취도 평가의 컴퓨터 기반 평가 전환 사례 분석 24
가. PISA의 컴퓨터 기반 평가 전환 25
나. TIMSS의 컴퓨터 기반 평가 전환 26
다. NAEP의 컴퓨터 기반 평가 전환 28
라. NAPLAN의 컴퓨터 기반 평가 전환 30
2. 컴퓨터 기반 평가 전환 전략 모색을 위한 이론적 탐색 34
가. 컴퓨터 기반 평가 전환의 기회 요소와 위험 요소 34
나. 컴퓨터 기반 평가의 전환 전략 41
3. 컴퓨터 기반 학업성취도 평가 출제 방향 설정 46
III. 컴퓨터 기반 학업성취도 평가 문항 유형 탐색 및 설정 55
1. 기술공학적 기능 활용 문항의 범주 및 사례 분석 56
가. 선행연구에 나타난 기술공학적 기능 활용 문항의 유형 57
나. 대규모 컴퓨터 기반 평가의 문항 유형 사례 64
2. 컴퓨터 기반 학업성취도 평가 문항 유형 설정 69
가. 컴퓨터 기반 학업성취도 평가에 적용할 대표 기술공학적 기능 69
나. 컴퓨터 기반 학업성취도 평가 문항 유형 74
IV. 컴퓨터 기반 학업성취도 평가 문항 유형 적용 계획 수립 및 문항 개발 80
1. 컴퓨터 기반 평가 도입 단계별 문항 유형 적용 계획 수립 81
가. 단기 적용 계획 85
나. 중기 적용 계획 87
다. 장기 적용 계획 88
2. 컴퓨터 기반 학업성취도 평가를 위한 평가틀 확정 89
가. 기존 지필평가 체제에서의 학업성취도 평가의 평가틀 개관 89
나. 컴퓨터 기반 학업성취도 평가의 평가틀 수정ㆍ확정 과정 및 결과 91
3. 컴퓨터 기반 학업성취도 평가 예비시행 문항 개발 100
가. 예비시행 문항 개발 절차 100
나. 2020년 학업성취도 평가 문항의 eNAEA 전환 가능성 분석 결과 및 신규 개발 문항 정보 103
다. eNAEA 검사지 구성 방안 107
4. 컴퓨터 기반 학업성취도 평가의 문항 유형별 예시 문항 113
가. 단순 제시형 114
나. 정보 활용형 131
다. 미디어 활용형 132
라. 도구 조작 및 시뮬레이션형 138
마. 대화형 143
V. 컴퓨터 기반 학업성취도 평가 출제 절차 마련 146
1. 컴퓨터 기반 학업성취도 평가의 문항 개발 절차 탐색 147
2. 컴퓨터 기반 학업성취도 평가 출제 시스템 설계 149
3. 컴퓨터 기반 학업성취도 평가 문항 개발 방안 수립 152
가. 문항 개발 방안의 유형 152
나. 컴퓨터 기반 학업성취도 평가 문항 개발 방안 156
VI. 요약 및 제언 160
1. 요약 161
2. 정책 제언 167
가. eNAEA 시스템을 활용한 학교교육 혁신과 학생 평가 지원 169
나. eNAEA 체제 개선 지원 198
참고문헌 223
ABSTRACT 237
[부록] eNAEA 예비시행 교과별 검사지 구성안 243
판권기 2
〈표 Ⅰ-1-1〉 2020~2022년 컴퓨터 기반 학업성취도 평가 출제 관련 주요 연구 내용 18
〈표 Ⅱ-1-1〉 주요 국제 및 국외 대규모 학업성취도 평가의 컴퓨터 기반 평가 도입 개요 24
〈표 Ⅱ-1-2〉 PISA의 컴퓨터 기반 평가 전환 과정 26
〈표 Ⅱ-1-3〉 TIMSS의 컴퓨터 기반 평가 전환 과정 28
〈표 Ⅱ-1-4〉 NAEP의 컴퓨터 기반 평가 전환 과정 30
〈표 Ⅱ-1-5〉 NAPLAN Online의 컴퓨터 기반 평가 전환 과정 31
〈표 Ⅱ-2-1〉 컴퓨터 기반 평가 전환의 기회 요소와 위험 요소 40
〈표 Ⅲ-1-1〉 Sireci와 Zenisky(2006)에서 제시된 응답 제약 정도 및 응답 행위에 따른 문항 유형 60
〈표 Ⅲ-1-2〉 Parshall 외(2002, 2010)에서 제시된 문항 유형 63
〈표 Ⅲ-1-3〉 NAEP의 컴퓨터 기반 평가 문항 유형 64
〈표 Ⅲ-1-4〉 SBA의 컴퓨터 기반 평가 문항 유형 66
〈표 Ⅲ-1-5〉 PISA의 컴퓨터 기반 평가 문항 유형 68
〈표 Ⅲ-2-1〉 김경희 외(2018)에서 제시된 웹 기반 학생검사 문항의 기술공학적 기능 70
〈표 Ⅲ-2-2〉 학생 응답에 활용될 기술공학적 기능 목록 71
〈표 Ⅲ-2-3〉 자료 탐색에 활용될 기술공학적 기능 목록 73
〈표 Ⅲ-2-4〉 학생 응답 측면의 eNAEA 문항 유형 76
〈표 Ⅲ-2-5〉 자료 탐색 측면의 eNAEA 문항 유형 77
〈표 Ⅳ-1-1〉 eNAEA 문항 유형별 적용 계획 83
〈표 Ⅳ-2-1〉 eNAEA 수학과 평가틀의 '역량' 구성 96
〈표 Ⅳ-2-2〉 eNAEA 영어과 평가틀의 '역량' 구성 97
〈표 Ⅳ-3-1〉 eNAEA 예비시행 문항 개발을 위한 문항 분석틀 및 분석 예시 101
〈표 Ⅳ-3-2〉 2020년 학업성취도 평가 문항의 eNAEA 전환 가능성 분석 - 학생 응답 측면 104
〈표 Ⅳ-3-3〉 2020년 학업성취도 평가 문항의 eNAEA 전환 가능성 분석 - 자료 탐색 측면 105
〈표 Ⅳ-3-4〉 eNAEA 예비시행 신규 개발 문항 정보 - 학생 응답 측면 106
〈표 Ⅳ-3-5〉 eNAEA 예비시행 신규 개발 문항 정보 - 자료 탐색 측면 106
〈표 Ⅳ-3-6〉 eNAEA 예비시행 중학교 사회과 검사지 구성안 108
〈표 Ⅳ-3-7〉 eNAEA 예비시행 검사지의 문항 유형별 전환/신규개발 문항 비교 - 학생 응답 측면 109
〈표 Ⅳ-3-8〉 eNAEA 예비시행 검사지의 문항 유형별 전환/신규개발 문항 비교 - 자료 탐색 측면 110
〈표 Ⅳ-4-1〉 eNAEA 문항 유형별 대표 예시 문항 정보 114
〈표 Ⅴ-3-1〉 문항 개발 방안(합숙형과 공모형)의 장단점 비교 152
〈표 Ⅵ-2-1〉 eNAEA 상시 진단 서비스와 기존 문제은행식 평가 시스템의 주요 특징 비교 174
〈표 Ⅵ-2-2〉 e-평가플랫폼 개발을 위한 요구 조사 예시 184
〈표 Ⅵ-2-3〉 교사의 e-평가전문성 신장을 위한 연수 프로그램(안) 192
〈표 Ⅵ-2-4〉 국제 및 국외 학업성취도 평가의 시행 환경 210
〈표 Ⅵ-2-5〉 특수교육대상자를 위한 온라인 평가 접근성 설계 시 주요 고려 사항 213
〈표 Ⅵ-2-6〉 국제 및 국외 학업성취도 평가의 컴퓨터 기반 평가 전환 사례 및 관련 연구 217
[그림 Ⅰ-1-1] 교과역량 및 컴퓨터 기반 평가 도입 로드맵 17
[그림 Ⅱ-2-1] 전환 전략에 따른 컴퓨터 기반 평가(e-assessment)의 혁신 차원 43
[그림 Ⅱ-2-2] 컴퓨터 기반 평가로의 전환을 위한 순환적 의사결정 모형 45
[그림 Ⅱ-3-1] 역량 평가 및 컴퓨터 기반 평가 도입에 따른 학업성취도 평가의 발전 47
[그림 Ⅲ-1-1] Scalise와 Gifford(2006)에서 제시된 응답 제약 수준에 따른 문항 유형 분류 체계 62
[그림 Ⅲ-1-2] NAEP 8학년 수학(2017), 지리(2018)의 선택형 문항 사례 65
[그림 Ⅲ-1-3] NAPLAN 7학년 읽기 영역의 끌어놓기 문항 사례 67
[그림 Ⅲ-1-4] PISA 협력적 문제 해결력 평가의 가상 대화 문항 사례 68
[그림 Ⅲ-2-1] eNAEA 문항의 구성 예시 75
[그림 Ⅲ-2-2] eNAEA 문항 배치 예시 78
[그림 Ⅳ-1-1] 컴퓨터 기반 학업성취도 평가 문항 유형 적용 계획 수립을 위한 기술 및 복잡성 수준 82
[그림 Ⅳ-1-2] 기술 및 복잡성 수준에 따른 문항 유형 적용 단계 설정 83
[그림 Ⅳ-3-1] 예비시행 문항 개발 절차 100
[그림 Ⅳ-4-1] '단순 제시형' '선다형' 과학과 사례 115
[그림 Ⅳ-4-2] '단순 제시형' - '확장 선택형' 사회과, 영어과 사례 117
[그림 Ⅳ-4-3] '단순 제시형' - '확장 선택형' 사회과, 수학과 사례 118
[그림 Ⅳ-4-4] '단순 제시형' - '자료 연결형' 국어과, 영어과 사례 121
[그림 Ⅳ-4-5] '단순 제시형' - '순서 배열형' 영어과 사례 124
[그림 Ⅳ-4-6] '단순 제시형' - '그래프/그림 완성형' 수학과 사례 125
[그림 Ⅳ-4-7] '단순 제시형' - '서술형' 수학과 사례 128
[그림 Ⅳ-4-8] '단순 제시형' '수정형' 국어과 사례 129
[그림 Ⅳ-4-9] '정보 활용형' - '서술형' 국어과 사례 131
[그림 Ⅳ-4-10] '미디어 활용형' - '선다형' 영어과, 국어과 사례 134
[그림 Ⅳ-4-11] '미디어 활용형' - '선다형' 사회과, 과학과 사례 136
[그림 Ⅳ-4-12] '도구 조작' - '그래프/그림 완성형' 수학과 사례 139
[그림 Ⅳ-4-13] '시뮬레이션' - '선다형' 과학과 사례 141
[그림 Ⅳ-4-14] '대화형' - '확장 선택형' 국어과 사례 143
[그림 Ⅴ-1-1] 지필평가 문항 개발 절차 147
[그림 Ⅴ-1-2] 컴퓨터 기반 평가의 문항 개발 절차 148
[그림 Ⅴ-1-3] 컴퓨터 기반 학업성취도 평가 출제 시스템 150
[그림 Ⅴ-3-1] 컴퓨터 기반 학업성취도 평가 문항 개발 방안 156
[그림 Ⅵ-2-1] 정책 제언 및 실행 전략 168
[그림 Ⅵ-2-2] 학업성취도 평가 상시 진단 서비스 기능이 포함된 eNAEA의 특징 173
[그림 Ⅵ-2-3] eNAEA 상시 진단 서비스 도입 로드맵 178
[그림 Ⅵ-2-4] e-평가플랫폼 개발 및 보급 절차 186
[그림 Ⅵ-2-5] e-평가플랫폼의 맞춤형 기능 187
[그림 Ⅵ-2-6] 교사의 전문성 강화와 문항 개발을 위한 연수 프로그램의 구성 195
[그림 Ⅵ-2-7] 컴퓨터 기반 평가의 문항 유형과 개발 문항 안내 및 보급 과정 196
[그림 Ⅵ-2-8] 컴퓨터 기반 학업성취도 평가 문항 저작 도구 예시 200
[그림 Ⅵ-2-9] Smarter Balanced Assessment의 자료 영역 화면 크기 조정 예시 204
[그림 Ⅵ-2-10] PISA 2018에 나타난 학교에서의 디지털 기기 접근성 207
[그림 Ⅵ-2-11] 2019년 교육정보화 실태조사 주요 통계 - 학생용 PC 구입 시기별 보유 현황 207
[그림 Ⅵ-2-12] TIMSS 2023의 주요 특징 홍보 자료 210
[그림 Ⅵ-2-13] 2019년 교육정보화 실태조사 주요 통계 - 학생용 PC 보유 현황 211
[그림 Ⅵ-2-14] NAEP 2017 Reading Assessment에 참여한 학생의 평가 수행 데이터 221