표제지
목차
머리말 4
연구요약 5
Ⅰ. 서론 19
1. 연구의 필요성 및 목적 21
2. PISA 2012 연구 일정 23
가. 연구 일정 23
나. 국제회의 일정 25
3. 2011년 연구 내용 26
가. PISA 2012 예비검사 준비 26
나. PISA 2012 예비검사 시행 27
다. PISA 2012 예비검사 채점 및 자료 관리 27
라. PISA 2012 예비검사 결과 분석 및 본검사 준비 28
Ⅱ. PISA 2012 예비검사 평가도구 29
1. PISA 2012 평가틀 31
가. 수학 평가틀 31
나. 문제해결력 평가틀 43
다. 교육맥락 변인 평가틀 48
2. 평가 문항 개발 49
가. 평가 문항 개발 절차 50
나. 우리나라의 문항 개발 참여 51
3. PISA 2012 예비검사 평가도구 구성 56
가. 예비검사 평가도구 구성 56
나. 교육맥락 변인 설문조사 도구 60
4. 평가도구 번역 및 검증 68
가. 수학 지필검사지 번역 및 검증 68
나. 컴퓨터 기반 평가 도구의 번역 및 검증 70
다. 교육맥락 변인 설문조사 도구의 번역 및 검증 73
라. 시행 지침서 번역 및 검증 77
Ⅲ. PISA 2012 예비검사 시행 79
1. 평가 대상 표집 81
가. PISA 2012 예비검사 표집 방법 82
나. 학교 표집 절차 84
다. 학생 표집 절차 86
2. 컴퓨터 기반 평가 시행을 위한 사전 점검 89
3. 학교 책임자와 감독 교사 선정 및 연수 91
가. 학교 책임자와 감독 교사 선정 91
나. 연수 일정 95
4. 검사 자료 인쇄ㆍ포장ㆍ발송 96
가. 검사 자료 인쇄 97
나. 평가도구 포장 및 발송 98
5. 예비검사 시행 및 질 관리 98
가. 지필검사 시행 99
나. 컴퓨터 기반 평가 시행 101
다. 시행 질 관리를 위한 학교 방문 103
라. 검사 자료 회송 103
마. 시행 과정 검토 105
Ⅳ. PISA 2012 예비검사 채점 및 자료 관리 107
1. 예비검사 채점 109
가. 채점기준의 번역 및 검증 109
나. 지필검사 채점 설계 및 절차 110
다. 컴퓨터 기반 평가 채점 설계 및 절차 118
라. 지필검사 및 컴퓨터 기반 평가 채점 및 채점자 연수 121
마. 채점 과정 모니터링 및 평가 123
2. 예비검사 자료 관리 123
가. 자료의 구조 123
나. 자료입력 및 확인 일정 124
다. 코드북의 수정 및 확인 125
라. 자료 입력 126
마. 자료 확인 127
바. 자료 송부 및 검증 130
Ⅴ. 예비검사 결과 분석 및 본검사 준비 133
1. 국제본부 송부용 예비검사 시행보고서 작성 136
2. 국제본부 송부용 예비검사 문항 검토서 작성 138
3. 예비검사 결과 분석 139
가. 수학 지필검사 140
나. 컴퓨터 기반 수학 평가 144
다. 컴퓨터 기반 문제해결력 평가 146
4. 예비검사 교육맥락 변인 설문 문항 분석 148
가. 학생 설문지 148
나. 학부모 설문지 149
다. 학교 설문지 150
5. 본검사 문항 선제 150
6. 본검사 준비 157
가. 본검사 준비 일정 및 계획 수립 157
나. 본검사 평가도구의 번역 및 편집 161
다. 본검사 시행 학교 표집 162
라. 본검사 시행 설계시 유의할 점 162
Ⅵ. 요약 및 정책 제언 165
1. 요약 167
가. 예비검사 평가도구 167
나. 예비검사 시행 168
다. 예비검사 채점 및 자료 관리 169
라. 예비검사 결과 분석 및 본검사 준비 170
2. 정책 제언 171
가. 수학 및 문제해결력 교육 개선을 위한 정책 제언 172
나. 국가 단위 대규모 성취도 평가 연구를 위한 정책 제언 174
다. PISA 결과 활용을 위한 연계 체제 구축 관련 정책 제언 177
라. PISA 2012 본검사의 성공적 시행을 위한 정책 제언 178
마. 향후 PISA의 지속적 참여 및 시행을 위한 정책 제언 179
참고문헌 183
ABSTRACT 185
부록 189
[부록 1] TAS 191
[부록 2] BAS 192
[부록 3] CBA Format and Layout Check 193
[부록 4] QAS 194
[부록 5] Final Optical Check 195
[부록 6] MAS 196
[부록 7] 검사 일정 서식(지필+컴퓨터 기반 평가) 197
[부록 8] 검사 일정 서식(컴퓨터 기반 평가) 198
[부록 9] 대상 학생 명단 199
[부록 10] 표집 양식(Sampling Form for KeyQuest: SFKQ) 200
[부록 11] 학교 계열(Study Programme Table: SPT) 202
[부록 12] 사용 언어(Language Table: LNT) 203
[부록 13] 출생 국가명(Country of Birth Table: CBT) 204
[부록 14] 학생 명세서 205
[부록 15] 지필검사용 검사 응시자 명단 206
[부록 16] 컴퓨터 기반 평가용 검사 응시자 명단 207
[부록 17] 컴퓨터 기반 평가 시스템 진단 결과표 208
[부록 18] 지필검사용 검사 실시 보고서 209
[부록 19] 컴퓨터 기반 평가용 검사 실시 보고서 211
[부록 20] 검사 자료 수령 서식 213
[부록 21] 검사 자료 목록 (지필+컴퓨터 기반 평가) 214
[부록 22] 검사 자료 목록 (컴퓨터 기반 평가) 215
[부록 23] 컴퓨터 기반 평가 로그인 양식 216
[부록 24] 자료 송부 서식 217
[부록 25] 용어 정리 218
판권기 2
[표 Ⅰ-1] PISA의 주기별 평가 영역 및 특징 22
[표 Ⅰ-2] 국제본부와의 협력 및 국내 연구 내용과 추진 일정 비교 24
[표 Ⅰ-3] 국제회의 일정 26
[표 Ⅱ-1] PISA 2012 수학 평가틀 34
[표 Ⅱ-2] PISA 2012와 PISA 2009 수학 평가틀의 비교 35
[표 Ⅱ-3] PISA 2012 수학 평가틀의 ‘맥락’ 36
[표 Ⅱ-4] 수학적 내용과 관련된 내용 주제 38
[표 Ⅱ-5] PISA 2012 수학 평가틀의 ‘기본 수학 능력’ 41
[표 Ⅱ-6] PISA 2012 문제해결력 평가틀 45
[표 Ⅱ-7] PISA 2012와 PISA 2003 문제해결력 평가틀 비교 46
[표 Ⅱ-8] PISA 2012 예비검사 설문조사 도구 설계 49
[표 Ⅱ-9] 국내 개발 수학 및 문제해결력 문항 52
[표 Ⅱ-10] PISA 2012 예비검사 수학 지필검사지 설계 57
[표 Ⅱ-11] PISA 2012 예비검사 지필검사 문항 구성 58
[표 Ⅱ-12] PISA 2012 예비검사 컴퓨터 기반 평가 설계 59
[표 Ⅱ-13] PISA 2012 예비검사 컴퓨터 기반 평가 문항 구성 60
[표 Ⅱ-14] PISA 2012 예비검사 설문조사 도구 설계 61
[표 Ⅱ-15] PISA 2012 예비검사 학생 설문지 구성 62
[표 Ⅱ-16] PISA 2012 예비검사 학부모 설문지의 내용 65
[표 Ⅱ-17] PISA 2012 예비검사 학교 설문지의 내용 66
[표 Ⅱ-18] PISA 2012 예비검사 설문지 수정 내용 73
[표 Ⅱ-19] PISA 2012 예비검사 시행 세부 지침서 내용 77
[표 Ⅲ-1] PISA 2012 예비검사의 표집 설계 82
[표 Ⅲ-2] PISA 2012 예비검사의 표집 설계 83
[표 Ⅲ-3] PISA 2012 예비검사의 제외 학생 비율 84
[표 Ⅲ-4] PISA 2012 예비검사를 위한 표집 학교 수 85
[표 Ⅲ-5] 지필검사 및 컴퓨터 기반 평가 참여 학교 수 및 인원수 88
[표 Ⅲ-6] PISA 2012 예비검사의 표집 학생 수 88
[표 Ⅲ-7] 학교 책임자의 역할 92
[표 Ⅲ-8] 감독 교사의 역할 (지필검사와 컴퓨터 기반 평가 둘 다 시행하는 학교) 93
[표 Ⅲ-9] 감독 교사의 역할 (컴퓨터 기반 평가만 시행하는 학교) 94
[표 Ⅲ-10] 학교 책임자 및 감독 교사 연수 날짜 및 참석 대상자 95
[표 Ⅲ-11] 학교 책임자 및 감독 교사 연수 일정 96
[표 Ⅲ-12] PISA 2012 예비검사 평가도구 인쇄 내역 97
[표 Ⅲ-13] PISA 2012 예비검사 응시 현황 99
[표 Ⅲ-14] PISA 2012 예비검사 지필검사 소요 시간 100
[표 Ⅲ-15] 컴퓨터 기반 평가 감독 교사 준비 자료 102
[표 Ⅲ-16] PISA 2012 예비검사 컴퓨터 기반 평가 소요 시간 102
[표 Ⅲ-17] PISA 2012 예비검사 시행 과정 검토 결과 105
[표 Ⅳ-1] 수학 지필검사 문항군별 구성형 문항수 111
[표 Ⅳ-2] PISA 2012 예비검사 단수 채점 설계 111
[표 Ⅳ-3] PISA 2012 예비검사 복수 채점 설계 114
[표 Ⅳ-4] 복수 채점시 채점자간 순환 방식 116
[표 Ⅳ-5] 채점자별 검사지 순환 정보 117
[표 Ⅳ-6] CBAM 구성형 문항 120
[표 Ⅳ-7] CBAPS 구성형 문항 121
[표 Ⅳ-8] 채점자 고유 번호(ID) 배정 122
[표 Ⅳ-9] PISA 2012 예비검사 자료입력 관련 자료 목록 124
[표 Ⅳ-10] PISA 2012 예비검사 자료입력 및 스캔 작업 일정 및 내용 125
[표 Ⅳ-11] PISA 2012 예비검사 검사지 자료 입력 수 126
[표 Ⅳ-12] PISA 2012 검사지 자료 입력 수 127
[표 Ⅳ-13] PISA 2012 예비검사 타당성 검증 보고서 129
[표 Ⅳ-14] PISA 2012 예비검사 타당성 보고서 수정 사항 130
[표 Ⅳ-15] PISA 2012 예비검사 자료 검증 질문 사항 132
[표 Ⅴ-1] 예비검사 시행 보고서(Field Trial Review)의 구성 136
[표 Ⅴ-2] 수학 지필검사 중 우리나라 특이 반응 문항 목록 141
[표 Ⅴ-3] 우리나라 학생들에게 상대적으로 쉬운 문항 142
[표 Ⅴ-4] 우리나라 학생들에게 상대적으로 어려운 문항 143
[표 Ⅴ-5] CBAM 중 우리나라 특이 반응 문항 목록 145
[표 Ⅴ-6] CBAM 중 상대적으로 쉬운 문항과 어려운 문항 145
[표 Ⅴ-7] CBAPS 중 우리나라 특이 반응 문항 목록 146
[표 Ⅴ-8] CBAPS 중 상대적으로 쉬운 문항과 어려운 문항 147
[표 Ⅴ-9] 학생 설문지 문항 분석 결과 148
[표 Ⅴ-10] 학부모 설문지 문항 분석 결과 149
[표 Ⅴ-11] 학교 설문지 문항 분석 결과 150
[표 Ⅴ-12] PISA 2012 본검사 수학 지필검사 문항 목록 150
[표 Ⅴ-13] PISA 2012 본검사 CBAM 문항 목록 153
[표 Ⅴ-14] PISA 2012 본검사 CBAPS 문항 목록 155
[표 Ⅴ-15] PISA 2012 본검사 준비 관련 국제본부 일정 157
[표 Ⅴ-16] PISA 2012 본검사 관련 일정 159
[표 Ⅴ-17] PISA 2012 본검사 지필검사 PVS 159
[표 Ⅴ-18] PISA 2012 본검사 컴퓨터 기반 평가 PVS 160
[표 Ⅴ-19] PISA 2012 본검사 채점기준 관련 PVS 160
[표 Ⅴ-20] PISA 2012 본검사 설문지 PVS 161
[그림 Ⅰ-1] PISA 연구 관련 업무 조직도 25
[그림 Ⅱ-1] 수학적 모델링 순환 과정 32
[그림 Ⅱ-2] PISA 2012 수학 평가틀 33
[그림 Ⅱ-3] PISA 2012 컴퓨터 기반 평가 연습 문제 화면 42
[그림 Ⅱ-4] 문제해결 상황 44
[그림 Ⅱ-5] PISA 2012 예비검사 평가 문항 개발절차 50
[그림 Ⅱ-6] PISA 2012 개발 문항 제출 양식 55
[그림 Ⅱ-7] 수학 지필검사지 구성 56
[그림 Ⅱ-8] PISA 2012 예비검사의 지필검사지 번역 및 검증 과정 70
[그림 Ⅱ-9] TMS 초기 화면 70
[그림 Ⅱ-10] 컴퓨터 기반 평가 도구 번안 및 검증 절차 71
[그림 Ⅱ-11] OLT 초기 화면 72
[그림 Ⅱ-12] 온라인 학교 설문 제작 도구 75
[그림 Ⅱ-13] 온라인 학교 설문 문항 입력 창 76
[그림 Ⅱ-14] 온라인 학교 설문 문항 예시 76
[그림 Ⅲ-1] 컴퓨터 기반 평가 진단 프로그램 결과의 예 90
[그림 Ⅲ-2] 컴퓨터 기반 평가 프로그램 오류의 예 90
[그림 Ⅲ-3] 결시율 계산을 위한 순서도 101
[그림 Ⅲ-4] 검사 자료 및 서식 정리 방법(지필검사+컴퓨터 기반 평가) 104
[그림 Ⅲ-5] 검사 자료 및 서식 정리 방법(컴퓨터 기반 평가만 시행한 경우) 104
[그림 Ⅳ-1] 지필검사지에 대한 채점 설계 110
[그림 Ⅳ-2] 배치 표지(Batch Header) 113
[그림 Ⅳ-3] 복수 채점 기록지(Multiple Coding Record Sheets) 115
[그림 Ⅳ-4] 채점자 구성 119
[그림 Ⅳ-5] OCS 채점 화면 120
[그림 Ⅳ-6] PISA 2012 예비검사 채점 일정 122
[그림 Ⅳ-7] PISA 2012 예비검사 타당성 보고서 작성 절차 128
[그림 Ⅳ-8] PISA 2012 예비검사 자료 수합 및 자료 제출 과정 131
[그림 Ⅴ-1] 예비검사 지필검사 문항 검토서 138
[그림 Ⅴ-2] 예비검사 컴퓨터 기반 평가 문항 검토서 139