표제지
국문초록
목차
Ⅰ. 서론 15
1. 연구의 필요성 및 목적 15
2. 연구문제 20
3. 연구의 범위 22
Ⅱ. 이론적 배경 23
1. 수직 척도 23
가. 수직 척도의 개념과 사례 23
나. 성장을 규정하기 위한 내용 범위 24
다. 수직 척도를 위한 자료수집 설계 26
2. 수직 척도 개발 방법 31
가. Thurstone 수직 척도 개발 방법 31
나. IRT 수직 척도 개발 방법 33
다. Hieronymus 척도 개발 방법 35
3. 완곡화 방법 50
4. 고전검사이론에 의한 진점수 추정 52
5. 이분 문항 반응과 다분 문항 반응을 위한 Bifactor IRT 모형 56
가. 이분 문항 반응을 위한 Bifactor IRT 모형 57
나. 일차원 다분 문항반응이론: 등급 반응 모형 59
다. 다차원 다분 문항 반응 모형: 다차원 등급 반응 모형 63
라. 이요인 다분 문항 반응 모형: Bifactor graded response model 64
Ⅲ. 연구방법 67
1. 연구 조건 67
가. ST 설계에서 연구 조건 68
나. CI 설계에서 연구 조건 69
2. 모의 자료 생성을 위한 자료수집 설계 69
가. ST 설계 70
나. CI 설계 72
3. 모의 자료 생성 72
가. ST 설계에서 모의 자료 생성 72
나. CI 설계에서 모의 자료 생성 77
4. 자료수집 설계 별 척도 개발 절차 79
가. ST 설계에서 척도 개발 절차 79
나. CI 설계에서 척도 개발 절차 83
5. 평가기준 85
6. 자료 분석 절차 87
Ⅳ. 연구 결과 89
1. ST 설계에서의 결과 89
가. ST 설계에서 학년별 척도 평균 89
나. ST 설계에서 학년 간 평균 성장 98
다. ST 설계에서 척도 변동성 106
라. ST 설계에서 효과크기 114
2. CI 설계에서의 결과 122
가. CI 설계에서 학년별 척도 평균 122
나. CI 설계에서 학년 간 평균 성장 134
다. CI 설계에서 척도 변동성 145
라. CI 설계에서 효과크기 155
Ⅴ. 논의, 결론 및 제언 165
1. 논의 165
2. 결론 169
3. 제언 171
참고문헌 175
ABSTRACT 185
부록_연구 조건에서 수직 척도 속성의 추정 오차 189
〈표 Ⅱ-1〉 척도검사에서 학년별 중앙치와 학령 척도 36
〈표 Ⅱ-2〉 척도검사에서 학년별 중앙치에 대응하는 백분위 38
〈표 Ⅱ-3〉 대칭 분포일 때 신뢰도에 따른 진점수, 진점수 범위, 진점수 평균, 진점수 중앙치 54
〈표 Ⅱ-4〉 비대칭 분포일 때 신뢰도에 따른 진점수, 진점수 평균, 진점수 중앙치 56
〈표 Ⅲ-1〉 자료수집 설계에 따른 연구 조건 67
〈표 Ⅲ-2〉 각 학년의 능력 점수 분포 75
〈표 Ⅲ-3〉 척도검사에서 학년별 중앙치와 설정된 수직 척도 값 예시(학령 척도) 80
〈표 Ⅲ-4〉 학년별 척도검사에서의 중앙치에 대응하는 백분위 81
〈표 Ⅳ-1〉 ST 설계의 학년검사 모집단에서 완곡화 여부, 점수 형태에 따른 학년별 척도 평균 90
〈표 Ⅳ-2〉 ST 설계에서 사례 수, 완곡화 여부, 점수 형태에 따른 학년별 척도 평균 추정의 오차: RMSE 92
〈표 Ⅳ-3〉 ST 설계에서 학년별 척도 평균 추정의 오차: SE 평균과 BIAS 평균 94
〈표 Ⅳ-4〉 ST 설계의 모집단에서 완곡화 여부, 점수 형태에 따른 학년 간 평균 성장 98
〈표 Ⅳ-5〉 ST 설계에서 사례 수, 완곡화 여부, 점수 형태에 따른 학년 간 평균 성장 추정의 오차: RMSE 100
〈표 Ⅳ-6〉 ST 설계에서 사례 수, 점수 형태, 완곡화 여부에 따른 학년 간 평균 성장 추정의 오차: SE 평균과 BIAS 평균 102
〈표 Ⅳ-7〉 ST 설계의 모집단에서 완곡화 여부, 점수 형태에 따른 척도 변동성 106
〈표 Ⅳ-8〉 ST 설계에서 사례 수, 완곡화 여부, 점수 형태에 따른 척도 변동성 추정의 오차: RMSE 108
〈표 Ⅳ-9〉 ST 설계에서 사례 수, 점수 형태, 완곡화 여부에 따른 척도 변동성 추정의 오차: SE 평균과 BIAS 평균 111
〈표 Ⅳ-10〉 ST 설계의 모집단에서 완곡화 여부, 점수 형태에 따른 효과크기 평균 114
〈표 Ⅳ-11〉 ST 설계에서 사례 수, 완곡화 여부, 점수 형태에 따른 효과크기 추정의 오차: RMSE 116
〈표 Ⅳ-12〉 ST 설계에서 사례 수, 점수 형태, 완곡화 여부에 따른 효과크기 추정의 오차: SE 평균과 BIAS 평균 118
〈표 Ⅳ-13〉 CI 설계의 모집단에서 완곡화 여부, 점수 연계 방법에 따른 학년별 척도 평균 124
〈표 Ⅳ-14〉 CI 설계에서 사례 수, 완곡화 여부, 점수 연계 방법에 따른 학년별 척도 평균 추정의 오차: RMSE 126
〈표 Ⅳ-15〉 CI 설계에서 학년별 척도 평균 추정의 오차: SE 평균과 BIAS 평균 130
〈표 Ⅳ-16〉 CI 설계의 모집단에서 완곡화 여부, 점수 연계 방법에 따른 학년 간 평균 성장 134
〈표 Ⅳ-17〉 CI 설계에서 사례 수, 완곡화 여부, 점수 연계 방법에 따른 학년 간 평균 성장의 추정의 오차: RMSE 137
〈표 Ⅳ-18〉 CI 설계에서 사례 수, 점수 연계 방법, 완곡화 여부에 따른 학년 간 평균 성장 추정의 오차: SE 평균과 BIAS 평균 141
〈표 Ⅳ-19〉 CI 설계의 모집단에서 완곡화 여부, 점수 연계 방법에 따른 척도 변동성 145
〈표 Ⅳ-20〉 CI 설계에서 사례 수, 완곡화 여부, 점수 연계 방법에 따른 척도 변동성 추정의 오차: RMSE 148
〈표 Ⅳ-21〉 CI 설계에서 사례 수, 점수 연계 방법, 완곡화 여부에 따른 척도 변동성 추정의 오차: SE 평균과 BIAS 평균 151
〈표 Ⅳ-22〉 CI 설계의 모집단에서 완곡화 여부, 점수 연계 방법에 따른 효과크기 평균 155
〈표 Ⅳ-23〉 CI 설계에서 사례 수, 완곡화 여부, 점수 연계 방법에 따른 효과크기 추정의 오차: RMSE 157
〈표 Ⅳ-24〉 CI 설계에서 사례 수, 점수 연계 방법, 완곡화 여부에 따른 효과크기의 추정의 오차: SE 평균과 BIAS 평균 160
[그림 Ⅱ-1] ST 설계 27
[그림 Ⅱ-2] 공통문항 설계 28
[그림 Ⅱ-3] 무선 동등 집단 설계 29
[그림 Ⅱ-4] 단일집단 역균형 설계 30
[그림 Ⅱ-5] 학령 척도에 따른 성장 모형 39
[그림 Ⅱ-6] 신뢰도에 따른 관찰점수와 진점수 간 관계 55
[그림 Ⅱ-7] 이분 문항 반응 BIRT 모형의 도식 57
[그림 Ⅱ-8] GRM의 누적 유목 반응 함수 62
[그림 Ⅱ-9] GRM의 유목 반응 함수 62
[그림 Ⅱ-10] 요인 간 상관이 없는 MIRT 모형 64
[그림 Ⅱ-11] 요인 간 상관이 있는 MIRT 모형 64
[그림 Ⅱ-12] 다분 문항 반응 Bifactor IRT 모형의 도식 65
[그림 Ⅲ-1] 자료 생성을 위한 ST 설계 70
[그림 Ⅲ-2] 자료 생성을 위한 CI 설계 71
[그림 Ⅲ-3] 실제 척도검사에서 평가요소 간 상관계수 분포 73
[그림 Ⅲ-4] BGRM 모형에서 누적 유목 반응 함수와 무선 숫자에 따른 응답 반응 생성 예시 77
[그림 Ⅲ-5] 학령 척도에 따른 성장 모형 82
[그림 Ⅳ-1] ST 설계의 모집단에서 학년별 관찰 척도 평균과 목표 척도 평균 간 차이 90
[그림 Ⅳ-2] ST 설계에서 사례 수, 점수 형태, 완곡화 여부에 따른 학년별 척도 평균 추정의 RMSE 평균 93
[그림 Ⅳ-3] ST 설계에서 사례 수, 점수 형태, 완곡화 여부에 따른 학년별 척도 평균 추정의 SE 95
[그림 Ⅳ-4] ST 설계에서 사례 수, 점수 형태, 완곡화 여부에 따른 학년별 척도 평균 추정의 BIAS 96
[그림 Ⅳ-5] ST 설계의 모집단에서 완곡화 여부와 점수 형태에 따른 학년 간 평균 성장 99
[그림 Ⅳ-6] ST 설계에서 사례 수, 점수 형태, 완곡화 여부에 따른 학년 평균 성장 추정의 RMSE 평균 101
[그림 Ⅳ-7] ST 설계에서 사례 수, 점수 형태, 완곡화 여부에 따른 학년 간 평균 성장 추정의 SE 103
[그림 Ⅳ-8] ST 설계에서 사례 수, 점수 형태, 완곡화 여부에 따른 학년 간 평균 성장 추정의 BIAS 104
[그림 Ⅳ-9] ST 설계의 모집단에서 점수 형태, 완곡화 여부에 따른 척도 변동성 107
[그림 Ⅳ-10] ST 설계에서 사례 수, 점수 형태, 완곡화 여부에 따른 척도 변동성 추정의 RMSE 평균 109
[그림 Ⅳ-11] ST 설계에서 사례 수, 점수 형태, 완곡화 여부에 따른 척도 변동성 추정의 SE 112
[그림 Ⅳ-12] ST 설계에서 사례 수, 점수 형태, 완곡화 여부에 따른 척도 변동성 추정의 BIAS 113
[그림 Ⅳ-13] ST 설계의 모집단에서 사례 수, 점수 형태, 완곡화 여부에 따른 효과크기 평균 115
[그림 Ⅳ-14] ST 설계에서 사례 수, 점수 형태, 완곡화 여부에 따른 효과크기 추정의 RMSE 평균 117
[그림 Ⅳ-15] ST 설계에서 사례 수, 점수 형태, 완곡화 여부에 따른 효과크기 추정의 SE 119
[그림 Ⅳ-16] ST 설계에서 사례 수, 점수 형태, 완곡화 여부에 따른 효과크기 추정의 BIAS 120
[그림 Ⅳ-17] CI 설계의 모집단에서 완곡화 여부, 점수 연계 방법에 따른 학년별 관찰 척도 평균과 목표 척도 평균간 차이 124
[그림 Ⅳ-18] CI 설계에서 사례 수, 완곡화 여부, 점수 연계 방법에 따른 학년별 척도 평균 추정의 RMSE 128
[그림 Ⅳ-19] CI 설계에서 사례 수, 점수 연계 방법, 완곡화 여부에 따른 척도 평균 추정의 SE 131
[그림 Ⅳ-20] CI 설계에서 사례 수, 점수 연계 방법, 완곡화 여부에 따른 척도 평균 추정의 BIAS 132
[그림 Ⅳ-21] CI 설계의 모집단에서 완곡화 여부, 점수 연계 방법에 따른 학년 간 평균 성장 135
[그림 Ⅳ-22] CI 설계에서 사례 수, 점수 연계 방법, 완곡화 여부에 따른 학년 간 평균 성장 추정의 RMSE 평균 136
[그림 Ⅳ-23] CI 설계에서 사례 수, 점수 연계 방법, 완곡화 여부에 따른 학년 간 평균 성장 추정의 SE 142
[그림 Ⅳ-24] CI 설계에서 사례 수, 점수 연계 방법, 완곡화 여부에 따른 학년 간 평균 성장 추정의 BIAS 143
[그림 Ⅳ-25] CI 설계의 모집단에서 점수 연계 방법과 완곡화 여부에 따른 척도 변동성 146
[그림 Ⅳ-26] CI 설계에서 사례 수, 점수 연계 방법, 완곡화 여부에 따른 척도 변동성 추정의 RMSE 평균 150
[그림 Ⅳ-27] CI 설계에서 사례 수, 점수 연계 방법, 완곡화 여부에 따른 척도 변동성 추정의 SE 152
[그림 Ⅳ-28] CI 설계에서 사례 수, 점수 연계 방법, 완곡화 여부에 따른 척도 변동성 추정의 BIAS 153
[그림 Ⅳ-29] CI 설계의 모집단에서 점수 연계 방법과 완곡화 여부에 따른 효과크기 평균 156
[그림 Ⅳ-30] CI 설계에서 사례 수, 점수 연계 방법, 완곡화 여부에 따른 효과크기 추정의 RMSE 평균 159
[그림 Ⅳ-31] CI 설계에서 사례 수, 점수 연계 방법, 완곡화 여부에 따른 효과크기 추정의 SE 161
[그림 Ⅳ-32] CI 설계에서 사례 수, 점수 연계 방법, 완곡화 여부에 따른 효과크기 추정의 BIAS 162
[그림 Ⅴ-1] 모집단에서 학년별 척도 평균과 목표 평균 간 절대값 차이 평균, 학년 간 성장 평균, 척도 변동성 평균, 효과크기 평균 169