본 연구의 목적은 Hieronymus 방법으로 수직 척도를 개발할 때 진점수 사용 여부, 완곡화 여부, 점수 연계 방법 등과 같은 선택에 따른 수직 척도의 속성(학년별 척도 평균, 학년 간 평균 성장, 척도 변동성, 효과크기)에서의 차이와 이들 속성의 사례수에 따른 추정 오차 크기를 비교하는데 있다. 이를 위한 구체적인 연구문제는 첫째 척도검사(scaling test, 이하 ST) 설계에서 모집단 자료로 척도를 개발할 때 진점수 혹은 관찰점수 사용 여부, 완곡화 사용 여부에 따른 수직 척도의 속성에서의 차이를 비교하고, 사례 수를 달리했을 때 진점수 사용 여부와 완곡화 사용 여부에 따른 수직 척도 속성의 추정 오차인 RMSE(root mean squared error), SE(standard error), BIAS의 크기를 비교하는 것이다. 두 번째 연구 문제는 공통문항(common item nonequivalent groups design, 이하 CI) 설계에서 모집단 자료로 척도를 개발할 때 점수 연계 방법인 Tucker 방법, Levine 진점수(LT) 방법, Braun-Holland(BH) 방법, 명목 가중 평균 동등화(nominal weight mean equating: NW) 방법 그리고 완곡화 사용 여부에 따른 수직 척도의 속성에서의 차이를 비교하고, 사례 수를 달리했을 때 점수 연계 방법과 완곡화 사용 여부에 따른 수직 척도 속성의 추정 오차의 크기(RMSE, SE, BIAS)를 비교하는 것이다.
본 연구는 총 6개 학년을 대상으로 한 수직 척도 개발을 가정하고 모의실험 연구를 하였다. 모의실험 자료는 이요인 등급 반응 모형(Bifactor grade response model)을 이용하였는데, 그 이유는 수행평가의 채점기준표 내 여러 가지 평가요소가 상호 상관이 있으므로 이러한 자료 구조를 반영하기 위함이었다. 모의실험 자료는 학년별로 100,000명씩 생성하였다. ST 설계에서 모의 생성된 응시생은 척도검사 4개 과제, 학년 수준에 맞는 학년검사 2개 과제를 치르도록 설계하였다. CI 설계에서는 학년마다 네 개 과제를 치르는데, 이 중 하나의 과제는 아래 학년과 공통문항의 역할을 하는 과제였다. 이렇게 만들어진 모집단 자료에서 연구 조건에 따른 수직 척도 속성에서의 차이를 구했고, 다음으로 모집단에서 표집한 사례 수(100명, 300명, 500명, 1,000명, 3,000명, 5,000명)에 따른 연구 조건별 수직 척도 속성의 추정 오차를 구했다.
연구 결과 첫째, ST 설계에서 모집단 자료를 사용했을 때 진점수를 사용하는 것이 관찰점수를 사용하는 것보다 목표로 한 학년별 척도 평균, 학년 간 평균 성장, 척도 변동성, 효과계수에 더 가까웠다. 둘째, ST 설계에서 진점수를 사용했을 때 학년별 척도 평균, 학년 간 성장 추정의 오차가 관찰점수를 사용했을 때보다 작았다. 이와 달리 진점수를 사용했을 때 관찰점수를 사용했을 때보다 척도 변동성 추정 오차 및 효과크기 추정의 오차가 더 컸다. 셋째, CI 설계에서 모집단 자료를 사용했을 때 목표로 했던 학년별 척도 평균, 학년 간 평균 성장, 척도 변동성, 효과계수에 가장 가까운 것은 LT 방법, 다음으로 NW 방법, Tucker 방법, BH 방법 순서였다. 넷째, CI 설계에서 수직 척도 속성의 추정 오차를 구한 결과 학년별 척도 평균과 학년 간 평균 성장의 추정 오차는 LT 방법이 가장 작았고, 다음으로 NW, Tucker, BH 방법 순이었다. 이와 달리 척도 변동성의 추정 오차는 LT 방법이 가장 작았고, 다음으로 Tucker, BH, NW 방법 순이었고, 효과크기의 추정 오차는 Tucker 방법과 BH 방법이 더 작고 LT 방법과 NW 방법이 더 컸다. 다섯째, ST 설계와 CI 설계에서 표집 자료를 완곡화 했을 때 수직 척도 속성의 추정 오차가 줄었다. 여섯째, ST 설계와 CI 설계에서 추정의 오차를 고려했을 때 3,000명 이상의 사례 수가 권장된다. 본 연구 결과는 Hieronymus 방법으로 수직 척도를 개발할 때 사례 수, 척도 연계 방법, 완곡화, 진점수의 사용에 대한 선택을 위한 방법론적 지침으로 활용할 수 있다.