본 연구는 문항의 차등 배점을 적용할 경우 합리적 방안이 무엇인지 규명하고자 하였다. 이를
위해 각종 국가 고사의 배점 방식을 조사하고, 이 중 2009학년도 의학교육입문검사를 대상으로 내
용 전문가들의 판단에 의한 차등 배점 부여 시 적용되는 논리의 일관성과 타당성을 경험적으로 분
석하였다. 분석 결과, ‘예상 정답률, 문항 풀이 시간, (교육과정상의) 중요도’ 등 3가지의 차등 배
점 요인이 추출되었다. 또한 전문가 판단의 논리적 타당성을 검증하기 위해 전문가들의 문항 평정
일치도를 분석한 결과, 평가 영역별로 차이가 있었으며 전반적으로 낮은 일치도를 나타내었다. 차
등 배점의 효과를 분석한 결과, 관찰된 검사 점수의 수는 동등 배점 시보다 2배 이상 증가하여 동
점자 해소의 효과가 있었으나 그 외의 효과는 긍정적이지 않았다. 이러한 분석 결과를 바탕으로 본
연구에서는 차등 배점 방식을 합리적으로 적용하기 위한 방안을 제시하였다. 첫째, 차등 배점의 장
단점에 대한 명확한 이해가 선행되어야 하며, 검사의 성격과 목적을 고려하여 차등 배점 적용 여부
를 판단해야 한다. 둘째, 전문가 판단에 의한 차등 배점 방식을 적용할 때에는 반드시 전문가들에
대한 사전 교육 및 연수가 선행되어야 한다. 셋째, 동점자 해소 방안의 하나로 차등 배점 방식을 고려할 수는 있으나 차등 배점의 효과가 그리 크지 않을 수 있다는 점을 유의해야 한다. 넷째, 최
소 배점과 최대 배점 간의 차이가 3배 미만으로 설정해야 전문가 집단뿐만 아니라 시험 관련 이해
당사자들 간의 논란을 최소화할 수 있다.This study investigates methods of item weight in the current national tests
and analyze the validity of differential weighting based content experts' judgement
on 2009 Medical Education Eligibility Test(MEET). As results of analysis, we could
extract three determinants of item weighting ; estimate item difficulty, item solving
time, impotance of content in curriculum. The degree of agreement on experts'
judgement is low even though there is a difference with subjects of MEET. Because
the number of observable score increase more than twice by differential weight,
the people whose get the same score is decrease but it has no other effect. We
propose a reasonable method for differential weighting based these analysis results.
First of all, in order to weight item differentially it is necessary to understand
exactly its' advantages and disadvantages and decide whether item weighing is
applied to or not considering the characteristic and the purpose of test. Also
experts should be trained about it before executing differential weighting. Note that
the differential weighting decrease the people whose get the same score, in fact the
effect could be smaller than you expected. Also the range of item weights should
be set up small so that it makes minimize argument with not only expert group
but the people related to the test.