의사소통 중심 교수법(Communicative Language Teaching)의 도입으로 학습자의 실제 영어 사용 능력을 평가하는 수행평가에 대한 중요성이 강조되어왔다. 수행평가가 기존의 선다형 평가와 구별되는 점은 학습자가 구성한 답안을 채점하기위해 사용하는 채점기준표(rating rubric)의 존재함에 있다. 다시 말해서, 어떻게 채점자가 채점기준표를 해석하고 적용하는지가 학습자가 받게 될 점수에 지대한 영향을 끼친다. 따라서 채점자와 채점기준(rating criteria) 사이의 상호작용의 속성을 연구한 많은 선행 연구가 있었고, 이들 연구는 채점자의 비일관적인 채점 기준의 적용을 줄임으로써 보다 타당도 높은 평가가 이루어지게 하는데 도움을 주기 위한 목적이 있었다. 채점자 오류(rater effects)를 연구한 기존의 연구는 채점자가 어떠한 채점 기준에 대하여 채점의 엄격성 혹은 관대함을 나타내는지를 기술적으로 증명하였다. 그러나 채점자 오류가 일어나는 근본적인 원인을 인지적인 측면에서 규명하려는 시도가 부족하였다. 즉, 채점자의 채점 기준에 대한 인식이 채점의 엄격성 혹은 관대함에 어떠한 영향을 미치는지를 알아보는 것이 필요하다.
따라서 본 연구는 영어 쓰기 평가 채점 기준에 대한 중요성 인식이 실제 채점에 어떠한 영향을 미치는지를 탐색하는 것이다. 이를 통해 채점 기준에 대한 채점자의 인식을 고찰하고, 채점 기준에 대한 편향 없는 인식을 갖는데 도움을 주기 위함이다.
본 연구를 위해 한국의 중학교 혹은 고등학교에 근무하는 한국인 영어 교사 30명이 참여하였다. 이들은 다섯 가지 채점 기준(Content, Organization, Vocabulary, Language use, Mechanics)에 부여하는 중요성의 정도에 관한 인식을 묻는 설문조사에 참여하고, 30개의 영어 작문을 채점하였다. 다국면라쉬모형과 계층적 군집 분석을 사용하여 채점 기준에 대한 중요성 인식과 채점 기준에 대한 오류를 바탕으로 채점자 인지 유형(Cognitive Rater Types: CRTs)과 채점자 행동 유형(Operational Rater Types: ORTs)을 구성하였다. 이후 두 채점자 유형 사이에 어떠한 관련성이 있는지를 분석하였다.
연구 결과 채점 기준에 대한 중요성 인식에 따라 5가지 채점자 인지 유형이 형성되었고, 채점 기준에 대한 채점자 오류에 따라 6가지 채점자 행동 유형이 구성되었다. 채점자 행동 유형은 상이한 채점 기준에 관한 중요성 인식을 가진 채점자들로 구성이 되었기에 채점자 인지 유형과 채점자 행동 유형 사이에 직접적인 비교가 가능하지 않았다. 따라서 같은 채점자 행동 유형에 속하는 채점자들의 채점 기준에 대한 중요도의 평균 점수와 해당 채점 기준에 보인 편향 수치를 비교한 결과 채점 기준에 대한 중요성 인식이 채점 행동에 미치는 영향은 채점 기준 별로 차이가 있음을 발견하였다. Content와 Mechanics에서 채점의 엄격성과 관대함이 모두 발견되었는데, 채점자 오류가 채점 기준에 대한 중요성 인식과 결합하는 패턴은 이 두 가지 채점 기준에서 차이가 있었다. Content에서 채점의 엄격성은 평균보다 높은 채점 기준 중요도와 결합되어 나타났고, 채점의 관대함은 평균보다 낮은 채점 기준 중요도와 결합되어 관찰되었다. 그러나 이 결합의 패턴은 Mechanics에서 반대로 나타났는데, 채점의 엄격성은 평균보다 낮은 채점 기준 중요도와 결합되어 나타났고, 채점의 관대함은 평균보다 높은 채점 기준 중요도와 결합되어 관찰되었다. 이렇듯, Content와 Mechanics에서 채점 기준 중요도와 채점자 오류의 상이한 결합 패턴은 개별 채점자를 대상으로 한 데이터에서도 관찰되었다.
본 연구는 쓰기 평가를 위해 훈련된 참여자를 대상으로 하지 않은 한계가 있으나 쓰기 평가 채점 기준에 관한 중요성 인식과 채점자 행동의 관계를 파악함으로써 채점자 오류 연구에 관한 지평을 넓히는데 도움이 될 것으로 기대한다.