이 연구는 실제 문제해결 과정에 기반하여 문제해결력을 측정 및 평가하고, 문제해결 과정에서 발견되는 피험자의 개인차를 확인하는 것을 목적으로 수행되었다. 문제해결력이란, 해결 방법을 즉각적으로 찾을 수 없는 상황에서, 문제를 해결하는 데 요구되는 인지적 과정과 관련된 개인의 능력을 의미한다.
이 연구의 목적을 달성하기 위하여 다음과 같은 연구 문제를 설정하였다. 첫째, 시뮬레이션 문항에서 피험자의 문제해결 양상을 대표적인 액션 시퀀스로 도출한 결과는 어떠한가? 둘째, 시뮬레이션 문항에서 피험자 간 문제해결 과정의 개인차를 확인하기 위한 데이터를 도출한 결과는 어떠한가? 셋째, 피험자의 문제해결 과정의 개인차에서 발견된 특성은 무엇인가?
이러한 연구 문제를 해결하기 위해, 실생활 문제 상황을 활용하여 컴퓨터 기반 평가를 실시한 PISA 2012의 문제해결력 측정 문항인 Ticket Task 3 문항에서 수집된 로그 데이터를 분석 대상으로 설정하였다. 이 문항은 피험자로 하여금 문제해결 과정 중에 예상치 못한 문제 상황에 직면하게 함으로써, 피험자가 세운 초기의 계획을 수정하여 차선책을 마련하는 능력을 문제해결력으로 간주한다. 이 문항은 문제해결 과정의 네 가지 하위요소 중 특히 '모니터링과 반성' 능력을 측정할 수 있도록 개발되었다.
예상치 못한 상황에 대한 대응 및 전략을 통해 피험자의 문제해결력을 측정하기 위하여 다음과 같은 절차에 따라 분석을 실시하고 결과를 도출하였다.
첫째, 수집된 로그 데이터에서 액션 시퀀스 정보를 추출하여 피험자가 시행할 수 있는, 즉 피험자가 시행 가능한 모든 종류의 수의 액션 시퀀스를 Access의 쿼리 디자인 기능을 활용하여 열거한 후 총합을 계산하는 R 코드를 작성하여 이들의 종류와 빈도를 측정하였다.
둘째, 빈도를 측정한 결과에서는 엘보우 방법을 적용하고, 정답 및 오답 데이터를 중심으로 문제해결 과정의 특성을 분석한 내용을 토대로, 각 피험자가 시행한 복잡하고 수많은 액션 시퀀스 중에서 대표 액션 시퀀스를 선정하였다.
셋째, 대표 액션 시퀀스에 전체 액션 시퀀스를 치환하여 대체하는 조건과 절차를 마련한 후, 피험자들이 실제 시행한 복잡한 형태의 '본래의 액션 시퀀스'를 '대표 액션 시퀀스'로 치환하는 데 활용하였다.
넷째, 본래의 액션 시퀀스가 실제로 가장 유사한 대표 액션 시퀀스에 치환되었는지를 확인하기 위하여, 자연어 처리의 BERT 모형 학습을 통해 도출한 액션 시퀀스 임베딩 결과 간의 코사인 유사도 정보를 활용함으로써 벡터 공간에서 본래의 액션 시퀀스와 더 가깝게 위치하는지 확인하는 작업을 통해 치환 결과를 타당화하였다.
다섯째, 피험자의 문제해결 과정을 분석하기 위하여, 대표 액션 시퀀스들을 축약하는 코드를 이용하여 액션 시퀀스 간 연결을 표현한 SOS, 즉 시퀀스 오브 시퀀스 데이터를 도출하였다. 그리고 이를 프로세스 마이닝 분석에 활용하여 정답자와 오답자를 중심으로 문제해결 과정의 양상 및 개인차를 확인하였다. 이를 통해 주요 문제해결 대응 및 전략은 반복 행동과 다른 답안 제출 시도 행동, 그리고 대안 검토 행동을 중심으로 총 다섯 가지가 선정되었다.
여섯째, 다섯 가지의 주요 문제해결 대응 및 전략 데이터를 활용한 K-medoids 클러스터링 분석을 통하여, 정답자와 오답자의 문제해결 행동의 유형 및 특성을 확인함으로써, 정답 혹은 오답 이외에도 다양한 차이가 나타남을 확인하였다.
일곱째, 그 결과 정답자에서 여덟 가지 군집 유형을, 오답자에서 일곱 가지 군집 유형을 도출할 수 있었다. 정답자들은 최적의 답안을 찾기 위해 다양한 대안을 검토 및 비교하는 경향이 있으나, 오답자들은 매우 다양한 문제해결 행동을 보이면서 모니터링과 반성 과정이 정답자에 비해 대체로 부족한 것으로 나타났다.
이러한 연구 결과를 통해 그동안 결과 중심으로 이루어진 교육 평가의 한계를 넘어 평가의 다변화가 갖는 중요성을 확인하였다. 특히 피험자 집단을 다분화하여 각 집단의 실제 문제해결 행동을 분석함으로써, 정답자 간의 문제해결 과정의 차이를 토대로 채점 루브릭을 개발하는 등 과정 중심 평가를 실현하는 가능성을 보여주었다.
이 연구는 방대하고 복잡함을 특성으로 하는 액션 시퀀스 데이터 분석 방법을 개선하는 작업을 통해 분석 결과의 도출 및 이에 대한 해석을 한층 용이하게 하였다. 방대하게 나타나는 액션 시퀀스 데이터를 몇 가지 대표 액션 시퀀스로 치환함으로써 분석을 용이하게 하였고, 이러한 치환의 타당성을 자연어 처리의 BERT 모형과 문장 임베딩 방법을 활용하여 양적으로 확인하는 방안을 마련함으로써 치환 결과를 타당화하였다. 또한 이 연구는 프로세스 데이터 연구에서 일반화하여 적용이 가능한 액션 시퀀스 열거 절차와 액션 시퀀스 빈도 측정 기법을 고안하여 제시하였고, 언어 모델의 아이디어를 액션 시퀀스 분석에 처음으로 적용하였으며, 지금까지 선행연구에서 LCS, 레벤슈타인 거리를 중심으로 제안되어 온 액션 시퀀스 간 거리 측정 방식의 한계점을 개선하였다는 점에서 학술적 가치가 있다.
그러나 이 연구에서 제안한 코사인 거리 개념은 대표 액션 시퀀스로 치환하는 과정을 타당화하는데만 활용되었다는 한계점이 있다. 이에 후속 연구를 통해 액션 시퀀스 간 코사인 거리의 의미의 활용 가능성을 확대하여 보여줄 필요가 있음을 제언하였다.