교육 분야에서 온라인 저지 시스템이 활발하게 활용됨에 따라 학습자 데이터를 활용하는 다양한연구가 진행되고 있다. 본 연구에서는 학습자 데이터를 활용하여 학습자의 문제 선택을 지원할 수있는 사용자 기반 협업 필터링 방식의 문제추천 기능을 제안한다. 온라인 저지 시스템에서 학습자의문제 선택을 위한 지원은 그들의 향후 학습에 영향을 미치므로 교육의 효과성 제고를 위해 필요하다.
이를 위해 학습자의 문제풀이 성향과 유사한 학습자를 식별하고 그들의 문제풀이 이력을 활용한다.
제안 기능은 충북교육연구정보원에서 운영하는 알고리즘과 프로그래밍 관련 온라인 저지 사이트에구현됐고, 서비스 유용성과 사용 편이성 측면에서 델파이 기법을 통한 전문가 검토를 수행했다. 또한사이트 사용자 대상 시범 운영에서 바른코드 제출 비율을 분석한 결과 추천문제에 대해 제출한 경우가전체 제출에 비해 16% 정도 높았고, 추천문제 사용자 대상 설문조사에서 ‘도움 된다’ 응답은 78%였다.
시범 운영에서는 추천문제 선택과 사용자 피드백 관련 설문 응답 비율이 낮았으므로, 향후 연구과제로제안 기능의 접근성 향상, 사용자 피드백 수집 및 학습자 데이터 분석 다각화 등을 제시했다.
With the active utilization of Online Judge (OJ) systems in the field of education, various studies utilizing learner data have emerged. This research proposes a problem recommendation based on a user-based collaborative filtering approach with learner data to support learners in their problem selection.
Assistance in learners' problem selection within the OJ system is crucial for enhancing the effectiveness of education as it impacts the learning path. To achieve this, this system identifies learners with similar problem-solving tendencies and utilizes their problem-solving history. The proposed technique has been implemented on an OJ site in the fields of algorithms and programming, operated by the Chungbuk Education Research and Information Institute. The technique's service utility and usability were assessed through expert reviews using the Delphi technique. Additionally, it was piloted with site users, and an analysis of the ratio of correctness revealed approximately a 16% higher submission rate for recommended problems compared to the overall submissions. A survey targeting users who used the recommended problems yielded a 78% response rate, with the majority indicating that the feature was helpful. However, low selection rates of recommended problems and low response rates within the subset of users who used recommended problems highlight the need for future research focusing on improving accessibility, enhancing user feedback collection, and diversifying learner data analysis.