이 연구는 수학교육 연구에 대한 메타분석 연구로 수학교육 논문에 초점을 맞추었다. 이 연구의 목적은 수학교육에서 영향력 있는 논문을 식별하고, 영향력 있는 논문의 메타정보와 연구 주제를 파악함으로써 향후 수학교육 연구 분야에 발전적인 시사점을 제공하는 것에 있다. 연구대상으로는 국내외 수학교육 학술지 29종 24,575편의 논문을 선정하였으며, 과학계량학의 관점으로 '영향력 있는 연구'를 '수학교육 네트워크 중심성 지수 상위 5% 이내 논문'으로 정의하였다. 수학교육 네트워크 중심성 지수 상위 5% 이내 논문을 식별하는 기계학습 모델을 설계하며 상위 5% 이내 논문 식별에 영향을 미치는 중요한 요인이 무엇인지 분석하고, 상위 5% 이내 논문이 다루고 있는 토픽을 분석하였다.
이와 같은 연구를 통해 도출된 결과는 다음과 같다.
첫째, 본 연구는 7종의 기계학습 분류모델에 24,575편의 논문 메타정보로부터 산출한 데이터를 입력하여, 각 모델에 대해 정확도(Accuracy), 정밀도(Precision), 재현율(Recall) 등의 예측 유효성을 평가하였다. 그 결과 7개의 기계학습 분류모델 중에서 랜덤포레스트를 통해 설계한 모델의 정확도, 정밀도, 재현율이 다른 7개의 기계학습 모델보다 높고 안정된 결과를 보였으며, 이를 통해 랜덤포레스트 모델이 최적의 분류모델인 것을 확인하였다.
랜덤포레스트 분류모델에 논문 메타정보를 입력하여 수학교육의 영향력 있는 논문을 식별하였다. 상위 5% 이내의 논문이 게재된 학술지를 조사한 결과 Journal for Research in Mathematics Education(이하 JRME) 25.66%, Educational Studies in Mathematics(이하 ESM) 22.12%, Zentralblatt für Didaktik der Mathematik(이하 ZDM) 8.46%, Journal of Mathematics Teacher Education(이하 JMTE) 5.8%, Journal of Mathematical Behavior(이하 JMB) 5.51% 순으로 정리할 수 있었으며, 수학교육 학술지의 영향력을 질적으로 평가했던 선행연구들과 유사한 결과를 도출할 수 있었다.
인공지능의 변인 중요도 지수를 통해서 확인한 영향력 있는 논문 식별에 중요한 독립변인으로는 '논문 네트워크 중심성 지수', '피인용횟수', '논문의 평균 피인용횟수의 변화량', '학술지의 h-index의 변화량', '저자의 논문을 인용한 연구자의 수' 등 순으로 나타났다. 특히 '논문 네트워크 중심성 지수'는 출판 당해연도 19.6%, 출판 1년 후 16.6%, 출판 2년 후 15.74%로 출판 연도에 상관없이 15% 이상이었으며, '논문 네트워크 중심성 지수'와 관련된 독립변인의 3개년도 값을 모두 합하면 50% 이상의 중요도를 보였다. 이는 '논문, 저자, 학술지 등이 포함된 전체 수학교육 네트워크' 중 '논문으로만 구성된 네트워크'가 영향력 있는 논문을 식별할 때 가장 중요한 요인임을 알 수 있었다.
둘째, 수집된 수학교육 논문의 초록을 토픽 모델링을 활용하여 분석하였다. 그 결과 수학교육 논문은 9개의 토픽으로 분류할 수 있었다. 연구 결과 '수학교육 이론적 토대'를 다루는 토픽은 수학교육 연구에서 높은 비중을 차지하고 있는 연구 주제였다. 한편 수학교육 연구 중 '수학 교실 교수·학습 과정'과 '교사교육'을 다루는 토픽은 1980년에는 그 비중이 높지 않았지만, 시간이 지나면서 꾸준히 증가하는 추세를 보인 것으로 나타났다.
본 연구에서는 토픽별로 수학교육 전체에서 다루는 비율과 영향력 있는 논문에서 다루는 비율을 비교 분석하였다. 그 결과 영향력 있는 논문에서 다루는 비율이 높은 토픽은 2∼3년 후 수학교육 연구 전체에서 다루는 비율이 높아지는 현상을 관찰하였다. 반대로 영향력 있는 논문에서 다루는 비율이 낮은 토픽은 수학교육 연구 전체에서도 다루는 비율이 지속적으로 낮아지는 모습을 보였다. 이에 영향력 있는 논문의 토픽을 분석하면 2∼3년 후 수학교육 연구에서 활발히 다루게 되는 토픽을 예측할 수 있으며, 이를 토대로 수학교육 연구 전체에서 '사회적 관점', '대학 수학교육' 관련 토픽을 다루는 비율이 점차 증가할 것으로 예상할 수 있다.
본 연구결과를 통해 다음과 같은 시사점을 얻을 수 있었다.
첫째, 수학교육 연구의 영향력을 식별할 때 수학교육 네트워크를 형성하고 기계학습 모델을 활용하는 것이 수학교육 전문가 의견과 일치하는 경향을 보였다. 2017년부터 2021년 사이의 피인용횟수의 합은 International Journal of Science and Mathematics Education(이하 IJSME) 947회, JRME 563회로 피인용횟수만으로 학술지의 영향력을 평가한다면 IJSME가 JRME보다 높은 평가를 받을 것이다. 이는 수학교육 전문가 의견으로 학술지의 영향력을 평가하여 JRME가 최고 등급인 'high', IJSME가 3번째 등급인 'medium high'를 받았던 과거 연구와 차이를 보인다. 하지만 본 연구에서 설계한 기계학습 모델이 예측한 영향력 있는 논문의 학술지 비율은 JRME 25.66%, IJSME 5.51%로 수학교육 전문가 의견과 유사하다고 볼 수 있다. 다시 말해 수학교육 전문가들이 직접 논문을 읽고 질적으로 평가한 것과 유사한 결과를 기계학습 모델을 설계하여 구현할 수 있는 것이다. 이는 본 연구의 결과를 활용하면 대규모 인원과 시간이 필요했던 수학교육 연구의 영향력 평가를 효율적으로 실시할 수 있다는 시사점을 얻을 수 있다.
둘째, 본 연구는 영향력 있는 논문으로 식별되기 위한 중요한 변인과 토픽을 분석하였다. 영향력 있는 논문으로 분류 받기 위해서는 '논문 네트워크에서 중심성 지수'가 중요한 것을 확인하였고, 영향력 있는 논문에서 다루는 토픽은 몇 년 후 수학교육 연구 전체에서 다뤄지는 현상을 확인하였다. 이는 신진연구자들이 영향력 있는 논문을 쓸 때 도움을 제공해 줄 수 있다. 먼저 신진연구자들은 영향력 있는 상위 5% 논문에서 다루는 토픽의 비율을 확인하고 앞으로 수학교육 연구에서 많이 다루게 될 주제를 선정할 수 있다. 그리고 이 토픽의 영향력 있는 저자, 학술지를 확인하여 글을 읽고, 학술대회에 참가하며, 공동저술을 할 기회가 있다면 적극적으로 참여하여 네트워크 관계를 형성할 필요가 있다. 이는 본 연구에서 확인한 PageRank로 계산되는 '논문 네트워크의 중심성 지수'를 증가시키기 위한 노력이 될 것이다.
이 연구는 수학교육 연구에 대한 대규모(24,575편의 논문) 메타분석을 실시하였다는 점과 지금까지 각각 수행되었던 수학교육 연구에 대한 메타분석의 두 가지 연구('연구의 영향력 평가', '연구 동향 분석')를 하나로 통합하여 분석하고 새로운 시사점을 발견하였다는 점에서 의의가 있다. 또한, 생명공학 연구의 영향력을 예측하기 위해 설계한 선행연구의 기계 학습 모델과 비교하면 입력데이터의 차원을 141차원에서 8차원으로 줄이며 효율적인 모델을 설계하였지만, 성능에서는 큰 차이가 없었다는 점에서 가치가 있다.