이 연구는 특성화 대학의 임무중심형 기관평가 제도를 대상으로 메타평가 모형을 설계하고, 인식조사를 토대로 평가제도의 운영실태를 이해하며, 개선방안을 도출하여 기관평가 제도의 효율성을 높이는 데 목적이 있다. 기관평가는 양질의 정보 생산을 통한 유익한 정보 제공을 목적으로 하며, 효율적인 기관 경영을 견인하는 정책 수단의 역할이 가능하다. 따라서 기관평가 시스템의 효율적인 운영은 특성화 대학 성과향상에 긍정적 영향력을 미칠 수 있으나, 현재의 특성화 대학 기관평가 제도는 연구중심 교육기관의 정체성을 충분히 반영하지 못해 평가정보의 유의미성을 가지지 못하는 한계가 있어, 평가 결과에 대한 수용도와 활용도가 낮다는 문제점이 있다.
기존 선행연구들은 출연연 대상의 기관평가 또는 정책평가에 대한 메타평가 연구가 주류를 이루었고, 4개 특성화 대학 대상의 기관평가 연구는 부족한 실정이다. 따라서 이러한 선행연구의 한계를 보완하고, 전문적인 연구를 통해 문제점을 분석하며, 기관평가의 실효성과 효율성을 높일 수 있는 영향 요인을 탐색하여 개선방안을 제시함으로써, 기관평가 제도가 특성화 대학의 역할과 책임 강화 그리고 장기적인 발전계획을 견인하고 유도하는 기제로 작용하는 것에 주안점을 두었다.
연구 방법은 평가의 평가라고 할 수 있는 메타평가를 활용하여 평가의 전 과정을 환경, 투입, 과정, 결과 및 활용의 4개 영역별 13개 구성요소로 구분하였다. 평가위원 그룹과 특성화 대학 평가 관련자 그룹의 인식 차이를 비교하고, 평가보고서에 관한 질적 연구를 병행하여, 각 평가영역이 평가 결과의 신뢰도와 활용도에 어떠한 영향력을 미치는지 실태를 분석하여 개선방안을 제시하였다.
구체적인 연구 진행은 메타평가에 대한 이론적 고찰과 동 방법론을 활용한 선행연구를 토대로 가설적 메타평가 틀을 설계하고, 정책 분야 내·외부 전문가 그룹을 대상으로 델파이 조사를 시행하여 자료 타당도, 내용 타당성, 신뢰도 분석을 통해 적합성을 확인한 후, 설문을 시행하였다. 인식조사는 특성화 대학을 포함한 출연연, 공공기관 기관평가 경험을 가진 평가위원 외부 전문가 35명, 피평가기관 평가 관련자 72명을 대상으로 리커도 5점 척도 문항으로 조사한 후 SPSS 26 프로그램을 이용하여 내용타당도 검증을 위한 요인분석과 신뢰도 분석을 통해 데이터의 적합성과 유의미성을 확인하였고, 독립표본 t-검정, 일원분산분석, 기술통계를 활용하여 평가위원 그룹과 피평가기관 담당자 그룹의 인식 차이를 분석하였다. 그리고 기관평가 결과의 신뢰도와 활용도 제고에 영향을 미치는 평가환경, 평가투입, 평가과정 영역의 요인들을 독립변수로, 평가결과 및 활용 영역의 구성요소를 종속변수 범위로 설정하여, 상관관계 분석과 회귀분석을 진행하였다.
분석 결과를 토대로 기관평가 제도개선 방안과 정책적 시사점을 포함한 연구결과를 제시하였다. 분석 결과를 종합하면 첫째, 평가환경 영역의 실질적인 평가 준거 입법화를 보완하고, 평가목적을 기관경영 점검에서 고등교육 질 평가로 전환하여 평가의 실효성을 높여야 하며, 피평가기관의 주체 의식 함양과 적극적 참여를 위한 평가 주체의 전환이 필요하였다. 둘째, 평가투입 영역에서 평가의 독립성과 공정성, 신뢰성을 확보할 수 있는 평가전문기관 체제 전환과 평가단의 역량 강화를 통한 전문성이 보완되어야 한다. 셋째, 평가과정 영역에서 평가주체와 피평가기관 간의 원활한 실질적 의사소통이 강화되어야 하고, 또한 피평가기관 내부의 적극적 평가 참여 의지도 중요한 요인으로 작용한다는 점을 제시하였다. 평가지표의 단순화와 기존 공시 자료의 활용, 특성화 대학의 교육기관 정체성을 반영할 수 있는 지표 개발도 필요한 것으로 파악되었다. 넷째, 평가결과 및 활용 영역에서는 보고서의 질적 수준을 제고할 수 있는 평가위원 대상의 다양한 지원책과 평가결과 환류의 실효성을 제고하고, 이해관계자의 정보 활용도를 높이는 적극적인 정보 전달 수단과 방법 개선을 모색하였다.
이 연구는 메타평가 연구 범위를 특성화 대학 기관평가로 확장하고, 구성요소와 하위 평가항목이 평가결과 및 활용 영역에 미치는 영향 요인을 파악하여 평가환경에 피드백되는 구조로 접근한 연구 방법의 학술적 의미를 함축하고 있다. 또한 메타모형을 통한 인식결과를 통해 평가정보의 신뢰성과 유의성을 높일 수 있는 개선방안을 모색하였다. 이러한 연구결과는 평가현장의 업무개선을 위한 실무적 근거로 활용하고, 평가 방향 재정립이 필요한 사안들은 정책제언을 통해 전략적 평가 방향 설정과 의사결정에 반영되기를 제안하였다.