AAAS 생물체 물질과 에너지개념 검사 도구의 번역본을 고등학교 2학년 학생 150명, 고등학교 3학년 학생 186명을 대상으로 투입하여 얻은 결과를 바탕으로 검사 도구의 타당도를 검증하였다.
26개 문항을 이용해 자료를 수집하여 분석하였다. 각 문항지의 신뢰도를 측정한 결과 크론바흐 알파 값이 0.777로 높은 신뢰도가 나왔다. 문항별 문항 반응 적합도 분석 결과 26개 문항 중 1개 문항이 Out MNSQ값이 1.5보다 높게 나와 평가하는데 부적합한 문항으로 나왔으나 2 이하로 측정 도구에는 영향을 주지 않는다. 라쉬 분석 결과 평가 도구의 Item reliability는 0.99, Person reliability는 0.77로 평가 결과가 신뢰로움을 알 수 있다. 피험자의 수준과 각 문항의 난이도를 나타내는 라잇 맵의 결과 전체적으로 학생의 분포와 문항의 분포가 비슷하여 측정 기능이 우수함을 알 수 있다.
문항별 학생들의 반응을 보면 고등학교 2학년 학생들의 평균 정답률은 53.2%, 고등학교 3학년 학생들의 평균 정답률은 58.0%로 나왔다. 대체로 생물체 물질과 에너지개념 이해 수준이 높을수록 과학적 개념을 선택하는 학생 수가 증가하는 패턴을 띠며, 일부 문항의 경우 과학적 개념보다 선입개념(오개념)을 갖는 걸 알 수 있다.
음식은 유기체가 자연에서 흡수하는 구성 성분(물, 공기, 미네랄)이다. 식물은 물과 이산화탄소로부터 만드는 당뿐만 아니라, 복합적인 음식의 원천을 갖는다. 이산화탄소는 식물에게 음식이다. 음식은 특정한 기능과 관계없이, 음식은 동·식물이 생명을 유지하거나 성장하는데 필요한 것이다. 음식은 입을 통해 동물의 몸에 들어가야 한다. 그렇지 않으면, 음식이 아니다 라는 선입개념(오개념)을 가지고 있음을 알 수 있었다.
학년별로 생물체 물질과 에너지 수준에 유의미한 차이가 있는데, 이는 고등학교 3학년 교육과정으로 편성된 생명과학Ⅱ 과목을 수강함으로서 생명과학I까지의 과정을 수강한 고등학교 2학년 학생들보다 좀 더 심화된 개념 학습이 이루어진 것으로 보인다. AAAS 생물체 물질과 에너지 개념 검사 도구를 이용하면 수업 전 학생들의 선입개념(오개념)을 확인할 수 있으며, 수업 이후 학생들의 생물체 물질과 에너지 개념 학습이 잘 이루어졌는지 확인할 수 있는 형성평가로 이용할 수 있다.