딥 뉴럴 네트워크(DNNs)를 활용한 컴퓨터 비전 분야에서의 발전은 성능 향상에 기여했지만, 높은 계산 비용과 메모리 사용량으로 인한 하드웨어 리소스의 필요성을 대두하게 되었다. 이러한 문제를 극복하기 위해, 지식 증류(Knowledge Distillation, KD)가 제안되어 대규모 선생 네트워크(teacher network)의 정보를 작은 학생 네트워크(student network)로 전달하여 성능을 유지하는 방법으로 주목받고 있다. 그러나, 현재까지의 KD 기법은 로짓(logits) 또는 피쳐(features) 중 하나만을 사용하여 학생 모델을 가이드하는 데 초점이 맞춰져 있다. 본 논문에서는 패널티 로짓(penalized logits)과 피쳐(features)를 모두 사용하여 학생 네트워크를 학습시키는 새로운 KD 방법을 제안한다. 이를 위해, Kullback-Leibler divergence를 재검토하고 페널티가 부과된 로짓을 생성하기 위해 재정의한다. 또한, 피쳐를 추출하기 위한 컨볼루션 레이어를 설계한다. 실험을 통해, 제안된 방법이 모델 크기를 줄이는 데 효과적이며 성능을 유지할 수 있는 것을 입증한다. 이러한 방법은 로짓과 피쳐 모두를 학습 가이드로 사용하는 새로운 KD 접근법으로, 보다 효율적인 DNNs 개발에 기여할 것으로 기대된다.