데이터 없는 지식증류(Data-Free Knowledge Distillationm, DFKD)는 원본 데이터를 사용하지 않고 생성기의 도움을 받아 사전 학습된 지식을 학생 모델에 증류하는 것을 목표로 한다. 데이터 없는 시나리오에서는 검증 데이터를 사용할 수 없기 때문에 DFKD의 안정적인 성능을 달성하는 것이 중요하다. 유감스럽게도, 본 논문은 기존 DFKD 방법이 다양한 교사 모델에 상당히 민감하며, 때때로 잘 훈련된 교사 모델을 사용할 때 조차도 증류의 치명적인 실패를 보여준다는 것을 발견하였다. 우리의 관찰은 DFKD의 생성기가 클래스 사전 정보(class-prior) 및 적대적 학습(adversarial) 손실을 모두 최소화하는 기존의 대표적인 전략을 사용하여 정확하면서도 다양한 샘플을 생성하는 것을 항상 보장하지는 않는다는 것이다. 실증적인 연구를 통해, 우리는 클래스 사전 정보가 생성된 샘플의 다양성을 감소시킬 뿐만 아니라 교사 모델에 따라 예기치 않게 낮은 품질의 샘플을 생성하는 문제를 완전히 해결할 수 없다는 것에 중점을 둔다. 본 논문에서는 교사 모델에 관계없이 보다 강력하고 안정적인 성능을 목표로 Teacher-Agnostic Data-Free Knowledge Distillation (TA-DFKD) 방법을 제안한다. 우리의 기본 아이디어는 생성기에 클래스 사전 정보를 강제하는 엄격한 감독자가 아니라 교사 모델에게 샘플을 평가하는 관대한 전문가 역할을 할당하는 것이다. 특히, 다양한 샘플 생성 능력에 제한을 두지 않고 교사 모델에 의해 검증된 깨끗한 샘플만 취하는 샘플 선택 접근 방식을 설계한다. 광범위한 실험을 통해 우리의 방법이 기존 DFKD 방법을 능가하면서 다양한 교사 모델에 걸쳐 견고성과 훈련 안전성을 모두 성공적으로 달성한다는 것을 보여준다.