확률은 불확실성을 측정하는 수단이다. 특히 기계 학습에서의 입력 데이터의 확률은 인식론적 불확실성을 측정하는 유용한 척도이다. 입력 데이터의 확률을 정확하게 추정할 수 있다면, 불확실성을 정량화해야하는 다양한 종류의 응용문제에 유용하게 활용될 수 있다. 그러나 딥러닝을 이용하여 입력 데이터 확률을 추정하는 딥 생성 모형은, 그럴듯한 데이터를 생성하는 데에 있어서는 인상적인 성능을 보였지만 불확실성 정량화 능력이 제한적이라는 것이 알려져 있다. 딥 생성 모형의 실패는 데이터 확률을 학습하는 것이 불확실성을 포착하는 유효한 접근 방법인지에 대한 회의론을 불러일으켰다.
이 논문에서는 데이터의 확률 분포를 추정하는 것이 불확실성 정량화에 중요한 접근 방법임을 논한다. 우리는 이상 검출과 불확실성 하에서의 의사결정 문제에서 널리 사용되는 알고리즘인 오토인코더와 가우시안 프로세스에 초점을 맞추어, 생성 모형의 접근 방법을 도입하면 이들의 성능을 향상시킬 수 있다는 것을 보인다. 오토인코더와 가우시안 프로세스 모두 데이터의 확률 분포를 명시적으로 학습하지 않는다. 따라서 데이터 확률 분포를 정확히 반영하지 못함으로 인해 심각한 실패를 일으킬 수 있다. 우리는 이러한 실패 사례를 보고하고, 이를 해결하기 위해 오토 인코더와 가우시안 프로세스를 위한 새로운 생성 모형 기반 형식화를 도입한다. 제안된 방법들에서는 에너지 함수를 이용하여 확률 분포를 표현하는 에너지 기반 모형 방법론에 기반하여, 오토인코더와 가우시안 프로세스를 에너지 기반 확률 모형으로 새롭게 해석한다.
추가적으로, 본 논문에서는 에너지 기반 모형 기법에 관한 추가적인 아이디어들을 제시한다. 첫째, 데이터의 저차원 구조를 활용하는 에너지 기반 생성 모형의 새로운 학습 알고리즘을 제시한다. 제안된 알고리즘은 생성 모형이 학습 데이터가 아닌 곳에 높은 우도를 부여하는 현상을 효과적으로 억제할 수 있으며, 결과적으로 이러한 에너지 기반 모형들은 강력한 이상 탐지 성능을 보여준다. 둘째, 적대적 공격과 에너지 기반 모형 기법 사이의 연결을 탐색한다. 이러한 연결관계에 기반하여 이상치 탐지기를 위한 새로운 적대적인 생성 공격 알고리즘을 제안한다. 제안된 알고리즘은 에너지 기반 분포에서 샘플링하는 과정을 통해 적대적 공격을 수행한다.
인식론적 불확실성 정량화는 로봇 및 인공지능 에이전트가 세상과 안전하고 효과적으로 상호작용하는 데에 필수적인 요소이다. 이 논문에서는 확률 모형을 통해 인식론적 불확실성 정량화 문제를 해결할 수 있다는 것을 보였으며, 이 논문에서 논의된 에너지 기반 확률모형 기법과 알고리즘들은 로보틱스 및 인공지능 시스템의 다양한 응용에 널리 적용될 것으로 기대된다.