최근 딥러닝의 상당한 성공에도 불구하고, 딥러닝 모델은 학습하는 데 방대한 양의 데이터를 필요로 하고 있다. 하지만 프라이버시 문제로 인해 데이터의 공유 및 수집이 어려운 실제 환경에서는 데이터가 불완전한 상태로 존재할 수 있다. 딥러닝 모델은 데이터가 불완전한 상태일 때, 데이터 분포의 불일치로 인해 새로운 지식을 학습하는데 어려움을 겪는다. 하지만 이를 해결하기 위한 기존 딥러닝 모델의 통합학습 기법은 아직 실용적인 성능을 보여주지 못하고 있다. 이에 본 논문에서는 데이터가 제한적이거나 이질적인 상황에서 딥러닝 모델의 안정적이고 균형잡힌 통합학습을 연구한다.
첫째로, 본 논문에서는 연합학습에서의 학습 불안정성 문제를 해결한다. 연합학습은 하나의 글로벌 모델을 만들기 위해 여러 클라이언트들이 데이터 공유 없이 협력 학습하는 기법이다. 학습이 완료된 모델을 검증 데이터 셋으로 평가할 수 있는 기존의 중앙 처리형 방식과 달리, 연합학습에서는 서버에 모델을 검증할 데이터 셋이 없기 때문에 학습 중인 글로벌 모델의 성능을 평가할 수가 없다. 아울러, 연합학습에서는 모델이 학습되는 중에도 각 클라이언트에게 배포되어 사용되는 경우가 많기 때문에, 일시적인 성능 하락이 치명적인 문제로 이어질 수 있다. 본 논문에서는 글로벌 모델의 성능이 불안정한 문제가 데이터 이질성에 비례함을 확인한다. 이에 본 논문에서는 불안정성 문제의 주요 원인이 라운드마다 발생하는 일시적인 불균형으로 인해 그 전 라운드의 성능을 망각하게 되는 현상 때문임을 발견한다. 이를 해결하고자 본 논문은 각 클라이언트에서 수집된 데이터를 요약 및 압축하는 dataset condensation 방법을 제안한다. 이후 압축된 데이터를 로컬 모델과 함께 서버에 전송하고 서버에서 이를 활용하여 글로벌 모델이 안정되고 일관된 성능을 유지할 수 있도록 하는 방안을 제안한다. 제안한 방법을 통해, 연합학습의 글로벌 모델은 항상 안정적인 성능을 유지할 뿐만 아니라 빠른 수렴 속도 또한 보임을 확인하였다.
둘째로, 본 논문에서는 기존 일반화된 퓨샷 학습보다 현실적이고 해결하기 어려운 zero-base GFSL을 제안한다. zero-base GFSL은 기존 클래스의 데이터 없이 새로운 클래스의 소량의 데이터만으로 새로운 지식을 사전 훈련된 모델에 통합한다. 기존 일반화된 퓨삿학습은 이전 데이터를 필요로 하지만, 프라이버시나 윤리적 문제로 인해 제약이 될 수 있다. 본 논문은 모델 가중치의 분포에 대한 분석을 통해, 기존 클래스 가중치 분포와 비교하여 새로운 클래스의 가중치 분포의 평균과 분산이 모두 제대로 설정되지 않았다는 사실을 발견한다. 아울러 기존 방법은 가중치 놈(norm)의 균형을 맞추려고 시도하지만, 이는 분산 부분에만 도움이 되고 평균의 중요성을 무시하여 zero-base GFSL뿐만 아니라 GFSL 문제 자체에서 제한된 성능으로 이어진다. 이러한 한계를 극복하기 위해 본 논문에서는 기존 데이터 없이 새로운 클래스의 가중치 분포의 평균과 분산을 제어하는 간단하면서도 효과적인 zero-base GFSL 방법을 제안한다. 제안한 방법은 퓨샷 학습 동안 모델의 가중치 분포에서 내부적으로 발생하는 현상에 대한 자체적인 연구 분석 결과를 토대로 설계되었다. 제안한 방법을 적용한 결과, 새로운 클래스와 기존 클래스 모두에서 좋은 성능을 달성한다. 또한, 기존 데이터를 전혀 사용하지 않는 zero-base GFSL 방법이 기존 데이터를 최대한 활용해 전체 성능을 최대화하는 이전 GFSL 방법보다 우수한 성능을 보임을 확인하였다.