본 논문은 심층강화학습 (deep reinforcement learning, DRL)을 적용한 협대역 능동소음제어 (active noise control, ANC)에 대해 다룬다. 제2 경로 (secondary path) 모델을 이용하는 적응 피드포워드 알고리듬인 FxLMS는 다양한 산업 분야에서 ANC를 위해 널리 활용되어 왔다. 그러나 이 알고리듬은 실제 제2 경로가 변화되면 성능이 저하되거나 불안정해지는 단점이 있어 제한적으로 사용되어 왔다. 이러한 단점을 극복하기 위해, 본 논문에서는 어떠한 사전 정보도 없이 환경과의 지속적인 상호작용을 통해 학습할 수 있는 모델프리 DRL 알고리듬 중 하나인 deep deterministic policy gradient (DDPG)를 협대역 ANC에 적용하여 제2 경로 모델을 필요로 하지 않고 또한 제2 경로의 변화에 재적응할 수 있는 새로운 알고리듬에 대해 연구하였다.
제2 경로가 DRL-ANC에 미치는 영향에 대한 분석을 진행하였고, 그 결과 제2 경로의 시간지연이 DRL 에이전트의 행동가치함수 (action value function)가 이상적인 최적값으로 도달하는 것을 제한함을 확인하였다. 본 논문에서는 이 문제를 개선할 수 있는 상태와 행동의 정의 그리고 탐험노이즈 (exploration noise)를 제안하였다. 또한, 다중 주파수 제어에 효과적인 multi-agent 기반 DRL-ANC 구조와 오차신호로부터 각 에이전트를 위한 독립된 보상을 생성 수 있는 보상함수 (reward function)을 제시하였다. 고정 및 스윕 주파수에 대한 협대역 DRL-ANC 시뮬레이션을 통해 탐험노이즈, 탐험주파수, DRL 알고리듬 별 제어 성능을 비교 분석하였다. 그리고 덕트 ANC 시스템에서 실시간으로 협대역 DRL-ANC를 수행하고, 제안한 알고리듬이 제2 경로의 변화에 강인하게 대응할 수 있음을 검증하였다.