인지 무선 시스템 (CR : Cognitive Radio)에서 SU (Secondary User)는 PU (Primary User)에 대한 검출 확률 보장과 간섭의 최소화를 위해 충분한 센싱시간으로 PU 신호를 검출해야 하고, CR 시스템은 SU의 전송 기회를 최대화하기에 충분한 데이터 전송 시간을 가져야 한다. 그러므로 SU의 센싱 시간 및 데이터 전송 시간은 일반적으로 CR 시스템의 처리량을 최대화하기 위한 주요 최적화 변수이다. 한편, PU의 부재를 확인한 후 주파수 자원을 효율적으로 사용하기 위해서는 시간 및 지리적 위치에 따라 달라질 수 있는 다양한 주파수 자원의 특성을 고려해야 한다. 그리고 각 채널의 전송 기회 및 데이터 전송률과 같은 환경 통계 및 시스템 요구 사항 및 원하는 데이터 전송률은 시간과 위치에 따라 달라질 수 있다. 또한, 다중 대역 동작에서 주요 시간 활동 특성과 사용 가능한 주파수 대역폭은 각 대역마다 다르다. 이러한 문제들을 해결하기 위해 본 논문에서는 주파수 스펙트럼을 센싱하는 방법과 PU가 없는 것을 확인한 뒤 주파수 채널을 효율적으로 사용하는 방법을 제안한다.
센싱과 관련하여 본 논문에는 SU의 전송 신호를 간섭 공간으로 제한하여 남은 신호 공간을 통해 PU를 센싱하기 위해 기존의 간섭정렬 (IA : Interference Alignment) 알고리즘을 사용하고, 간섭정렬 기반의 SU 시스템에서 특정 노드를 센싱 노드로 지정하여 문제를 해결한다. 이 시스템에서는 센싱 및 데이터 전송 역할이 분리되기 때문에 연속적인 센싱이 가능하며 센싱 시간 및 전송 시간의 상호절충 (trade-off) 문제가 사라지게 된다. 또한 데이터 전송 중에 PU를 검출하지 못하는 문제도 해결된다. 그러나 센싱 역할이 특정 SU로 제한되기 때문에 센싱 결과가 다른 SU들로 전송되어야 한다는 또 다른 문제가 발생한다. 따라서 우리는 강화 학습을 사용하여 동적으로 센싱결과 알림간격을 제어하는 메커니즘을 제안한다.
주파수 자원 사용과 관련하여 본 논문에서는 강화학습을 이용하여 CR 애드혹 네트워크에서 최적 대역 및 채널 선택 방법을 제안한다. 클러스터 헤드 노드는 멤버노드들로부터의 센싱결과와 이전의 채널에 대한 통계정보를 기반으로 각 대역의 사용 가능한 채널들에 대한 가용전송률 및 평균 PU 동작 시간 (유휴시간 및 동작시간)과 관련된 무선채널 데이터 통계를 구축하고 CR 시스템의 네트워크의 요구 트레픽(traffic)을 예측한다. 제안된 구조에서는 강화학습으로써 Q-learning 알고리즘을 사용하고 연속적으로 사용 가능한 시간에 대한 예측값, 가용 전송률, 주파수 사용에 대한 효율 및 대역 이동에 대한 오버헤드를 고려하여 보상함수를 설계하였다.
성능평가에서는 제안된 시스템의 센싱 알고리즘이 PU에 대한 간섭을 최소화하고 SU의 전송기회를 향상시킬 수 있음을 보이고, 대역 및 채널 선택 알고리즘이 요구되는 데이터 속도에 적합한 대역 및 채널을 동적으로 선택하고 원하는 시스템 성능에 따라 적절하게 동작하는지 확인할 수 있다.