표제지
요약
Abstract
목차
제1장 서론 15
제2장 CR 센싱 및 채널 선택의 관련 기술 및 제안된 시스템 구조 21
2.1. CR 기술 연구 개요 21
2.2. CR 시스템에서 머신러닝의 응용 28
2.2.1. CR에 적용된 ANN 30
2.2.2. CR에 적용된 SVM 32
2.2.3. CR에 적용된 강화학습 34
2.3. 제안된 CR 시스템 구조 36
2.3.1. 강화학습 기반의 센싱 설정 방법 38
2.3.2. 강화학습 기반의 대역 및 채널 선택 방법 39
제3장 CR 시스템에서 강화학습을 이용한 최적 센싱 파라미터 선택 41
3.1. 연속적인 센싱을 위한 간섭정렬 기반의 센싱 시스템 구조 41
3.1.1. 시스템 모델 41
3.1.2. 기존에 제안된 방법과 문제점 51
3.1.3. 제안된 시스템에서의 간섭정렬과 자유도 57
3.1.4. 간섭정렬이 적용된 경우 및 비적용 된 경우의 에너지 검출 방법 61
3.2. Q-learning을 통한 간섭 및 전송기회 손실의 제어 64
3.2.1. 간섭비율 및 전송기회 손실비율의 확률적인 예측 64
3.2.2. Q-learning을 이용한 동적 센싱 파라미터 제어 71
3.3. 보상함수 설계 76
3.4. 시뮬레이션 결과 및 성능 분석 79
제4장 CR 시스템에서 강화학습을 이용한 동적 대역 및 채널 선택 97
4.1. 동적 대역 및 채널 선택에 대한 네트워크 모델 및 시스템 구조 97
4.1.1. 네트워크 모델 97
4.1.2. 시스템 구조 및 문제의 설정 100
4.1.3. 기존에 제안된 방법과 문제점 102
4.2. 동적 대역 및 채널 선택을 위한 강화학습 106
4.2.1. Q-learning을 위한 행동, 상태 및 Q-table 설계 106
4.2.2. 보상함수 설계 111
4.3. 시뮬레이션 결과 및 성능 분석 118
4.3.1. DDR에 따른 적합한 채널선택 120
4.3.2. 가중치에 따른 보상함수 재설정 129
4.3.3. 제안된 Q-learning에 대한 성능비교평가 131
제5장 결론 142
참고문헌 147
약어목록 159
기호목록 163
연구활동 168
표 3.1. 제안된 방법에서의 Q-learning 알고리즘 75
표 3.2. PU 동작과 스펙트럼 센싱 파라미터 81
표 3.3. 목표치 및 실험 파라미터 81
표 3.4. Q-learning 파라미터 81
표 4.1. 대역 그룹 1과 2에 대한 채널 파라미터 119
표 4.2. 가중치 파라미터 120
그림 2.1. CR 싸이클 22
그림 2.2. 센싱을 이용한 기회적인 주파수의 사용 23
그림 2.3. CR 시스템에서 적용되는 학습알고리즘 29
그림 2.4. ANN의 일반적인 구조 31
그림 2.5. SVM에서의 데이터 분류 33
그림 2.6. 강화학습 동작의 일반적인 주기 35
그림 2.7. 제안된 센싱 네트워크 38
그림 2.8. 제안된 대역 및 채널 선택 시스템 40
그림 3.1. 일반적인 간섭정렬 기반 CR 시스템 42
그림 3.2. 제안된 시스템에서의 간섭정렬 기반 CR 시스템 44
그림 3.3. 기존의 CR 시스템에서의 센싱과 제안된 간섭정렬 기반 CR 시스템... 49
그림 3.4. 센서에서의 간섭정렬 57
그림 3.5. 간섭 비율 65
그림 3.6. 전송기회 손실비율 67
그림 3.7. 일반적인 Q-learning 동작 메커니즘 72
그림 3.8. 제안된 시스템에서 Q-learning의 메커니즘 72
그림 3.9. 보상함수에 대한 흐름도 77
그림 3.10. Pon에 대한 예측 값과 실제 값의 비교(이미지참조) 83
그림 3.11. RI, RL에 대한 예측 값과 실제 값의 비교(이미지참조) 84
그림 3.12. 고정형 방식과 Q-learning 방식에서의 간섭비율, 전송기회 손실비... 88
그림 3.13. 고정형 방식과 Q-learning 방식에서의 간섭비율, 전송기회 손실비... 90
그림 3.14. 고정형 방식과 Q-learning 방식에서의 간섭비율, 전송기회 손실비... 92
그림 3.15. 제안된 시스템에서 SNR 변화에 따른 RI, RL(이미지참조) 93
그림 3.16. 제안된 시스템에서 SNR 변화에 따른 RI, RL(이미지참조) 94
그림 3.17. PU 시스템의 E[on] 시간에 따른 간섭 비율 96
그림 3.18. PU 시스템의 E[on] 시간에 따른 PU 검출비율 96
그림 4.1. 지리적 위치, 시간, 주파수에 따른 네트워크 모델 98
그림 4.2. 각 대역 그룹에 대한 채널 대역폭 98
그림 4.3. 제안된 시스템 구조 101
그림 4.4. 제안된 Q-learning 메커니즘 107
그림 4.5. 제안된 Q-table 구조 108
그림 4.6. Q-table의 갱신, 상태 결정, 동작 선택에 따른 제안된 알고리즘의 진... 109
그림 4.7. DRE에 따른 대역 그룹 이동의 메커니즘 113
그림 4.8. DRE에 따른 데이터 전송률 사용 효율의 보상 115
그림 4.9. Q-table에서 채널 이동 메커니즘과 동작 영역 116
그림 4.10. Q-table에서 채널 이동의 경우 117
그림 4.11. DDR=40kbps에 대한 Q-table의 변화와 상태 방문 횟수 121
그림 4.12. DDR=40kbps에서 시간에 따른 보상, 상태, 동작의 변화 123
그림 4.13. DDR=90kbps에 대한 Q-table의 변화와 상태 방문 횟수 124
그림 4.14. DDR=90kbps에서 시간에 따른 보상, 상태, 동작의 변화 125
그림 4.15. DDR=3.5Mbps에 대한 Q-table의 변화와 상태 방문 횟수 126
그림 4.16. DDR=3.5Mbps에서 시간에 따른 보상, 상태, 동작의 변화 128
그림 4.17. 가중치 변화에 따른 평균 동작 시간, 평균 전송률, 전송률 사용효... 131
그림 4.18. Q-learning 및 랜덤 채널 선택에 대한 평균 보상의 비교 132
그림 4.19. Q-learning 및 랜덤 채널 선택에 대한 평균 값 및 상자플롯 134
그림 4.20. Q-learning 및 랜덤 채널 선택에 대한 보상의 평균과 상자플롯 135
그림 4.21. 시스템 개수의 증가에 따른 데이터 사용 효율의 평균 공정성 136
그림 4.22. DDR=40kbps에서 Q-learning과 랜덤 채널 선택의 시간에 따른 보... 138
그림 4.23. DDR=3.5Mbps에서 Q-learning과 랜덤 채널 선택의 시간에 따른 보... 139
그림 4.25. DDR의 변화에 따른 Q-learning 및 랜덤 채널 선택의 보상 141