표제지
ABSTRACT
목차
기호 및 약어 설명 11
제1장 서론 13
제1절 연구배경 13
1. 3차원 공간 A2G 통신 네트워크 기술 13
2. 강화학습 기반 3차원 공간 A2G 통신 네트워크 응용 기술 14
3. 랜덤 접속 기술 17
제2절 연구 목적 및 개요 18
제2장 군집 드론 기반 A2G 네트워크에서 드론의 잔여 에너지를 고려한 온라인 랜덤 액세스 기법 20
제1절 군집 드론 기반 무선 A2G 네트워크에서 라이프타임 최대화를 위한 Slotted-ALOHA 기반 온라인 랜덤 액세스 기법 20
1. 연구배경 20
2. 기존연구 조사 및 분석 22
3. 시스템 모델 및 제안방안 23
4. 제안된 Slotted-ALOHA 기반 온라인 랜덤 액세스 기법의 성능 분석 28
5. 시뮬레이션 결과 31
6. 요약 38
제3장 A2G 네트워크에서 분산형 강화학습 기반 최적 tethered-UAV 위치 제어 기법 39
제1절 다중 TUAV-BS 무선 네트워크에서 합 전송률 최대화를 위한 분산형 큐러닝 기반 최적 tethered-UAV 위치 제어 기법 39
1. 연구배경 39
2. 기존연구 조사 및 분석 40
3. 시스템 모델 42
4. 제안된 다중 에이전트 분산형 큐러닝 기반 최적 TUAV 위치 제어 기법 46
5. 시뮬레이션 결과 49
6. 요약 60
제4장 A2G 네트워크에서 계층적 강화학습 기반 최적 주파수 재사용 계수 및 전력 제어 기법 62
제1절 다중 UAV 무선 네트워크에서 에너지 효율 및 수율 최대화를 위한 계층적 큐러닝 기반 최적 주파수 재사용 계수 및 전력 제어 기법 62
1. 연구배경 62
2. 기존연구 조사 및 분석 63
3. 시스템 모델 65
4. 제안된 다중 에이전트 계층적 큐러닝 기반 최적 주파수 재사용 계수 및 전력 제어 기법 68
5. 시뮬레이션 결과 73
6. 요약 80
제4장 결론 81
제1절 연구 결론 및 요약 81
제2절 향후 연구 방향 82
참고문헌 83
국문요약 89
표 1. 강화학습 기반 A2G 네트워크 수율 및 라이프타임 최대화 기법 문헌 조사 15
표 2. Env1일 때, 기존 방안과 제안 방안에 대한 평균 라이프타임 비교 36
표 3. Env2일 때, 기존 방안과 제안 방안에 대한 평균 라이프타임 비교 37
표 4. ITU-R에서 제공하는 도시 환경 모델 파라미터 43
표 5. 최적 TUAV-BSs 배치 기법의 시뮬레이션 파라미터 50
표 6. 랜덤 액션, QAC, 중앙 집중형 큐러닝과 제안된 알고리즘의 계산 복잡도 비교 52
표 7. 기존 방안과 제안방안의 CPU 실행 시간 비교 52
표 8. N=7이고 vmax=0일 때, ru의 변화에 따른 평균 보상[이미지참조] 55
표 9. N=7이고 vmax=0.01일 때, ru의 변화에 따른 평균 보상[이미지참조] 55
표 10. N=7이고 vmax=0.1일 때, ru의 변화에 따른 평균 보상[이미지참조] 56
표 11. N=7이고 vmax=1.0일 때, ru의 변화에 따른 평균 보상[이미지참조] 56
표 12. N=7, vmax=0.01일 때, 제안 방안의 TUAV-BSs 공정성 비교[이미지참조] 57
표 13. 최적 주파수 재사용 계수 및 전송 전력 제어 기법의 시뮬레이션 파라미터 73
표 14. Ng=12, Nu=72와 Nf=6일 때, (Dg,Ru)의 변화에 따른 제안방안과 랜덤액션 알고리즘의 최대 에너지 효율[이미지참조] 78
표 15. Ng=12, Nu=72와 Nf=6일 때, (Dg,Ru)의 변화에 따른 제안방안과 랜덤액션 알고리즘의 수율[이미지참조] 78
그림 1. 패킷 전송 확률 Popt(t)를 활용한 기존의 S-ALOHA 기법의 작동 과정[이미지참조] 23
그림 2. 제안된 잔여 에너지를 고려한 온라인 랜덤 액세스 (RE-ORA) 기법의 작동 과정 24
그림 3. RE-ORA-S에서 가중치 w의 변화에 따른 드론의 잔여 에너지 vs. 랜덤 액세스 시도를 위한 패킷 전송 확률 그래프 25
그림 4. RE-ORA 기법에서 드론 수 vs. 성공, 유후, 군집 내 충돌 및 군집 간 충돌 확률 30
그림 5. 전력 소비 조합에 따른 기존 랜덤 액세스 기법과 제안된 RE-ORA-S 기법에서 드론 수 vs. 드론 군집의 평균 라이프타임 32
그림 6. Env1일 때, 가중치 w의 변화에 따른 드론 수 vs. PST, PS, PI와 PTC[이미지참조] 33
그림 7. RE-ORA-D에서 w=7, Ntot=10일 때, 드론의 잔여 에너지 양 vs. 랜덤 액세스 시도를 위한 패킷 전송 확률 그래프[이미지참조] 34
그림 8. 전력 소비 조합과 w의 변화에 따른 기존 방안, RE-ORA-S, RE-ORA-D의 드론 수 vs. 드론 군집의 평균 라이프타임 그래프 35
그림 9. TUAV 네트워크 시스템 모델 42
그림 10. Yijavg와 Yij에 기반한 평균 보상[이미지참조] 45
그림 11. Multi-TUAV 네트워크에서 합전송률 최대화를 위한 다중 에이전트 분산형 큐러닝 알고리즘 46
그림 12. 3셀 환경에서 vmax에 따른 누적 평균 보상[이미지참조] 54
그림 13. 3셀 환경에서 도심 환경 모델에 따른 평균 보상 58
그림 14. (α,γ)의 조합에 따른 평균 보상 59
그림 15. 중앙 집중형 큐러닝, Proposed-SR과 Proposed-IR의 평균 보상 60
그림 16. 주파수 재사용 계수 μ값의 변화에 따른 SINR 및 셀 당 주파수 자원 양의 변화 63
그림 17. 다중 UAV 네트워크에서 최적 주파수 재사용 계수 및 전송 전력 제어를 위한 제안된 계층적 다중 에이전트 큐러닝 프레임워크 시스템 모델 65
그림 18. 분산형 다중 에이전트 큐러닝 내부 루프 강화학습의 상세한 작동 69
그림 19. Ng=4, Nu=8, Nf=2, Dg=100, Ru=50와 μn=2일 때, 완전 탐색 알고리즘, 랜덤 액션 알고리즘과 제안방안의 누적 평균 보상[이미지참조] 75
그림 20. Ng=12, Nu=72와 Nf=6일 때, (Dg, Ru)의 변화에 따른 제안방안과 랜덤액션 알고리즘의 누적 평균 에너지효율[이미지참조] 77
그림 21. Ng=8, Nu=32, Nf=4, Dg=100, Ru=50와 μn=4일 때, Touter의 변화에 따른 제안방안의 누적 평균 에너지 효율[이미지참조] 79