표제지
국문초록
목차
제1장 서론 12
1.1. 연구 배경 12
1.2. 논문 구성 14
제2장 데이터기반 선형 시스템 모델링 및 모델기반 최적제어 기법 15
2.1. 데이터기반 선형모델 유도 기법 15
2.2. 선형모델기반 모델예측제어기 17
제3장 데이터 기반 확률모델 및 외부제어기를 활용한 강화학습 개선 기법 25
3.1. 데이터 기반 확률모델 및 PILCO 강화학습 25
3.1.1. 데이터기반 확률 모델 26
3.1.2. 비선형제어기 28
3.1.3. 학습 제어기 평가 29
3.2. 외부제어기 30
3.2.1. 회전형 역진자 외부 제어기, Swing-up Control 30
3.2.2. 회전형 역진자 외부 제어기, Balance Control 34
3.3. 외부제어의 가이드 학습 35
3.3.1. PILCO의 모델 학습 효율개선 방안 36
3.3.2. 외부제어를 활용한 학습 효율 개선 방법론 38
제4장 알고리즘 검증 실험 및 결과 41
4.1. 데이터 기반 선형 차량 모델 유도 및 제어 41
4.1.1. 데이터기반 선형 모델의 유효성 검증 실험 및 결과 42
4.1.2. 데이터기반 선형 모델의 모델예측제어 실험 및 결과 46
4.2. 외부 제어를 활용한 개선된 강화학습 기법 57
4.2.1. Guide PILCO, 회전형 역진자 제어기 학습 실험 및 결과 57
제5장 결론 65
참고문헌 67
ABSTRACT 70
이력서 73
표 4.1. 동적모드분해 선형 모델유도에 활용한 시스템 입/출력 정보 42
표 4.2. 4개의 선형화 모델과 시뮬레이션 차량과의 RMS(Root Mean Square) 오차 45
표 4.3. 횡방향 속도, 헤딩 변화율들의 상위 제어기 이득 48
표 4.4. 각 제어기로 주행중인 차량의 횡 방향 거리 오차와 헤딩 각 오차 비교 55
표 4.5. Guide PILCO 학습/외부 제어기 데이터 수집 설정 59
그림 3.1. Quanser사의 회전형역진자와 상태 정보 30
그림 3.2. 회전형역진자에서 진자의 움직임 31
그림 3.3.1. 10개의 수집데이터를 활용한 가우시안 프로세스의 사인 파형 예측 36
그림 3.3.2. 20개의 수집데이터를 활용한 가우시안 프로세스의 사인 파형 예측 37
그림 4.1. 동적모드분해 기반 차량 횡방향 선형화 모델 유도 개요 43
그림 4.2. 차량의 역동적 주행 이중 차선 변경 시나리오로 검증한 선형화 모델 44
그림 4.3. 이중 차선 변경과 스윕 사인 스티어링 휠각 특성 FFT로 분석 45
그림 4.4. 차량 기준 좌표계 및 차선 유지 지령 명령 도출 개요 47
그림 4.5. 모델예측기반 차선유지제어기 구조 48
그림 4.6.1. 차량 횡방향 모델을 유도하기 위한 입력 데이터, 스티어링 휠각 50
그림 4.6.2. 차량 횡방향 모델을 유도하기 위한 상태 데이터, 횡방향 속도 50
그림 4.6.3. 차량 횡방향 모델을 유도하기 위한 상태 데이터, 헤딩 변화율 51
그림 4.7.1. CarSim 라이브러리 제어기 차량 주행 경로 53
그림 4.7.2. 모델예측제어기 차량 주행 경로 54
그림 4.8.1. 모델예측제어와 CarSim제어 차선추종성능 비교, 차량 횡방향 오차 54
그림 4.8.2. 모델예측제어와 CarSim제어 차선추종성능 비교, 헤딩 각 오차 55
그림 4.9.1. 모델예측제어와 CarSim제어 안정도 비교, 횡방향 속도 56
그림 4.9.2. 모델예측제어와 CarSim제어 안정도 비교, 헤딩 변화율 56
그림 4.10. 학습 횟수 대비 제어기의 기대비용, PILCO와 guide PILCO 학습 비교 60
그림 4.11. 학습되지 않은 제어기 적용 후 수집된 진자의 각도 Ψ비교 61
그림 4.12.1. 외부 제어와 guide PILCO 학습 제어 비교, 로터 각속도 θ[이미지참조] 62
그림 4.12.2. 외부 제어와 guide PILCO 학습 제어 비교, 진자 각속도 Ψ[이미지참조] 62
그림 4.12.3. 외부 제어와 guide PILCO 학습 제어 비교, 진자 각도 θ 63
그림 4.12.4. 외부 제어와 guide PILCO 학습 제어 비교, 진자 각도 Ψ 63