표제지

국문초록

목차

제1장 서론 12

1.1. 연구 배경 12

1.2. 연구 목적 및 범위 14

1.3. 연구 프레임워크 15

제2장 이론적 고찰 17

2.1. 이동 경로 생성을 위한 기존 패스파인딩 접근방식 17

2.2. 정책 기반 심층 강화학습 27

2.2.1. 심층 강화학습 개요 27

2.2.2. Proximal Policy Optimization (PPO) 30

2.3. 인간의 공간 탐색 및 근로자의 길찾기 행동 경향성 32

2.3.1. 인간의 공간 탐색 33

2.3.2. 건설 근로자의 길찾기 행동 경향성 35

제3장 연구 방법 37

3.1. DRL 프레임워크 개발 37

3.2. DRL 프레임워크 검증 37

제4장 심층 강화학습 기반의 근로자 경로 생성 프레임워크 40

4.1. 프레임워크의 개요 40

4.2. 현장 객체에 필요한 속성 및 기능 41

4.3. 상태 공간, 행동 공간, 보상 함수 43

4.3.1. 상태 공간 43

4.3.2. 행동 공간 45

4.3.3. 보상 함수 46

4.4. 제안된 프레임워크의 사용 48

제5장 프레임워크 검증 50

5.1. 실험 순서 50

5.2. 실험 결과 및 논의 56

제6장 결론 62

참고문헌 66

부록 71

부록 1. 프레임워크 코드 72

부록 2. 프레임워크 검증 관련 코드 88

ABSTRACT 104

표 2.1. 다양한 분야에 적용된 패스파인딩 접근방식 및 특성 26

표 2.2. 건설 근로자의 행동 경향성 목록 36

표 5.1. 시뮬레이션에 사용된 하이퍼파라미터 56

표 5.2. 두 패스파인딩 접근방법의 각 메트릭에 대한 기술통계량 59

그림 1.1. 연구 프로세스 개요 16

그림 2.1. 이동 경로 생성 프로세스 17

그림 2.2. 유클리드 거리와 직선 거리 18

그림 2.3. 가시성 그래프를 이용한 최적 이동 경로 생성 과정 18

그림 2.4. A* 알고리즘을 이용한 이동 경로 생성 과정 20

그림 2.5. 인공 포텐셜 필드 (APF)를 이용한 이동 경로 생성 과정 21

그림 2.6. RRT의 경로 생성 과정 22

그림 2.7. 유전 알고리즘 (GA)를 통한 이동 경로 생성 24

그림 2.8. Markov decision process에서의 에이전트와 환경 간의 상호작용 27

그림 2.9. 인간의 공간 탐색 과정에서의 공간 세포의 역할 예시 34

그림 3.1. 두 곡선 사이의 영역을 계산하기 위한 알고리즘 39

그림 4.1. 제안된 프레임워크의 개요 40

그림 4.2. 현장 객체 클래스 다이어그램 41

그림 4.3. 상대 위치, 방향 차이, 거리 비율 44

그림 4.4. 시각적 인식 데이터 45

그림 4.5. κ에 따른 보상 함수 R₂의 크기 변화 47

그림 5.1. 건설 현장 내 근로자 이동궤적 수집 과정 51

그림 5.2. DBSCAN 클러스터링 과정의 예 52

그림 5.3. 건설 현장 근로자 이동 궤적 전처리 및 추출 과정 53

그림 5.4. Unity로 모델링한 건설 현장과 3단계의 위험 수준으로 분류된 시설물 54

그림 5.5. DRL을 통해 훈련된 25개 경로의 에피소드-누적보상 그래프 55

그림 5.6. DRL을 통해 훈련된 복잡 경로 2개의 에피소드-누적보상 그래프 55

그림 5.7. 실제 근로자들의 이동 궤적과 시뮬레이션 경로 간의 비교 57

그림 5.8. Q-Q plot을 통한 면적 오차 및 거리 오차에 대한 정규성 검정 결과 58

그림 5.9. 실제 근로자의 경로와 시뮬레이션된 경로의 비교 예 60

그림 5.10. 실제 경로와 시뮬레이션 경로 간의 거리 비율에 대한 히스토그램 및 커널 밀도 추정 곡선 60