표제지
목차
Ⅰ. 서론 11
Ⅱ. 자세 추정 및 행동인식 17
1. 자세 추정 18
1.1. RGB 깊이 카메라 자세 추정 20
1.2. 영상 기반 자세 추정 22
1.3. RF 기반 자세 추정 31
2. 행동인식 38
2.1. 영상 기반 행동인식 39
2.2. 키포인트 시계열 행동인식 42
3. 유전 알고리즘 48
3.1. 유전 알고리즘 48
3.2. 진화적 합성곱 신경망 최적화 51
Ⅲ. 제안하는 유전 알고리즘 기반 자세 추정 모델 최적화 55
1. 입력 데이터 통계적 분포와 딥러닝 모델 관계 55
2. 제안하는 자세 추정 모델 최적화 66
Ⅳ. 실험 및 고찰 82
1. 데이터셋 82
1.1. MARS 데이터셋 83
1.2. 무인점포 데이터셋 84
2. 자세 추정 시뮬레이션 결과 및 검토 86
3. 행동인식 시뮬레이션 결과 및 검토 90
Ⅴ. 결론 95
참고문헌 97
Abstract 105
표 1. MPII와 COCO 데이터셋의 키포인트 정보 26
표 2. MPII와 COCO 데이터셋에 대한 OpenPose와 BlazePose의 성능 비교 30
표 3. 주파수 범위에 따른 분류 31
표 4. 데이터셋 A에 대한 딥러닝 모델 성능 비교 59
표 5. 데이터셋 B에 대한 딥러닝 모델 성능 비교 60
표 6. 데이터셋 C에 대한 딥러닝 모델 성능 비교 61
표 7. 데이터 정렬에 대한 밀리미터파 기반 자세 추정 성능 비교 65
표 8. 구성 요소의 인코딩 법칙 71
표 9. x축을 기준으로 정렬된 MARS 데이터셋에 대한 제안하는 자세 추정 모델 최적화 진행에 따른 모델 구조와 적응도 73
표 10. 신호 세기 기준으로 정렬된 MARS 데이터셋에 대한 제안하는 자세 추정 모델 최적화 진행에 따른 모델 구조와 적응도 75
표 11. 제안하는 자세 추정 모델의 최적화 진행에 따른 2개의 스테이지, 9개의 노드를 가지는 모델 구조와 적응도 77
표 12. 종래의 MARS 모델과 제안하는 자세 추정 최적화 통해 선택된 최종 모델에 대한 자세 추정 성능 비교 77
표 13. 완전 연결 계층의 은닉 계층 유무와 개수에 따른 성능 비교 78
표 14. 키포인트 기반의 행동인식 분류 성능 비교 81
표 15. MARS 데이터셋의 10 가지 동작과 프레임 수 84
표 16. 무인점포 이상행동 감지 데이터셋의 2 가지 동작과 프레임 수 85
표 17. 키포인트 검출 모델 별 성능 비교 86
표 18. MARS 데이터셋을 사용한 자세 추정 시뮬레이션 결과 89
표 19. 무인점포 데이터셋을 사용한 자세 추정 시뮬레이션 결과 90
표 20. MARS 데이터에 대한 자세 주청 모델 기반 행동인식 분류 성능 비교 92
표 21. 무인점포 데이터에 대한 자세 주청 모델 기반 행동인식 분류 성능 비교 94
그림 1. 자세 추정 기반의 사람 행동인식 17
그림 2. 출력 영상에 따른 자세 추정 (a) 2차원 자세 추정 (b) 3차원 자세 추정 18
그림 3. 추정 방식에 따른 자세 추정 (a) 하향 방식 (b) 상향 방식 19
그림 4. 키넥트 모델 별 키포인트의 정보 (a) 키넥트 v1 (b) 키넥트 v2 (c) 키넥트 azure 21
그림 5. 키넥트 Azure의 주요 키포인트 정보를 포함한 골격 화면 21
그림 6. 영상 기반의 이상행동에 대한 자세 추정 23
그림 7. 종래의 신경망과 심층 신경망의 구조 24
그림 8. 합성곱 신경망의 구조 24
그림 9. 순환 신경망의 구조 25
그림 10. 영상 기반의 자세 추정 딥러닝 모델의 키포인트 정보 (a) OpenPose (b) BlazePose 27
그림 11. OpenPose의 네트워크 구조 28
그림 12. OpenPose의 자세 추정 예시 28
그림 13. BlazePose의 네트워크 구조 29
그림 14. BlazePose의 자세 추정 예시 30
그림 15. FMCW 레이더의 블록도 32
그림 16. FMCW형의 송수신 파형 33
그림 17. 밀리미터파 레이더의 RSPC 시스템 35
그림 18. 밀리미터파 기반의 스마트 헬스케어를 위한 재활 치료 시스템의 구조 36
그림 19. mmPose의 구조 37
그림 20. mmPose-NLP의 구조 37
그림 21. 종래의 행동인식 시스템 38
그림 22. YOLO의 객체인식 시스템 39
그림 23. YOLO의 딥러닝 모델의 구조 40
그림 24. YOLOv4의 구조 42
그림 25. 단순 순환 신경망과 장단기 기억 신경망 비교 (a) 순환 신경망 (b) 장단기 기억 신경망 43
그림 26. 장단기 기억 신경망의 구조 43
그림 27. 장단기 기억 신경망의 셀 상태 44
그림 28. 장단기 기억 신경망의 망각 회로 45
그림 29. 장단기 기억 신경망의 입력 회로 45
그림 30. 장단기 기억 신경망의 셀 갱신 46
그림 31. 장단기 기억 신경망의 출력 회로 46
그림 32. 회로형 순환 유닛의 구조 47
그림 33. 유전 알고리즘의 흐름 49
그림 34. 노드의 연결에 따른 신경망의 구조 52
그림 35. 진화적 합성곱 신경망을 통해 생성된 딥러닝 모델의 구조 53
그림 36. 입력 데이터와 신경망 계수에 의한 오차 표면의 예 56
그림 37. 오름차순 정렬에 대한 MARS 모델 데이터셋 통계적 분포 (a) x축 (b) y축 (c) z축 (d) 속도 (e) 수신 세기 64
그림 38. 데이터 정렬에 대한 밀리미터파 기반 자세 추정 결과 비교 (a) x축 정렬 (b) 수신 세기 정렬 65
그림 39. 제안하는 유전 알고리즘 기반 무인점포 내 이상행동 감지 구성도 67
그림 40. 염색체의 유전자 정보를 바탕으로 구현된 딥러닝 모델 68
그림 41. 제안하는 유전 알고리즘에 사용된 단순 임의 역수 방식의 초기화 68
그림 42. 제안하는 유전 알고리즘에 사용된 룰렛 휠 선택 방식 69
그림 43. 제안하는 유전 알고리즘에 사용된 균등 교차 방식 69
그림 44. 제안하는 유전 알고리즘에 사용된 변이 연산 70
그림 45. 제안하는 딥러닝 모델 최적화 탐색 공간의 유전자 표현 70
그림 46. 딥러닝 모델 구조 최적화를 위한 탐색 공간 70
그림 47. 합성곱 필터의 종류 (a) 일반 합성곱 필터 (b) 팽창된 합성곱 필터 71
그림 48. x축을 기준으로 정렬된 MARS 데이터셋에 대한 제안하는 딥러닝 모델 구조 및 구성 요소의 최적화 탐색 결과 72
그림 49. x축 정렬에 대한 자세 추정 최적화 모델의 구조 72
그림 50. x축을 기준으로 정렬된 MARS 데이터셋에 대한 제안하는 자세 추정 모델 최적화 진행에 따른 적응도의 수렴 그래프 73
그림 51. 신호 세기 기준으로 정렬된 MARS 데이터셋에 대한 제안하는 딥러닝 모델 구조 및 구성 요소의 최적화 탐색 결과 74
그림 52. 신호 세기 정렬에 대한 자세 추정 최적화 모델의 구조 74
그림 53. 신호 세기 기준으로 정렬된 MARS 데이터셋에 대한 제안하는 자세 추정 모델 최적화 진행에 따른 적응도의 수렴 그래프 75
그림 54. 제안하는 딥러닝 모델 구조 및 구성 요소의 최적화 탐색 결과 76
그림 55. 제안하는 자세 추정 최적화 모델의 구조 76
그림 56. 제안하는 자세 추정 모델 최적화 진행에 따른 적응도의 수렴 그래프 76
그림 57. 은닉계층을 포함한 자세 추정 모델 최적화 79
그림 58. 밀리미터파 기반의 자세 추정 데이터셋 구성 82
그림 59. MARS 데이터셋의 10 가지 동작 83
그림 60. 무인점포 이상행동 감지를 위한 실험 환경 구축 85
그림 61. 키포인트 검출 모델 별 성능 비교 86
그림 62. 키포인트 검출 모델의 키포인트 검출 예시 (a) 키넥트 azure (b) BlazePose (c) OpenPose 87
그림 63. MARS 데이터에 대한 자세 주청 모델 기반 행동인식 분류 성능 비교 93
그림 64. 무인점포 데이터에 대한 자세 주청 모델 기반 행동인식 분류 성능 비교 94