표제지
목차
Ⅰ. 서론 15
1. 연구 배경 15
2. 연구 목표 17
Ⅱ. 객체 검출 및 이상행동 감지 딥러닝 19
1. 선행연구 분석 19
2. 딥러닝 개념 20
3. 딥러닝 모델 21
3.1. YOLO 계열 21
3.2. SSD 33
3.3. EfficientNet 35
Ⅲ. 제안하는 이상행동 감지 딥러닝 36
1. 인공지능 개요 36
2. AI의 국내 환경 37
3. AI 학습용 데이터 구축 38
3.1. AI 학습용 데이터 구축과 서비스 출시 절차 38
3.2. AI 학습용 데이터 구축 방법 40
4. 팽창 컨벌루션을 적용한 YOLOv5 42
Ⅳ. 실험 및 결과 44
1. 실험 환경 44
1.1. 학습데이터 생성 44
1.2. 이상행동 학습데이터 45
1.3. YOLOv5 구조와 모델 49
2. YOLOv5 2 클래스 이상행동 감지 시뮬레이션 결과 및 고찰 51
2.1. YOLOv5 n버전 2 클래스 분류 학습 결과 51
2.2. YOLOv5 s버전 2 클래스 분류 학습 결과 57
2.3. YOLOv5 m버전 2 클래스 분류 학습 결과 60
2.4. YOLOv5 l버전 2 클래스 분류 학습 결과 63
2.5. YOLOv5 x버전 2 클래스 분류 학습 결과 66
2.6. 팽창(dilated) 컨벌루션 YOLOv5 2 클래스 학습 및 추론 결과 72
3. YOLOv5 4 클래스 이상행동 감지 시뮬레이션 결과 및 고찰 75
3.1. YOLOv5 n버전 4 클래스 분류 학습 결과 75
3.2. YOLOv5 s버전 4 클래스 분류 학습 결과 78
3.3. YOLOv5 m버전 4 클래스 분류 학습 결과 81
3.4. YOLOv5 l버전 4 클래스 분류 학습 결과 84
3.5. YOLOv5 x버전 4 클래스 분류 학습 결과 87
3.6. YOLOv5 n버전 팽창(dilated) 컨벌루션 4 클래스 분류 학습 결과 93
3.7. YOLOv5 s버전 팽창(dilated) 컨벌루션 4 클래스 분류 학습 결과 96
3.8. YOLOv5 m버전 팽창(dilated) 컨벌루션 4 클래스 분류 학습 결과 99
3.9. YOLOv5 l버전 팽창(dilated) 컨벌루션 4 클래스 분류 학습 결과 102
3.10. YOLOv5 x버전 팽창(dilated) 컨벌루션 4 클래스 분류 학습 결과 105
4. 안드로이드 앱 구현 결과 111
Ⅴ. 결론 113
참고문헌 115
Abstract 120
표 1. YOLOv5 학습결과 성능 비교표 70
표 2. YOLOv5 4 클래스 학습결과 성능 비교표 91
그림 1. 신경회로망 기본 구성 20
그림 2. YOLOv1 모델 23
그림 3. YOLOv1의 구조 24
그림 4. VOC와 COCO 데이터셋에 대한 클러스터링 박스 26
그림 5. 바운딩 박스와 검출 위치 추정 26
그림 6. YOLOv3의 구조 28
그림 7. YOLOv4의 구조 30
그림 8. YOLOv5의 기본적인 구조 31
그림 9. MS COCO Object Detection 32
그림 10. SSD 모델의 레이어 구조 34
그림 11. SSD의 모델 구조 34
그림 12. 레이어 깊이에 따른 성능 변화 35
그림 13. 목적에 따른 AI 학습용 데이터 활용 체계 38
그림 14. AI 학습용 데이터 수집 및 서비스 출시 단계 39
그림 15. AI 학습용 데이터 구축 방법 40
그림 16. 3x3 컨벌루션과 5x5 팽창 컨벌루션 42
그림 17. 팽창 컨벌루션을 적용한 결과 예 43
그림 18. AI Hub 구축 플랫폼 45
그림 19. AI Hub 도시철도 이상행동 데이터 예 45
그림 20. Robofiow 플랫폼 및 가공 현황 47
그림 21. 정상상태 영상 라벨링 47
그림 22. 쓰러짐 영상 라벨링 48
그림 23. 쓰러짐과 정상상태 영상 라벨링 결과 48
그림 24. Proposed YOLOv5 Structure 50
그림 25. YOLOv5 5가지 모델 50
그림 26. YOLOv5 학습 그래프 51
그림 27. YOLOv5 학습결과 혼란 행렬(confusion matrix) 52
그림 28. YOLOv5 n버전 학습결과 Precision-Confidence 그래프 54
그림 29. YOLOv5 n버전 학습결과 Precision-Recall 그래프 54
그림 30. YOLOv5 n버전 학습결과 Precision-Recall Confidence 그래프 55
그림 31. YOLOv5 n버전 학습결과 F1-Confidence 그래프 55
그림 32. YOLOv5 GT 영상 및 라벨 56
그림 33. YOLOv5 n버전 감지 결과 56
그림 34. YOLOv5 s버전 학습결과 Precision-Confidence 그래프 57
그림 35. YOLOv5 s버전 학습결과 Precision-Recall 그래프 58
그림 36. YOLOv5 s버전 학습결과 Precision-Recall Confidence 그래프 58
그림 37. YOLOv5 s버전 학습결과 F1-Confidence 그래프 59
그림 38. YOLOv5 s버전 감지 결과 59
그림 39. YOLOv5 m버전 학습결과 Precision-Confidence 그래프 60
그림 40. YOLOv5 m버전 학습결과 Precision-Recall 그래프 61
그림 41. YOLOv5 m버전 학습결과 Precision-Recall Confidence 그래프 61
그림 42. YOLOv5 m버전 학습결과 F1-Confidence 그래프 62
그림 43. YOLOv5 m버전 감지 결과 62
그림 44. YOLOv5 l버전 학습결과 Precision-Confidence 그래프 63
그림 45. YOLOv5 l버전 학습결과 Precision-Recall 그래프 64
그림 46. YOLOv5 l버전 학습결과 Precision-Recall Confidence 그래프 64
그림 47. YOLOv5 l버전 학습결과 F1-Confidence 그래프 65
그림 48. YOLOv5 l버전 감지 결과 65
그림 49. YOLOv5 x버전 학습결과 Precision-Confidence 그래프 66
그림 50. YOLOv5 x버전 학습결과 Precision-Recall 그래프 67
그림 51. YOLOv5 l버전 학습결과 Precision-Recall Confidence 그래프 67
그림 52. YOLOv5 x버전 학습결과 F1-Confidence 그래프 68
그림 53. YOLOv5 x버전 감지 결과 68
그림 54. YOLOv5 2 클래스 학습결과 성능 비교 71
그림 55. YOLOv5 2 클래스 학습결과 시간 비교 71
그림 56. 3x3 컨벌루션의 학습 결과 혼란 행렬(confusion matrix) 73
그림 57. 5x5 팽창 컨벌루션 적용한 혼란 행렬(confusion matrix) 73
그림 58. 3x3 컨벌루션 YOLOv5 n버전 F1-Confidence 그래프 74
그림 59. 팽창 컨벌루션 YOLOv5 n버전 F1-Confidence 그래프 74
그림 60. YOLOv5 n버전 학습결과 Precision-Confidence 그래프 75
그림 61. YOLOv5 n버전 학습결과 Recall-Confidence 그래프 76
그림 62. YOLOv5 n버전 학습결과 Precision-Recall Confidence 그래프 76
그림 63. YOLOv5 n버전 학습결과 F1-Confidence 그래프 77
그림 64. YOLOv5 n버전 학습결과 77
그림 65. YOLOv5 s버전 학습결과 Precision-Confidence 그래프 78
그림 66. YOLOv5 s버전 학습결과 Recall-Confidence 그래프 79
그림 67. YOLOv5 s버전 학습결과 Precision-Recall Confidence 그래프 79
그림 68. YOLOv5 s버전 학습결과 F1-Confidence 그래프 80
그림 69. YOLOv5 s버전 학습결과 80
그림 70. YOLOv5 m버전 학습결과 Precision-Confidence 그래프 81
그림 71. YOLOv5 m버전 학습결과 Recall-Confidence 그래프 82
그림 72. YOLOv5 m버전 학습결과 Precision-Recall Confidence 그래프 82
그림 73. YOLOv5 m버전 학습결과 F1-Confidence 그래프 83
그림 74. YOLOv5 m버전 학습결과 83
그림 75. YOLOv5 l버전 학습결과 Precision-Confidence 그래프 84
그림 76. YOLOv5 l버전 학습결과 Recall-Confidence 그래프 85
그림 77. YOLOv5 l버전 학습결과 Precision-Recall Confidence 그래프 85
그림 78. YOLOv5 l버전 학습결과 Precision-Recall Confidence 그래프 86
그림 79. YOLOv5 l버전 학습결과 86
그림 80. YOLOv5 x버전 학습결과 Precision-Confidence 그래프 87
그림 81. YOLOv5 x버전 학습결과 Recall-Confidence 그래프 88
그림 82. YOLOv5 x버전 학습결과 Precision-Recall Confidence 그래프 88
그림 83. YOLOv5 x버전 학습결과 Precision-Recall Confidence 그래프 89
그림 84. YOLOv5 x버전 학습결과 89
그림 85. YOLOv5 4 클래스 학습결과 성능 비교 92
그림 86. YOLOv5 4 클래스 학습결과 시간 비교 92
그림 87. 팽창 컨벌루션 YOLOv5 n버전 학습결과 Precision-Confidence 그래프 93
그림 88. 팽창 컨벌루션 YOLOv5 n버전 학습결과 Recall-Confidence 그래프 94
그림 89. 팽창 컨벌루션 YOLOv5 n버전 학습결과 Precision-Recall Confidence 그래프 94
그림 90. 팽창 컨벌루션 YOLOv5 n버전 학습결과 F1-Confidence 그래프 95
그림 91. 팽창 컨벌루션 YOLOv5 n버전 학습결과 95
그림 92. 팽창 컨벌루션 YOLOv5 s버전 학습결과 Precision-Confidence 그래프 96
그림 93. 팽창 컨벌루션 YOLOv5 s버전 학습결과 Recall-Confidence 그래프 97
그림 94. 팽창 컨벌루션 YOLOv5 s버전 학습결과 Precision-Recall Confidence 그래프 97
그림 95. 팽창 컨벌루션 YOLOv5 s버전 학습결과 F1-Confidence 그래프 98
그림 96. 팽창 컨벌루션 YOLOv5 s버전 학습결과 98
그림 97. 팽창 컨벌루션 YOLOv5 m버전 학습결과 Precision-Confidence 그래프 99
그림 98. 팽창 컨벌루션 YOLOv5 m버전 학습결과 Recall-Confidence 그래프 100
그림 99. 팽창 컨벌루션 YOLOv5 m버전 학습결과 Precision-Recall Confidence 그래프 100
그림 100. 팽창 컨벌루션 YOLOv5 m버전 학습결과 F1-Confidence 그래프 101
그림 101. 팽창 컨벌루션 YOLOv5 m버전 학습결과 101
그림 102. 팽창 컨벌루션 YOLOv5 l버전 학습결과 Precision-Confidence 그래프 102
그림 103. 팽창 컨벌루션 YOLOv5 l버전 학습결과 Recall-Confidence 그래프 103
그림 104. 팽창 컨벌루션 YOLOv5 l버전 학습결과 Precision-Recall Confidence 그래프 103
그림 105. 팽창 컨벌루션 YOLOv5 l버전 학습결과 F1-Confidence 그래프 104
그림 106. 팽창 컨벌루션 YOLOv5 l버전 학습결과 104
그림 107. 팽창 컨벌루션 YOLOv5 x버전 학습결과 Precision-Confidence 그래프 105
그림 108. 팽창 컨벌루션 YOLOv5 x버전 학습결과 Recall-Confidence 그래프 106
그림 109. 팽창 컨벌루션 YOLOv5 x버전 학습결과 Precision-Recall Confidence 그래프 106
그림 110. 팽창 컨벌루션 YOLOv5 x버전 학습결과 F1-Confidence 그래프 107
그림 111. 팽창 컨벌루션 YOLOv5 x버전 학습결과 107
그림 112. YOLOv5 n버전 학습결과 108
그림 113. 팽창 컨벌루션 YOLOv5 n버전 학습결과 109
그림 114. 3x3 컨벌루션 결과와 팽창 컨벌루션 n버전 비교 110
그림 115. 안드로이드 앱 구현 과정 111
그림 116. 안드로이드 앱 구현 결과 112