표제지
국문초록
목차
Ⅰ. 서론 11
1.1. 연구의 배경 11
1.2. 연구 목적 및 방법 13
1.3. 본 논문에 기여한 논문 14
Ⅱ. 딥러닝 기반 3차원 자세 추정 알고리즘 15
2.1. 선행 3차원 자세 추정 알고리즘 15
2.1.1. Skeleton Model 16
2.1.2. Volumetric Model 16
2.2. Kinematic Model 알고리즘: MPP 18
2.3. Volumetric Model 알고리즘: HybrIK 20
2.3.1. SMPL Model 20
2.3.2. HybrIK (Hybrid Analytical-Neural Inverse Kinematics Solution) 21
Ⅲ. 딥러닝 기반 3차원 자세 추정 알고리즘 비교 및 분석 23
3.1. 실제 환경에서의 성능 비교 23
3.2. 깊이 추정 결과 비교 29
3.3. 딥러닝 알고리즘 개선 연구 방향 31
Ⅳ. 딥러닝과 최적화 연산을 접목한 알고리즘 33
4.1. 사람 인식 정확도 개선 33
4.2. 인체 관절 좌표 후처리 37
4.2.1. 이상치 검출 38
4.2.2. 이상치 보정 41
4.3. 3차원 관절각 추정 44
4.4. 실험 및 결과 48
4.4.1. 걷는 사람의 관절각 추정 결과 비교 49
4.4.2. 요가 자세의 관절각 추정 결과 51
Ⅴ. 결론 55
참고문헌 56
Abstract 59
표 2.1. 시스템 장치 사양 및 구현 환경 17
표 2.2. 주요 라이브러리 버전 17
표 2.3. MediaPipePose 모델별 속도 측정표 18
표 3.1. MPP와 HybrIK 성능 비교표 32
표 4.1. 휴머노이드 모델 자유도 45
그림 1.1. 3차원 자세 추정 방법 11
그림 2.1. 두 가지 유형의 인체 모델 15
그림 2.2. 네트워크 아키텍처 19
그림 2.3. MPP의 33개의 랜드마크 및 추정 과정 19
그림 2.4. SMPL과 SMPL-X 20
그림 2.5. SMPL 파라미터 21
그림 2.6. HybrIK의 알고리즘 구조도 21
그림 2.7. HybrIK의 29개 랜드마크 22
그림 3.1. 성능 비교를 위해 선정된 영상 23
그림 3.2. 복잡한 자세에 대한 MPP 추정 결과 24
그림 3.3. 복잡한 자세에 대한 HybrIK 추정 결과 25
그림 3.4. 외부 물체가 포함된 영상에 대한 MPP 추정 결과 25
그림 3.5. 외부 물체가 포함된 영상에 대한 HybrIK 추정 결과 26
그림 3.6. 원거리 영상에 대한 MPP와 HybrIK 추정 결과 26
그림 3.7. 원거리 영상에 대한 프레임별 MPP와 HybrIK 추정 결과 27
그림 3.8. 조도의 변화가 있는 영상에 대한 MPP 추정 결과 28
그림 3.9. 조도의 변화가 있는 영상에 대한 HybrIK 추정 결과 28
그림 3.10. 정자세에 대한 MPP 추정 결과 29
그림 3.11. 정자세에 대한 HybrIK 추정 결과 30
그림 3.12. 딥러닝 모델의 에러 특징 31
그림 3.13. 정확도 개선을 위해 제안된 알고리즘 구성도 32
그림 4.1. 사람 인식 알고리즘 구성도 34
그림 4.2. COCO labels list (2017REL.) 35
그림 4.3. 사람 인식 알고리즘을 적용한 HybrIK 인식 결과 비교 36
그림 4.4. 폐색 영역에 대한 부정확한 추정 예시 37
그림 4.5. 좌우 반전 및 오검출 예시 38
그림 4.6. 이상치가 발생한 오른 팔꿈치 3차원 좌표 궤적 (HybrIK) 39
그림 4.7. 이상치가 발생한 오른 어깨 3차원 좌표 궤적 (MPP) 39
그림 4.8. 주요 관절 길이 변화 40
그림 4.9. 주요 관절의 길이 미분 결과 41
그림 4.10. 이상치 영역 추정 결과 41
그림 4.11. 이상치 제거 및 보정 알고리즘 구성도 42
그림 4.12. 오른 어깨에 대한 이상치 보정 결과 43
그림 4.13. 인체의 3가지 면 44
그림 4.14. 관절각 추정 알고리즘 구성도 46
그림 4.15. 개선된 알고리즘으로 재구성된 3차원 모델 46
그림 4.16. 휴머노이드 모델의 관절각 추정 결과 47
그림 4.17. 개선된 3차원 자세 추정 알고리즘 48
그림 4.18. MPP를 이용한 개선된 3차원 자세 추정 결과 49
그림 4.19. MPP를 이용한 관절 각도 추정 결과 50
그림 4.20. HybrIK를 이용한 개선된 3차원 자세 추정 결과 50
그림 4.21. HybrIK를 이용한 관절각 추정 결과 51
그림 4.22. 복잡한 요가 자세 51
그림 4.23. 측면에서 촬영한 영사에 대한 깊이 정확도 비교 52
그림 4.24. MPP를 이용한 요가 자세의 3차원 자세 추정 결과 53
그림 4.25. HybrIK를 이용한 요가 자세의 3차원 자세 추정 결과 53
그림 4.26. 요가 자세에 대한 HybrIK와 MPP의 관절각 비교 54
그림 4.27. 휴머노이드 모델의 하지 관절각 정의 54