표제지
목차
Abstract 12
요약 14
제1장 서론 15
1.1. 연구 배경 15
1.2. 논문의 구성 17
제2장 관련 연구 17
2.1. 원격 생리적인 측정 기법 18
2.2. 딥러닝을 활용한 심박수 추정 기법 20
2.3. 저조도 향상 기법 23
제3장 저조도 생산적 적대 신경망을 이용한 저조도 환경에서의 심박수 추정 향상 25
3.1. 제안 방법의 착안점 25
3.2. 저조도 생산적 적대 신경망을 이용한 저조도 이미지 향상 방법 27
3.3. TS-CAN의 네트워크 구조와 학습 방법 및 attention mask 변경을 통한 네트워크 성능 향상 29
3.3.1. TS-CAN의 네트워크 구조 29
3.3.2. 학습 방법 30
3.3.3. TS-CAN의 attention mask 및 attention mask 변경을 통한 네트워크 성능 향상 31
3.3.4. 전체 시스템 구조 32
제4장 실험 및 결과 34
4.1. 실험 환경 34
4.2. 실험 데이터 및 성능 평가 방법 34
4.2.1. 실험 데이터 구성 34
4.2.2. 성능 평가 기준 36
4.3. 저조도 향상 생성적 적대 신경망을 활용한 저조도 조건에서의 심박수 추정 성능 비교 38
4.3.1. TS-CAN과 저조도 조건 변화 및 attention mask 변화에 따른 성능 실험 39
4.3.2. TS-CAN과 저조도 조건 변화 및 초해상도 모델을 활용한 성능 실험 43
4.3.3. 심박수 추정 모델별 저조도 조건 변화에 따른 성능 실험 46
제5장 결론 51
제6장 참고 문헌 54
표 1. 저조도 조건 변화에 따른 성능 39
표 2. 저조도 조건 및 Scaled Dot Product attention mask 변화로 인한 성능 39
표 3. 저조도 조건 및 attention mask 가중치 감소로 인한 성능 40
표 4. 저조도 조건 및 attention mask 가중치 증가로 인한 성능 40
표 5. 저조도 조건 및 attention mask 변화에 따른 성능 종합 42
표 6. 저조도 조건 변화 및 초해상도 모델을 활용한 성능 44
표 7. 모델별 원본 PURE 데이터 시험 성능 47
표 8. 모델별 저조도 변환 PURE 데이터 시험 성능 48
표 9. 모델별 저조도 변환 후 EnlightenGAN 변환한 PURE 데이터 시험 성능 48
표 10. 모델별 저조도 변환에 따른 PURE 데이터 시험 성능 종합 49
그림 1. 이색 반사 모델 (DRM)을 기반으로 한 원격 광혈류측정기(rPPG)의 원리 16
그림 2. GREEN을 통한 심박수 추정 19
그림 3. ICA를 통한 심박수 추정 19
그림 4. POS를 통한 심박수 추정 20
그림 5. DeepPhys의 구조 22
그림 6. PhysNet의 구조 22
그림 7. PhysFormer의 구조 23
그림 8. EfficientPhys의 구조 23
그림 9. IR 영상을 통한 심박수 추정 연구 26
그림 10. EnlightenGAN을 이용한 저조도 향상 이미지 샘플 28
그림 11. EnlightenGAN의 전반적인 구조도 28
그림 12. TS-CAN의 구조 30
그림 13. 합성곱 어텐션 네트워크의 분류 30
그림 14. 학습에서의 손실 함수 31
그림 15. Scaled-Dot Product Attention 수식 31
그림 16. TS-CAN을 통한 심박수 영상 및 이미지와 심박수 측정 데이터 학습 33
그림 17. EnlightenGAN을 통한 저조도 심박수 영상 및 이미지 변환 33
그림 18. TS-CAN을 통한 변환된 심박수 영상 및 이미지와 심박수 측정 데이터 시험 33
그림 19. UBFC-rPPG 데이터 샘플 이미지 35
그림 20. PURE 데이터 샘플 이미지 35
그림 21. 저조도로 변환한 PURE 데이터 샘플(RGB*0.5) 36
그림 22. 저조도로 변환한 PURE 데이터 샘플(RGB*0.1) 이미지 36
그림 23. EnlightenGAN으로 변환한 PURE 데이터 샘플 이미지 36
그림 24. 성능 평가를 위한 MAE 37
그림 25. 성능 평가를 위한 RMSE 38
그림 26. 성능 평가를 위한 MAPE 38
그림 27. RealBasicVSR로 변경하기 전/후의 이미지 샘플 44
그림 28. RealBasicVSR로 변경하기 전/후의 이미지 샘플 확대본 44
그림 29. REDS 데이터셋 샘플 이미지 45
그림 30. 원본 PURE 이미지 저조도 변환 전/후 이미지 샘플 46
그림 31. 저조도 변환 PURE 이미지 EnlightenGAN 변환 전/후 이미지 샘플 47