표제지
목차
논문 개요 10
1. 서론 11
1.1. 연구의 필요성과 목적 11
1.2. 연구내용 12
1.3. 논문의 구성 13
2. Stereo matching 14
2.1. Stereopsis[19] 14
2.2. Calibration 17
2.2.1. 3D-2D calibration[17] 19
2.2.2. Self calibration[18] 21
3. Viewpoint interpolation 23
3.1. Image based method[3] 24
3.1.1. Local correspondence method 24
3.1.1.1. Block matching[20][21] 24
3.1.1.2. Gradient method[22][23] 26
3.1.1.3. Feature matching[24][25] 27
3.1.2. Global correspondence method 28
3.1.2.1. Dynamic programming[26][27] 28
3.1.2.2. Intrinsic curves[28] 29
3.1.2.3. Graph cut[29] 30
3.2. Model based method 31
3.2.1. Projective grid space[6] 31
3.2.2. Pace modeling[2] 34
4. 제안된 타원체 얼굴 모델을 적용한 알고리즘 36
4.1. Iterative ellipsoid modeling 37
4.2. Pseudo inverse를 사용한 ellipse parameter 계산 38
5. 실험 방법 고찰 및 결론 46
5.1. Projective grid space 51
5.2. Plane modeling 56
5.2.1. Plane 1개를 사용한 경우 56
5.2.2. 직육면체 모델 58
5.2.3. 3개의 plane 모델 62
5.3. Ellipsoid modeling 65
6. 결론 83
참고 문헌 84
Abstract 89
그림 2.1. Depth from disparity 15
그림 2.2. Occlusion 이 발생한 경우 16
그림 2.3. Epipolar geometry 17
그림 2.4. Correspondence 18
그림 2.5. Calibration의 두 종류 19
그림 3.1. Teleconferencing시 eye contact의 부족 23
그림 3.2. Disparity space image 29
그림 3.3. Model point와 left, right영상의 correspondence 31
그림 3.4. c의 함수 33
그림 3.5. Face model 34
그림 4.1. Iterative ellipsoid 37
그림 4.2. 영상에서의 대응점 42
그림 4.3. 영상에서의 대응점의 오차 42
그림 5.1. Left 영상의 calibration 특징점 46
그림 5.2. Left 영상 47
그림 5.3. Right 영상 49
그림 5.4. 색 보정한 후의 right 영상 49
그림 5.5. Top 영상 50
그림 5.6. Bottom 영상 50
그림 5.7. 가운데 영상의 depth에 따른 좌,우 영상의 correspondence 51
그림 5.8. Linear weighting 52
그림 5.9. Projective grid space로 복원된 영상 53
그림 5.10. Sum of error가 같아지는 지점 54
그림 5.11. 영상 자체의 문제로 depth가 잘못 찾아지는 경우 54
그림 5.12. Window로 복원한 영상 55
그림 5.13. plane으로 복원하는 경우 56
그림 5.14. Left와 right영상을 이용해 plane으로 복원한 영상 57
그림 5.15. Top과 bottom영상을 이용해 plane으로 복원한 영상 57
그림 5.16. plane에 오차를 두고 복원하는 경우 58
그림 5.17. Left와 right영상을 이용해 plane에 오차를 두고 복원한 영상 59
그림 5.18. 그림 5.14에서 오차 범위를 얼굴의 depth주위로 제한하여 복원한 영상 59
그림 5.19. Top과 bottom영상을 이용해 복원한 영상 60
그림 5.20. 오차 구간에서만 depth를 search하여 찾는 경우 61
그림 5.21. Left와 right을 이용해 오차구간에만 plane에 오차를 두어 복원한 영상 61
그림 5.22. Top가 bottom영상을 이용해 오차구간에만 plane에 오차를 두어 복원한 영상 62
그림 5.23. Plane 3개로 modeling한 경우 영상 복원 63
그림 5.24. Left right영상을 이용해 3개의 plane으로 복원한 영상 63
그림 5.25. Top bottom영상을 이용해 3개의 plane으로 복원한 영상 64
그림 5.26. Left영상에서 segmentation data를 이용해 만들어 낸 ellipse 66
그림 5.27. Right영상에서 segmentation data를 이용해 만들어 낸 ellipse 66
그림 5.28. 3D ellipsoid model의 data를 left영상에 projection한 ellipse 67
그림 5.29. 3D ellipsoid model의 data를 right영상에 projection한 ellipse 67
그림 5.30. 두개 영상의 pseudo ellipse로 복원한 ellipsoid 68
그림 5.31. Left영상의 ellipse의 중심과 right영상의 ellipse의 중심의 epipolar line 69
그림 5.32. Right영상의 ellipse의 중심과 left영상의 ellipse의 중심의 epipolar line 69
그림 5.33. Left와 right영상의 중점을 이용해 ellipsoid로 복원한 가운데 영상 70
그림 5.34. Top과 bottom영상으로 중점을 이용해 ellipsoid로 복원한 가운데 영상 70
그림 5.35. Left영상의 ellipsoid의 중점 71
그림 5.36. Left영상의 ellipse의 중점에 해당하는 대응점을 오른쪽 영상에서 찾은 경우 71
그림 5.37. Left영상의 중점과 그의 right영상에서의 대응점을 이용해 복원한 영상 72
그림 5.38. 얼굴의 boundary를 크게 결정 했을 경우 73
그림 5.39. 얼굴의 boundary를 작게 결정 했을 경우 73
그림 5.40. Top과 bottom영상으로 left에서 찍었을 경우의 영상 74
그림 5.41. Top과 bottom영상으로 right에서 찍었을 경우의 영상 74
그림 5.42. Left와 right영상으로 top에서 찍었을 경우의 영상 75
그림 5.43. Left와 right영상으로 bottom에서 찍었을 경우의 영상 75
그림 5.44. 다른 사람의 left영상 76
그림 5.45. 다른 사람의 right영상 77
그림 5.46. Ellipsoid로 복원한 영상 77
그림 5.47. 고개를 기울이고 찍은 left 영상 78
그림 5.48. 고개를 기울이고 찍은 right영상 78
그림 5.49. Segmentation된 얼굴 data로 만들어 낸 left영상의 ellipse 79
그림 5.50. Segmentation된 얼굴 data로 만들어 낸 right 영상의 ellipse 79
그림 5.51. Ellipsoid로 복원한 가운데 영상 80
그림 5.52. Ellipsoid로 복원한 가운데 영상 81
그림 5.53. 카메라로 찍은 가운데 영상 81
그림 5.54. 합성 영상과 실제 영상의 error image 82