표제지
목차
1. 서론 10
2. 관련 연구 12
2.1. MVS(Multi-view stereo) 파이프라인 12
2.1.1. 이미지 수집(Imagery collection) 15
2.1.2. 카메라 프로젝션 모델(Camera projection models) 17
2.1.3. SfM(Structure-from-Motion) 19
2.1.4. 번들 조정(Bundle Adjustment) 21
2.1.5. 멀티 뷰 스테레오(Multi-View Stereo) 22
2.2. 멀티 뷰 사진 일관성(Multi-view Photo-consistency) 24
2.2.1. 사진 일관성 측정(Photo-consistency measures) 24
2.2.2. 정규화된 교차 상관(Normalized Cross Correlation) 28
2.2.3. 차이 제곱의 합(Sum of Squared Differences) 29
2.2.4. 절대 차이의 합(Sum of Absolute Differences) 30
2.2.5. Rank 31
2.2.6. 상호 정보(Mutual information) 31
2.2.7. 주기 비교(Interval comparison) 33
2.2.8. 사진 일관성 집합(Photo-consistency aggregation) 34
2.2.9. 사진 일관성 표현(Photo-consistency representation) 35
2.3. 알고리즘의 가시성 추정(Visibility estimation in state-of-the-art algorithms) 36
2.3.1. 가시성 추정을 위한 공간 조각 37
2.3.2. 포즈 클러스터링을 통한 가시성 추정 38
2.3.3. 미세규모 가시성 추정 40
2.4. 사진 일관성 기반 3차원 복원(Photo-consistency 3D Reconstruction) 41
2.4.1. 깊이 맵(Depthmap) 복원 45
2.4.2. 강력한 사진 일관성 깊이 맵 46
2.4.3. MRF(Markov Random Field) 깊이 맵 49
2.4.4. 다중 가설 MRF 깊이 맵 52
2.4.5. 포인트 클라우드 복원(Point-cloud Reconstruction) 55
2.4.6. PatchMatch 핵심 요소 56
2.4.7. PatchMatch 알고리즘 59
2.4.8. 체적(Volumetric) 데이터 융합 63
2.4.9. Delaunay Tetrahedralization의 체적 그래프 컷 65
2.4.10. MVS 메쉬 개선(Mesh Refinement) 68
2.4.11. 포토메트릭 일관성 조건(Photometric Consistency Term) 69
2.4.12. 정규화 조건 71
2.5. 평면 기반 정규화(Plane-based Regularization) 3차원 복원 73
2.5.1. Plane Detection 73
2.5.2. Plane-based Point Cloud Denoising 74
2.5.3. Point Cloud Tetrahedralization 74
2.5.4. Tetrahedra Occupancy Labeling 74
2.5.5. Visibility-based Unary and Pairwise Costs 75
2.5.6. Tetrahedra Subdivision 77
2.5.7. Plane-Aware Regularization 78
3. 실험 방법 81
3.1. 실험 개요 83
3.2. 이미지 검출 85
3.3. 부드러운 표면 복원 87
3.4. 다중 평면 검출(Multi-plane detection) 87
3.5. Inliers 노이즈 제거 89
3.6. ROI 크롭핑 및 클러스터링 90
3.7. 일반적인 회전과 메시 생성 93
3.8. 소결(Sub-conclusion) 95
4. 실험 평가 97
4.1. 실험 환경 97
4.2. 메시 복원 결과 100
4.3. C2M 비교 분석 105
4.4. 메시 후처리 107
4.5. 소결(Sub-conclusion) 109
5. 결론 110
참고문헌 112
요약문 115
Abstract 117
[표 1] 사진 일관성을 계산하는 데 사용된 다양한 유사성 측정의 요약 표 25
[표 2] Specification of experimental System 97
[표 3] Featured Photogrammetry Software 98
[표 4] Samsung Galaxy Note 20 Series Camera Specifications 99
[표 5] Reconstruction of models in natural light-MetaShape 101
[표 6] Reconstruction of models in natural light-Meshroom 102
[표 7] Reconstruction of models in natural light-RealityCapture 103
[표 8] Reconstruction of models in natural light-Proposed 104
[표 9] C2M comparison results 106
[표 10] Comparison with post-processing 108
[그림 1] 이미지 기반 3차원 객체 복원 알고리즘을 통한 3D 모양 추정 12
[그림 2] MVS 파이프라인의 예시(시계 방향: 입력 이미지, 포즈 이미지, 복원된 3D 지오메트리, 재질이 있는 3D 지오메트리) 14
[그림 3] 서로 다른 MVS 캡처 설정. (조명과 턴테이블을 사용하여 제어된 MVS 캡처(좌), 소규모 장면의 야외 캡처(중앙), 온라인 사진 공유 웹 사이트의... 15
[그림 4] 핀홀 카메라 모델의 일반적인 편차 (큰 방사형 왜곡을 나타내는 피쉬아이 렌즈(좌), 방사형 왜곡을 제거한 후 동일한 이미지의 수정된 버전(우)) 18
[그림 5] 일반적인 SfM 파이프라인의 주요 단계: 특징 검출, 특징 일치, 트랙으로부터 SfM 모델 생성, 번들 조정을 활용한 SfM 모델 수정. 19
[그림 6] 알려진 카메라 매개 변수와 이미지 일치(장면의 3D 지오메트리는 서로 다른 영상에서 픽셀 간의 대응을 정의한다(좌), 카메라 매개 변수가 알려진 경우 한 이미지의... 23
[그림 7] 그레이스케일 이미지에서 강도 e를 가진 픽셀을 중심으로 한 직사각형 3x3 도메인 Ω의 예. (영역의 이미지 강도는 광 독립성 측정을 계산하기 위해 1D 벡터 f = (a, b, c, d, e, f, g, h, i)γ로 벡터화된다.) 26
[그림 8] 폐색(Occlusion) 36
[그림 9] 콜로세움의 인터넷 이미지의 대규모 뷰 클러스터링. 상단: 알고리즘의 첫 번째 단계는 가시성 AR(SfM 필터)를 풍부하게 하기... 39
[그림 10] MVS 알고리즘은 출력 복원 표현 분류. (깊이 맵, 포인트 클라우드, 볼륨 스칼라 필드 및 메시 복원). 42
[그림 11] MVS 알고리즘의 과정과 전형적인 제작 플로우 개 44
[그림 12] Algorithm 1 46
[그림 13] 깊이 맵 추정 프레임워크에서 Vogiatzis, Hernández, Torr 및 Cipolla에 의한 강력한 사진 일관성 함수는 주요 로컬 최대값에서 커널... 47
[그림 14] Goesele, Curless 및 Seitz의 복원 결과. 48
[그림 15] Campbell, Vogiatzis, Hernández 및 Cipolla의 가설 깊이 맵 알고리즘 결과. (Campbell 등의 그림 제공) 54
[그림 16] 패치 모델 56
[그림 17] 가공하지 않은 NCC 점수에 강력한 함수가 적용된다. 곡선은 NCC 점수가 0.4 미만이면 자동으로 무시되며 값이 1.0에 가까울수록 더... 57
[그림 18] 보이는 이미지에서 재구성된 패치의 이미지 프로젝션은 이웃 패치 액세스, 정규화 시행 등과 같은 기본 작업을 수행하는 데 사용된다. 58
[그림 19] 이미지 매칭 알고리즘 61
[그림 20] 패치 확장 알고리즘. 61
[그림 21] 첫 번째 필터는 이상치를 제거하기 위해 전역 가시성 일관성을 적용한다. (빨간색 패치). 파이에서 Ij를 가리키는 화살표는 Ij ∈ V(pi)의 관계를 나타낸다.... 63
[그림 22] 입력 3D 포인트 클라우드의 Delaunay tetrahedralization은 공간을 3D 셀로 이산화하는 데 사용된다.(Labatut 등의 그림 제공) 66
[그림 23] 깊이 맵의 단일 픽셀 또는 단일 3D 포인트가 주어지면 가시 광선과 교차하는 셀에 대해 단항 및 이진 비용 용어가 정의된다. 67
[그림 24] Mesh Refinement 프레임워크의 정규화 힘은 Mesh Laplacian 및 Mesh Bi-Laplacian 연산자에 의해 제공된다. 그림은 1차원 표면의 예를 보여준다.... 71
[그림 25] 평면과 교차하는 사면체의 세분화 체계, (a) 3-point intersection (b) 4-point intersection (c) Edge intersection... 76
[그림 26] AliceVision MeshRoom Pipelines 83
[그림 27] 시연 및 실험에 쓰인 사면체 모형과 스마트폰(삼성 갤럭시 노트20) 84
[그림 28] Flowchart of Reconstructing Process 84
[그림 29] Flowchart of feature extraction 86
[그림 30] Results of SfM based on different feature extraction algorithms : (a) SIFT-based (22,273 points); (b) AKAZE-based (31,477 points); (c) SIFT+AKAZE... 86
[그림 31] Multi-plane detection 88
[그림 32] Inliers demising iniier 노이즈 감소: (a) 평면 기반 프로젝션 Plane-based projection; (b) Point cloud with noises erasion direct 직접적인 노이즈 제거의... 90
[그림 33] ROI cropping and clustering: (a)pmax removal; (b)proi_bottom; (c) clustering; (d)ROI.[이미지참조] 92
[그림 34] 방향 정렬 및 메시 생성 결과: (a) 기본 포인트 법선; (b) 방향 정렬 전의 메시; (c) 방향 정렬 수정 후 포인트 법선; (d) 방향 정렬 후 메시 94
[그림 35] 중첩 조건을 충족하는 카메라 정렬 장면 100
[그림 36] 실측 자료 복원에 쓰인 항공 레이저 측량 자료 및 설계 도면 105