표제지

제출문

요약문

SUMMARY

CONTENTS

목차

제1장 서론 22

제1절 연구개발 개요 22

1. 개요 22

2. 연구개발 시제품 개요 24

제2절 연구개발의 필요성 27

1. 기술적 측면 27

2. 경제·산업적 측면 27

3. 군사적 측면 29

제3절 연구개발의 목표 및 내용 30

1. 연구개발의 최종목표 30

2. 연차별 연구개발 목표 및 내용 30

제2장 국내외 기술개발 현황 32

제1절 실시간 3차원 가상물체합성 기술 현황 32

1. 외국의 경우 33

2. 국내의 경우 44

3. 국내·외 지식재산권 현황 49

제2절 내장훈련시뮬레이터 기술 관련 현황 56

1. 외국의 경우 56

2. 국내의 경우 59

제3장 연구개발 수행 내용 및 결과 60

제1절 실시간 3차원 가상물체합성 기술 개발 60

1. 연구개발 목표 및 내용 60

2. Local Positioning 추적 기술 61

3. Global Positioning 추적 기술 92

4. 실감형 3차원 렌더링 기술 개발 116

5. 지형 3D 모델을 이용한 가상 물체의 합성 기술 개발 135

6. 실시간 가상물체 합성 시스템 개발 148

7. 실사/CG 합성을 위한 실시간 윤곽선 보정 및 거리 키잉 기술 개발 152

8. 실시간 3차원 안정화 및 거리영상 복원 기술 개발 196

제2절 내장훈련장치 운용개념 설계 및 훈련시나리오 개발 233

1. 개요 233

2. 전차/장갑차 내장훈련장치 기반기술 연구 235

3. 전차/장갑차 내장훈련장치 운용개념 연구 254

4. 전차/장갑차 내장훈련장치용 모델 설계 262

5. 증강현실 기술을 활용한 내장훈련장치 적용 무기체계 분석 264

6. 내장훈련장치 훈련시나리오 개발 271

7. 내장 훈련 모의 S/W 개발 290

제3절 민수용 실용화 시제품 개발 308

1. 개요 308

2. 방송용 실시간 3D 가상광고 시스템 H/W 개발 319

3. 방송용 실시간 3D 가상광고 시스템 S/W 개발 335

4. 가상광고 시스템 홍보자료 제작 354

제4절 군수용 축소 시제품 개발 358

1. 개요 358

2. 내장훈련 축소 시제품 개발 (1차 시제) 363

3. 내장훈련 축소 시제품 개발 (2차) 367

4. 가상사격훈련 시스템 개발 392

제4장 목표달성도 및 관련분야에의 기여도 395

제1절 목표달성도 395

제2절 연구개발 성과 396

1. 연구개발 성과 396

2. 기타연구 결과물 401

3. 시작품 성능시험 평가내용 403

제5장 연구개발결과의 활용계획 404

제1절 군수 실용화 방안 404

1. 군수 적응성 404

2. 군수 시장 규모 407

제2절 민수 실용화 방안 408

1. 시장 규모 408

2. 시장 현황 409

제6장 참고문헌 415

표 1.2.2.1. 국내외 디지털콘텐츠 시장 규모 및 성장 추이 28

표 3.1.2.1. SPU MEMORY MAP I/O 77

표 3.1.2.2. SDR MEMORY MAP I/O 79

표 3.1.4.1. Direct3D와 OpenGL 비교 119

표 3.1.4.2. X.Fi1e 자료구조[3.1.4.1] 122

표 3.1.7.1. 거리영상 획득 및 가려짐 영역의 분할 시간 (sec) 168

표 3.1.7.2. 스테레오 카메라의 사양 183

표 3.4.3.1. VBS2 모듈구성 및 상세기능 382

표 3.4.3.2. VBS2기반 시나리오(1) 383

표 3.4.3.3. VBS2기반 시나리오(2) 384

표 3.4.3.4. VBS2기반 시나리오(3) 385

표 3.4.3.5. VBS2기반 시나리오(4) 386

표 3.4.3.6. VBS2기반 시나리오(5) 387

그림 1.1.1.1. 증강현실 응용분야 22

그림 1.1.2.1. 내장훈련장치 개념도 24

그림 1.1.2.2. 내장형 훈련 장치 축소 시제품 구성 개념도 25

그림 1.1.2.3. 에이알비전에서 개발한 SD급 가상 광고 시스템의 실행 예 26

그림 1.2.3.1. 전장의 요인들 29

그림 2.1.1.1. Ultimatte: 블루스크린 매팅 솔루션 38

그림 2.1.1.2. Defocus 매팅 [2.1.1.4]. 39

그림 2.1.1.3. (왼쪽부터) 다시점 영상, 분산영상, 트라이 맵, 알파맷 [2.1.1.5]. 39

그림 2.1.1.4. 번들 최적화: 실사영상(위), 거리영상(왼쪽), 복원된 거리영상 (오른쪽) [2.1.1.12]. 40

그림 2.1.1.5. 고해상도의 실사영상을 활용한 저해상도 거리영상의 복원 [2.1.1.13]. 41

그림 2.1.1.6. D. Hoiem의 방법: 입력영상, Superpixels, Grouping, Geometric Labels (왼쪽부터) [2.1.1.15]. 41

그림 2.1.1.7. A. Saxena 등의 방법: (왼쪽부터)입력영상, Laser, Stereo, Mono, Stereo+Mono [2.1.1.16]. 42

그림 2.1.1.8. 단일 카메라 기반 SLAM 기술인 PTAM [2.1.1.17]. 42

그림 2.1.1.9. 스테레오 카메라를 이용한 Localization 및 mapping [2.1.1.19]. 43

그림 2.1.1.10. 스테레오 카메라와 ICP를 이용한 모션추정 [2.1.1.20]. 43

그림 2.1.2.1. 시간일관성을 고려한 실사 비디오 매팅기법 [2.1.2.2]. 47

그림 2.1.2.2. 초음파 센서와 함께 스테레오 비전센서를 활용한 SLAM [2.1.2.9]. 48

그림 2.1.2.3. 스테레오 센서와 레이저 센서를 융합한 거리정보 획득 [2.1.2.10]. 48

그림 3.1.2.1. LP 추적기술 개념도 61

그림 3.1.2.2. 카메라 센서시스템 구성도 63

그림 3.1.2.3. Quadrature Decoder PLD 회로 1 67

그림 3.1.2.4. Quadrature Decoder PLD 회로 2 68

그림 3.1.2.5. Quadrature Decoder PLD 회로 3 69

그림 3.1.2.6. Zoom, Focus용 인코더 및 브라켓 1 72

그림 3.1.2.7. Zoom, Focus용 인코더 및 브라켓 2 73

그림 3.1.2.8. Zoom, Focus용 인코더 및 브라켓 3 73

그림 3.1.2.9. Pan, Tilt 용 인코더 및 브라켓 설계도 1 74

그림 3.1.2.10. Pan, Tilt 용 인코더 및 브라켓 설계도 2 74

그림 3.1.2.11. Pan, Tilt 용 인코더 및 브라켓 설계도 3 75

그림 3.1.2.12. Pan, Tilt 용 인코더 및 브라켓 설계도 4 75

그림 3.1.2.13. Pan/Tilt 센서 형상 76

그림 3.1.2.14. SPU 내.외부 형상 78

그림 3.1.2.15. SDR 내.외부 형상 80

그림 3.1.2.16. 파노라마영상 처리과정 81

그림 3.1.2.17. 전역영상 처리과정 81

그림 3.1.2.18. 특징점의 특성 및 검출 결과 예 82

그림 3.1.2.19. 일치점 검출 과정 82

그림 3.1.2.20. 사영변환기술 개념도 83

그림 3.1.2.21. 실린더파노라마기술 개념도 83

그림 3.1.2.22. 파노라마 영상 생성 결과(예) 84

그림 3.1.2.23. 밝기보정 처리 전.후 영상 84

그림 3.1.2.24. Optical Flow 기반 추적기술 85

그림 3.1.2.25. Sub-Pixel 처리 결과 85

그림 3.1.2.26. 극좌표계 변환 개념 86

그림 3.1.2.27. 실린더 모델기반 추적 86

그림 3.1.2.28. 실린더 모델기반 추적 실험결과 87

그림 3.1.2.29. 실시간 GP/LP 에러 최소화를 위한 영상 추적 실험 88

그림 3.1.2.30. LP추적을 이용한 포열 방향 추정 개념 89

그림 3.1.2.31. 포열의 방향 계산 89

그림 3.1.2.32. GP, LP 에러 최소화 기술을 적용한 정합 실험(1) 90

그림 3.1.2.33. GP, LP 에러 최소화 기술을 적용한 정합 실험(2) 90

그림 3.1.2.34. GP, LP 에러 최소화 기술을 적용한 정합 실험(3) 91

그림 3.1.3.1. GP 추적기술 개념도 92

그림 3.1.3.2. GPS/INS센서 시스템 시작품 구성도 93

그림 3.1.3.3. Murata사의 ENV-05F 자이로 사양 95

그림 3.1.3.4. AD사의 ADXL 105A 가속도계 사양 95

그림 3.1.3.5. 신호처리 컴퓨터의 블록 다이아그램 96

그림 3.1.3.6. 자이로 가속도계 센서뭉치 조립도 98

그림 3.1.3.7. 회로도면(CPU 보드) 99

그림 3.1.3.8. 회로도(센서 신호 획득부) 100

그림 3.1.3.9. 회로도(센서보드) 101

그림 3.1.3.10. 프로세서 보드 102

그림 3.1.3.11. 신호처리보드 102

그림 3.1.3.12. 센서뭉치 조립체 103

그림 3.1.3.13. 하우징 및 각 부분품 103

그림 3.1.3.14. GPS/INS센서 시험용 치구 104

그림 3.1.3.15. DGPS를 이용한 위치확인시험(정지시험) 105

그림 3.1.3.16. GPS/INS센서를 이용한 차량 탑재시험 107

그림 3.1.3.17. GPS 개념도 109

그림 3.1.3.18. 센서신호 획득 및 전처리 과정 110

그림 3.1.3.19. 보정항법 알고리즘 구조 113

그림 3.1.4.1. Image Based Lighting (IBL) 116

그림 3.1.4.2. 렌더링 파이프라인 117

그림 3.1.4.3. 렌더링 엔진 구조 120

그림 3.1.4.4. CPU / GPU간의 역할 122

그림 3.1.4.5. Cg의 기술 원천 123

그림 3.1.4.6. 멀티 샘플링을 통한 렌더링 품질 향상 124

그림 3.1.4.7. IBL 적용 이미지 비교 127

그림 3.1.4.8. 노출시간에 따른 영상획득 샘플 127

그림 3.1.4.9. HDR(High Dynamic Range) 래디언스 맵을 생성 결과 영상 128

그림 3.1.4.10. 조명정보 복원 128

그림 3.1.4.11. 환경맵을 이용한 조명정보 추축 결과 129

그림 3.1.4.12. HDR 래디언스 맵을 이용한 렌더링 과정 130

그림 3.1.4.13. HDR 래디언스 맵을 이용한 렌더링 결과 131

그림 3.1.4.14. 미러볼을 이용한 렌더링 결과 영상 132

그림 3.1.4.15. 쉐이더를 이용하여 그림자 처리 렌더링 결과 영상 132

그림 3.1.4.16. HDRI Lighting 및 에지 보정을 이용하여 Rendering된 결과 영상 133

그림 3.1.4.17. 조명렌더링을 적용한 축소시제품 영상 134

그림 3.1.5.1. 시험장(EXPO과학공원) 3D 모델 개발 143

그림 3.1.5.2. 시험용 파노라마 영상제작 결과 143

그림 3.1.5.3. 수치지형도 등고선 제작 144

그림 3.1.5.4. 5m 급 DTED 데이터를 생성 144

그림 3.1.5.5. 3D 지형 정합 과정 145

그림 3.1.5.6. 실시간 3D 지형렌더링 결과 145

그림 3.1.5.7. 훈련장 3D 렌더링 모듈 146

그림 3.1.5.8. 3D 지형 정합을 위한 좌표 기준 시스템 146

그림 3.1.5.9. 훈련 시나리오에 따른 시나리오 생성 147

그림 3.1.5.10. 실시간 훈련 시나리오 렌더링 결과영상 147

그림 3.1.6.1. AR영상생성시스템 개념도 148

그림 3.1.6.2. AR영상생성시스템 H/W 149

그림 3.1.6.3. AR영상생성 시스템 S/W 구성도 150

그림 3.1.6.4. AR영상 생성 모듈 기능 흐름도 151

그림 3.1.7.1. 3차원 점에 대한 스테레오 영상의 일치점 152

그림 3.1.7.2. 템플릿 정합의 원리 153

그림 3.1.7.3. 좌, 우 영상의 템플릿 비교 영역 154

그림 3.1.7.4. 템플릿의 중심 좌표 154

그림 3.1.7.5. 스테레오 정류화 155

그림 3.1.7.6. 계층적 거리 분할을 위한 스테레오 비전 시스템 155

그림 3.1.7.7. 6개의 스테레오 카메라로부터 획득한 거리영상의 재합성 순서 156

그림 3.1.7.8. 두 거리영상을 정합하기위한 반복적 IPP 방법 156

그림 3.1.7.9. 실물체에 대한 거리영상의 획득 157

그림 3.1.7.10. 신뢰도 및 거리영상을 이용한 계층적 거리영상 분할 157

그림 3.1.7.11. 거리영상을 활용한 실사/CG 합성 개념도 158

그림 3.1.7.12. 간단한 그래픽스 파이프 라인의 예 159

그림 3.1.7.13. OpenGL의 멀티샘플링(multi-sampling) 159

그림 3.1.7.14. 그래픽스 렌더링 파이프라인을 활용한 3차원 객체의 α 영상 160

그림 3.1.7.15. 그래픽스 파이프라인을 통해 획득된 3차원 객체의 래스터화 영상 160

그림 3.1.7.16. 실사영상과 3차원 객체의 합성 (첫째행, 왼쪽부터) 입력된 실사영상, 실사영상에 대한 α영상, 래스터화 된 3차원 CG객체, CG객체의 α영상, (둘째행) 실사와 CG객체가 합성된 영상 161

그림 3.1.7.17. 거리 영상의 고속 획득을 위한 특징/비특징 기반 스테레오 정합 162

그림 3.1.7.18. 스테레오 영상의 유일성 검사 163

그림 3.1.7.19. 비특징영역의 스테레오 정합에 기반한 거리영상 획득 164

그림 3.1.7.20. 거리영상과 가려진 영역의 추출. 좌로부터 좌영상 및 우영상, 거리영상 및 가려진 영역 164

그림 3.1.7.21. 가우시안 피라미드를 이용한 스테레오 정합 165

그림 3.1.7.22. 윤곽선 영역의 거리정보의 정의 166

그림 3.1.7.23. 가우시안 피라미드와 정합비용 합성을 이용한 거리영상 획득 167

그림 3.1.7.24. 실외물체의 계층적 거리영상 분할 (a) 물체거리 약 0.3~2km (b) 물체거리 약 0.4~2km (a) 물체거리 약 0.1~0.5km 169

그림 3.1.7.25. 연속 영상에서의 이동물체의 추출 170

그림 3.1.7.26. 이동물체가 있는 연속 스테레오 영상에서 연속 거리영상의 획득 171

그림 3.1.7.27. 연속영상의 첫 번째 영상에서 배경과 이동물체의 거리영상 171

그림 3.1.7.28. 연속 영상의 거리영상 획득 실험 결과 (두번째 프레임) 172

그림 3.1.7.29. 연속 영상의 거리영상 획득 실험 결과 (네번째 프레임) 172

그림 3.1.7.30. (왼쪽부터) 입력영상 C, 전경영역 F, 배경영역 B, 합성계수 α, 및 트라이맵 173

그림 3.1.7.31. 트라이맵을 사용한 기존의 매팅방법(베이시안 방법) 174

그림 3.1.7.32. 특징벡터 기반의 매팅 방법 175

그림 3.1.7.33. 다양한 방향에서의 전경색 F (또는 배경색 B) 추정 176

그림 3.1.7.34. 추정오차 누적에 따른 부정확한 α영상의 생성 176

그림 3.1.7.35. 영상의 밝기 경사도 (gradient)에 의한 추정방향 177

그림 3.1.7.36. 영상의 밝기 경사도를 활용한 α영상의 개선 177

그림 3.1.7.37. 계층구조 및 특징벡터집합을 활용한 언노운(unknown)영역의 축소 178

그림 3.1.7.38. 특징벡터 기반의 실사영상 매팅 기법 및 광역 포아송방법의 비교 178

그림 3.1.7.39. 특징벡터 집합의 재사용을 통한 실사영상 매팅 179

그림 3.1.7.40. 실사영상, 계층적 거리영상에서 획득한 신뢰도 영상, 트라이맵 (검은색: 배경, 흰색: 전경, 회색: 대상영역) 179

그림 3.1.7.41. 계층적 거리영상에서 획득한 신뢰도 영상과 이를 활용하여 얻은 α영상 및 푸른색배경에 합성된 전경영상 180

그림 3.1.7.42. 웨이블릿 분해(Wavelet decomposition) 및 IHS 색상 변환 180

그림 3.1.7.43. 웨이블릿 및 IHS변환을 통한 트라이맵 정련(refine) 181

그림 3.1.7.44. 가려짐분석을 통한 실사/CG의 합성, (왼쪽부터) 트라이맵, 3차원 객체의 합성계수, 합성을 위해 요구되는 값 182

그림 3.1.7.45. 고정된 스테레오 카메라에서의 거리영상획득 184

그림 3.1.7.46. 배경 및 전경 픽셀의 판정 185

그림 3.1.7.47. Bidirectional 스테레오 정합 187

그림 3.1.7.48. Bidirectional 스테레오 정합법을 이용한 야외환경의 거리영상 획득 188

그림 3.1.7.49. KLT 추적기를 사용한 연속 영상의 특징 추적 189

그림 3.1.7.50. 이동하는 스테레오 카메라로 획득한 연속 거리 영상. 위에서 아래로 원영상, 정류화된 영상, 그리고 거리영상 190

그림 3.1.7.51. 계층적거리영상을 활용한 실사영상매팅 191

그림 3.1.7.52. 영상의 색상 양자화 (왼쪽) 입력영상, (오른쪽) 양자화영상 191

그림 3.1.7.53. 거리영상을 활용한 트라이맵 생성 192

그림 3.1.7.54. 생성된 트라이맵의 예, 전경은 흰색, 배경은 검은색, 불확실한 영역에 대해서는 회색으로 표현됨 192

그림 3.1.7.55. 실사영상 매팅을 통해 획득한 α 영상(두번째), 분리된 전경(세번째) 193

그림 3.1.7.56. 왼쪽열부터 입력영상, 트라이맵, 전경 추출 결과 193

그림 3.1.7.57. 원거리 건물영상에 대한 실사영상 매팅 결과 (위로부터) 입력영상, 거리영상, 복원된 거리영상, 전경물체 194

그림 3.1.7.58. 원거리 실사영상과 3차원 객체의 합성 195

그림 3.1.8.1. 범블비2에서 획득된 좌, 우영상 및 거리영상 196

그림 3.1.8.2. 스테레오 비전 시스템의 매칭 실패 - 가려짐 197

그림 3.1.8.3. 스테레오 비전 시스템의 매칭 실패 - 두드러진 텍스처 부족 197

그림 3.1.8.4. 입력영상 및 텍스처의 특징서술자를 생성하기 위한 Cb, Cr 채널 198

그림 3.1.8.5. Laws의 필터를 적용한 입력영상 (전체 14종류) 198

그림 3.1.8.6. 저해상도 영상에서 획득한 x3 스케일의 필터 적용 결과 198

그림 3.1.8.7. 텍스처의 특징을 서술하는 특징벡터 199

그림 3.1.8.8. 텍스처 특징벡터를 활용한 실사영상 분석 199

그림 3.1.8.9. 실사영상의 영상 유사도를 활용한 거리영상 복원 200

그림 3.1.8.10. STH-DSCG-VARX 스테레오 비전 시스템 및 획득된 거리 영상 200

그림 3.1.8.11. 입력영상 30fps, GPU구현 결과 8fps 201

그림 3.1.8.12. 보정판을 활용한 카메라 보정 202

그림 3.1.8.13. 보정 후 스테레오 카메라로부터 획득한 시차영상(우) 202

그림 3.1.8.14. 흡착판을 사용하여 스테레오 카메라를 차량후방에 고정한 모습 203

그림 3.1.8.15. 이동식 배터리를 사용하여 카메라 및 랩탑PC에 전원 공급 203

그림 3.1.8.16. 좌영상 및 시차영상 (시차 Red〉 Green > Blue) 204

그림 3.1.8.17. 스테레오 영상 획득 시스템 제작 205

그림 3.1.8.18. GPU 연산을 통한 DAISY Descriptor 획득 206

그림 3.1.8.19. DAISY를 활용한 스테레오 정합 알고리즘 206

그림 3.1.8.20. 영상 정류화를 위한 스테레오 카메라 보정 207

그림 3.1.8.21. 스테레오 정합알고리즘의 GPU구현 207

그림 3.1.8.22. GPU DAISY를 사용한 스테레오정합 결과 208

그림 3.1.8.23. 1차원 DP를 활용한 최적화 208

그림 3.1.8.24. 다중 방향선 정합 최적화 방법 209

그림 3.1.8.25. 다중 방향선 정합의 GPU구현: 영상을 중첩된 지역 윈도우로 분할 210

그림 3.1.8.26. 다중방향선 정합의 GPU구현: 거리영상의 3차원 가시화 210

그림 3.1.8.27. 특징점에 대한 거리정보의 실시간 획득 211

그림 3.1.8.28. 다중방향선 정합을 이용한 특징점 대응관계 212

그림 3.1.8.29. 획득된 특징점의 3차원 위치에 대한 가시화 (top view) 212

그림 3.1.8.30. 실시간으로 획득된 특징점 거리의 3차원 가시화 212

그림 3.1.8.31. 3차원 가상물체 합성 안정화 기술 접근법 214

그림 3.1.8.32. KLT 추적기를 이용한 특징점 추적 214

그림 3.1.8.33. 쌍방유일성 제약을 이용한 템플릿 매칭 216

그림 3.1.8.34. KLT 추적기와 CRVL 추적기의 속도 비교 216

그림 3.1.8.35. 파티클 필터링 과정 217

그림 3.1.8.36. pinhole projection을 이용한 관측 모델 218

그림 3.1.8.37. 자세오차가 크기에 따른 파티클 분포 비교 219

그림 3.1.8.38. 투영점의 예측과 관측 값 차이를 이용한 가중치 가중치 계산 219

그림 3.1.8.39. 보정판을 사용한 월드 축과 초기 카메라 위치 설정 220

그림 3.1.8.40. 보정판을 사용한 초기 자세 추정 결과 221

그림 3.1.8.41. 3차원 scene point 생성 221

그림 3.1.8.42. 데모 프로그램의 GUI. (좌) - 3차원 뷰어 (우) - 2차원 뷰어 222

그림 3.1.8.43. scene point 등록 및 카메라 자세 추정 결과 223

그림 3.1.8.44. 실사와 CG합성 방법 223

그림 3.1.8.45. 다중 스레드를 이용한 3차원 합성 안정화 시스템 224

그림 3.1.8.46. 실사와 CG를 합성한 결과 224

그림 3.1.8.47. 다중 마스크를 이용한 특징점 추출 기술 225

그림 3.1.8.48. 에피폴라 기하 제약 226

그림 3.1.8.49. E행렬로 복원한 4가지 카메라 모션 관계 228

그림 3.1.8.50. 타임슬롯 슬라이딩을 이용한 k값 필터링 229

그림 3.1.8.51. RV차량에 설치된 스테레오 비전 시스템 230

그림 3.1.8.52. 쌍방유일 제약과 에피폴라 제약 기반 RANSAC을 이용한 특징점 매칭 결과 231

그림 3.1.8.53. 비전 센서와 항법 센서의 모션 추정 결과 (a) Pitch 각 비교 (b) head 각 비교 (c) roll 각 비교 (d) 이동 벡터의 크기 비교 232

그림 3.2.1.1. 내장훈련장치 운용개념 설계 및 훈련시나리오 개발 234

그림 3.2.2.1. 시뮬레이터 기술 발전 동향 235

그림 3.2.2.2. 영상 발생 장치 236

그림 3.2.2.3. 영상표시 장치 236

그림 3.2.2.4. 조종 장치 / 환경 237

그림 3.2.2.5. 구동 장치 237

그림 3.2.2.6. 전자전 시뮬레이터 238

그림 3.2.2.7. 전자전 시뮬레이터 238

그림 3.2.2.8. 팀 전술 훈련 시뮬레이터 239

그림 3.2.2.9. 소형화기 시뮬레이터 239

그림 3.2.2.10. 내장훈련장치 기술 발전 동향 240

그림 3.2.2.11. M1A2SEP 전차의 내장훈련장치 241

그림 3.2.2.12. M1A2 전차 내장훈련장치 기술 개발 동향 241

그림 3.2.2.13. M3A3 장갑차 내장훈련장치 기술 개발 동향 242

그림 3.2.2.14. M3A3 장갑차 내장훈련장치 구성도 242

그림 3.2.2.15. 병사용 내장훈련장치 243

그림 3.2.2.16. K2 전차 내장훈련장치 243

그림 3.2.2.17. K21 장갑차 내장훈련장치 244

그림 3.2.2.18. K2전차 내장훈련장치 H/W 구성도 245

그림 3.2.2.19. K2전차 내장훈련장치 신호 흐름도 245

그림 3.2.2.20. K2전차 내장훈련장치 S/W 구성도 246

그림 3.2.2.21. 지형데이터베이스 250

그림 3.2.2.22. 지형데이터베이스 250

그림 3.2.2.23. 시간대별 효과 252

그림 3.2.2.24. 애니메이션 효과 253

그림 3.2.2.25. 열상 영상 처리 253

그림 3.2.3.1. AR 적용 내장훈련장치 H/W 요구조건 254

그림 3.2.3.2. CPU 요구조건 255

그림 3.2.3.3. VGA 요구조건 255

그림 3.2.3.4. VGA 요구조건 256

그림 3.2.3.5. AR 적용 내장훈련장치 S/W 요구조건 257

그림 3.2.3.6. 실시간 시점 추적 258

그림 3.2.3.7. 영상 표현 요구사항 259

그림 3.2.4.1. 차체 동특성 262

그림 3.2.4.2. 포/포탑 동특성 262

그림 3.2.4.3. 탄도/유도무기 동특성 263

그림 3.2.5.1. 비호 자주 대공포 265

그림 3.2.5.2. 차기 자주 대공포 266

그림 3.2.5.3. 차기 차륜형 장갑차 267

그림 3.2.5.4. 신궁 대공 유도 미사일 268

그림 3.2.5.5. K1A1 대전차 269

그림 3.2.5.6. K2 전차 및 K21 장갑차 270

그림 3.2.7.1. 시나리오 작성기 S/W 구성도 290

그림 3.2.7.2. 시나리오 작성기 메뉴 구성 290

그림 3.2.7.3. 맵 포맷 변환 모듈 291

그림 3.2.7.4. 맵 포맷 변환 모듈 클래스 다이어그램 291

그림 3.2.7.5. 맵 로딩 모듈 클래스다이어그램 292

그림 3.2.7.6. 기본 군대 부호 292

그림 3.2.7.7. 기본 군대 부호 293

그림 3.2.7.8. 장애물 293

그림 3.2.7.9. 훈련장 DB 298

그림 3.2.7.10. 훈련장 DB 뷰 299

그림 3.2.7.11. 3D 오브젝트 299

그림 3.2.7.12. 오브젝트 DB 속성 300

그림 3.2.7.13. 클래스 다이어그램(교관운용) 302

그림 3.2.7.14. 운용절차(교관운용) 302

그림 3.2.7.15. 교관운용프로그램 303

그림 3.2.7.16. 시나리오 선택 화면 304

그림 3.2.7.17. 시나리오 선택후 전시 305

그림 3.2.7.18. 교육생 선택 화면 305

그림 3.2.7.19. 훈련종료후 평가 화면 306

그림 3.2.7.20. 실체계 신호 전달 방식 307

그림 3.2.7.21. 축소 시제 신호 전달 방식 307

그림 3.3.1.1. 사이버스포츠 : 경기 부가정보 표시 활용 예 308

그림 3.3.1.2. 가상광고 표현 유형 309

그림 3.3.1.3. 에이알비전(주)에서 개발한 가상광고 시스템의 실행 예 310

그림 3.3.2.1. 실용화 시제품 개요 319

그림 3.3.2.2. 가상 광고 시스템 시제품 개념도 320

그림 3.3.2.3. 가상 광고 시스템 구성 개념도 320

그림 3.3.2.4. 3D 가상광고시스템 시스템 구성도 321

그림 3.3.2.5. 가상광고 중계 시스템 구성도 322

그림 3.3.2.6. PTZ 시스템 응용분야 326

그림 3.3.2.7. 일반적인 PTZ 시스템구성 327

그림 3.3.2.8. Camera PTZ 시스템 구성도 327

그림 3.3.2.9. PTZ 시스템 외형 디자인 328

그림 3.3.2.10. PTZ 시스템 기구 설계 3D 이미지 328

그림 3.3.2.11. PTZ 시스템 기구 설계 도면(1) 329

그림 3.3.2.12. PTZ 시스템 기구 설계 도면(2) 329

그림 3.3.2.13. PTZ 시스템 Controller 구성도 330

그림 3.3.2.14. Camera PTZ System 제작 결과물 331

그림 3.3.2.15. PTZ 시스템 시험 영상 331

그림 3.3.2.16. 가상광고 중계 시스템 인터페이스 구성도 332

그림 3.3.2.17. 가상광고 시스템 카메라 인터페이스 구성도 333

그림 3.3.2.18. 가상광고 시스템 시제품 결과물(1차 프로토타입) 334

그림 3.3.2.19. 가상광고 시스템 시제품 결과물(최종시제품) 334

그림 3.3.3.1. 실시간 HD 실사/CG 합성 엔진 흐름도 335

그림 3.3.3.2. CPU처리를 위한 비동기 구조 337

그림 3.3.3.3. 입력 영상 처리 구조 339

그림 3.3.3.4. 영상합성 흐름도 340

그림 3.3.3.5. 입력영상과 센서신호 동기화 구조 341

그림 3.3.3.6. 키어(Keyer) 개념 342

그림 3.3.3.7. Keyer 전경(foreground) 이미지(Key색상은 blue) 343

그림 3.3.3.8. Keyer 배경(background)이미지 343

그림 3.3.3.9. Keyer 출력 이미지 344

그림 3.3.3.10. HD Keyer 처리 프로세스 344

그림 3.3.3.11. UV 평면에서 키 색상 345

그림 3.3.3.12. Keyer에서의 색상 영역 346

그림 3.3.3.13. 루마값, 크로마값 영역 346

그림 3.3.3.14. 실시간 HD 실사/CG 합성 엔진 347

그림 3.3.3.15. 가상광고 송출/제어 모듈구성도 348

그림 3.3.3.16. 가상광고 송출리포팅 시스템 구성도 349

그림 3.3.3.17. 가상광고 운용S/W 개념 350

그림 3.3.3.18. 가상광고 운용 S/W 구성도 351

그림 3.3.3.19. 가상광고 편집모드 운용 S/W GUI 352

그림 3.3.3.20. 가상광고 Standby모드 운용 S/W GUI 352

그림 3.3.3.21. 그림 3.3.3.18 가상광고 운용화면 353

그림 3.3.4.1. AR-CAST*HD 브로슈어 354

그림 3.3.4.2. AR-Tracker HD 브로슈어 355

그림 3.3.4.3. 제품 전시회 판넬 356

그림 3.3.4.4. 가상광고시스템 홍보 동영상 제작 결과 이미지 356

그림 3.3.4.5. 한국전자전(KES2009) 전시회 357

그림 3.4.1.1. 내장훈련장치 개념도 358

그림 3.4.1.2. Global Positioning 추적 기술 개념 359

그림 3.4.1.3. 카메라 위치/자세 계산을 위한 기준 시스템 360

그림 3.4.1.4. CG/실사 정합기술 개념 361

그림 3.4.2.1. 내장훈련 축소 시제품 개념 363

그림 3.4.2.2. 내장훈련 축소 시제품 구성도(1차 시제) 364

그림 3.4.2.3. 내장훈련 축소 시제품 개념도(1차 시제) 364

그림 3.4.2.4. 시나리오 생성 기능 365

그림 3.4.2.5. 실시간 시나리오 렌더링 기능 365

그림 3.4.2.6. 내장훈련 축소 시제품(1차시제) 결과물 366

그림 3.4.2.7. 내장훈련 축소 시제품 시험 366

그림 3.4.3.1. 내장형 훈련 장치 축소 시제품 구성 개념도 367

그림 3.4.3.2. 내장훈련 축소 시제품 구성도 368

그림 3.4.3.3. 그림 447 RV차량 탑재 내장훈련장치 장착 개념도 369

그림 3.4.3.4. 조준경 구동부 및 장착치구 370

그림 3.4.3.5. 차량내 시나리오 전시기와 AR 전시기 거치대 370

그림 3.4.3.6. 축소 시제품 시험 사진 371

그림 3.4.3.7. 축소시제품 운용화면 371

그림 3.4.3.8. 축소 시제품 모듈 구성도 372

그림 3.4.3.9. 센서정보 획득 및 데이터 퓨전처리 373

그림 3.4.3.10. 실사와 3D 오브젝트 정합 374

그림 3.4.3.11. 카메라 위치/자세 보정 375

그림 3.4.3.12. 카메라 위치/자세 정합에러 376

그림 3.4.3.13. Optical flow 처리 영상(예) 376

그림 3.4.3.14. 비전을 통한 카메라 자세 3차원 안정화 기술 377

그림 3.4.3.15. Particle 효과를 적용한 3D 렌더링 결과영상 378

그림 3.4.3.16. 훈련시나리오 생성 및 전장가시화 처리 절차 379

그림 3.4.3.17. VBS2기반 전술훈련 시나리오 가시화 예 379

그림 3.4.3.18. Virtual Battlespace 2 개념 380

그림 3.4.3.19. VBS주요 기능 화면 381

그림 3.4.3.20. 벤처국방마트 2010 전시 388

그림 3.4.4.1. 가상사격훈련 시스템 개념 392

그림 3.4.4.2. 가상사격훈련 시스템 실행화면 393

그림 5.1.1.1. 내장훈련장치 적용 현황 404

I. 제목

실시간 3차원 가상 물체 합성 기술 개발

II. 연구개발의 목적 및 필요성

GPS/INS 정보와 증강 현실 기술을 활용하여 실 3차원 환경 하에서 임의의 가상 물체의 실시간 합성을 위한 기술을 개발하여, 군수용 내장훈련 장치 축소 시제 및 민수용 실시간 3D 가상광고시스템 시제를 각각 1 점 제작하는 과제이다.

본 연구에서는 GPS/INS 정보와 증강 현실 기술을 활용하여 실 3차원 환경 하에서 임의의 가상 물체의 실시간 합성을 위한 기술을 개발하여, 군수용 내장훈련 장치 축소시제 및 민수용 실시간 3D 가상광고시스템 시제를 개발하였다.

III. 연구개발의 내용 및 범위

○ Local Positioning 추적 기술 개발

○ Global Positioning 추적 기술 개발

○ 실감형 3차원 렌더링 기술

○ 지형 3D 모델을 이용한 가상 물체의 합성 기술 개발

○ 실시간 가상물체 합성 시스템

○ 실사/CG 합성을 휘한 실시간 윤곽선 보정 및 거리 키잉 기술

○ 실시간 3차원 안정화 및 거리 영상 복원 기술

○ 내장훈련장치 운용개념 설계 및 훈련시나리오 개발

○ 민수용 실용화 시제품 개발

○ 군수용 축소 시제품 개발

IV. 연구개발결과

○ Local Positioning 추적 기술 개발

- LP 추적 센서 개발

○ Global Positioning 추적 기술 개발

- GP 추적 센서 개발

○ 실감형 3차원 렌더링 기술

- HDRI생성 기술

- 환경맵 처리 기술

- Light Source 생성 기술

○ 지형 3D 모델을 이용한 가상 물체의 합성 기술 개발

- 위성영상과 고도 정보를 이용한 지형 3D 모델 개발

- 실시간 3D 지형 렌더링

○ 실시간 가상물체 합성 시스템

- 실감적 합성기술

- 렌즈왜곡 고려 합성기술

○ 실사/CG 합성을 휘한 실시간 윤곽선 보정 및 거리 키잉 기술

- 실사 물체의 매칭 기술 및 계층적 거리영상을 이용한 실사/CG 합성

- 계층적 원거리 영상을 이용한 실사/CG 합성

○ 실시간 3차원 안정화 및 거리 영상 복원 기술

- CUDA를 사용한 영상 특징점 추적 기술 구현

- 영상 특징점 추적을 활용한 실사/CG합성의 3차원 안정화 기술

○ 내장훈련장치 운용개념 설계 및 훈련시나리오 개발

- 내장훈련장치 운용 S/W 개발

○ 민수용 실용화 시제품 개발

- 가상광고 송출/제어 모듈 제작

- 가상광고 운용 소프트웨어 개발

○ 군수용 축소 시제품 개발

- RV차량 탑재 내장훈련 장치 프로토타입 제작

V. 연구개발결과의 활용계획

○ 군수용 실용화

- AR 내장훈련장치 적용 무기체계 적용

○ 민수용 실용화

- 생방송에 실시간으로 가상광고 서비스