표제지
목차
논문요약 10
제1장 서론 12
제2장 이론적 배경 14
2.1. 분산학습의 필요성 14
2.2. 관련연구 16
2.2.1) 분산학습 16
2.2.2) 분산처리 기준설정 (Model vs Data) 18
2.2.3) 공유 데이터의 관리 (Centralized vs Decentralized) 20
2.2.4) 공유 주기 설정 (Synchronous vs Asynchronous) 22
2.2.5) Tensorflow 제공하는 분산학습 방법 24
제3장 사전학습모델 26
3.1. 환경구성 26
3.2. 데이터 수집 및 전처리 28
3.3. 분류모델 구성 30
3.4. 분산학습(범용모델) 33
3.5. 분산학습(안전모델) 35
제4장 성능평가 41
4.1. 분산학습 전략별 성능평가 41
4.2. 사전학습 모델별 성능평가 43
제5장 결론 48
5.1. 연구결과 48
5.2. 연구한계 및 향후연구 50
참고문헌 51
ABSTRACT 56
표 1. 노드 구성 정보 26
표 2. 사전학습모델의 학습데이터별 정보 28
표 3. 분류별 데이터 정보 29
표 4. Hyper-Parameter 정보 33
표 5. Cifar-10학습그래프 및 학습시간과 성능 35
표 6. 안전모델의 분산학습 전략별 학습시간과 성능 40
표 7. 분산학습 전략별 학습시간과 분류 성능 41
표 8. 전이학습데이터 정보 44
표 9. 사전학습모델별 학습데이터와 Attention 시각화 45
그림 1. DNN Layer 개수 증가 현황 14
그림 2. 자연어처리 모델의 학습Parameter 개수의 증가 현황 15
그림 3. 비전처리 모델의 학습Parameter 개수의 증가 현황 15
그림 4. 모델 분산처리(왼쪽 1,2), 데이터 분산처리(오른쪽) 18
그림 5. 공유데이터 관리 방식: Centralized(왼쪽), Decentralized(오른쪽) 21
그림 6. Synchronous(왼쪽), Asynchronous(오른쪽) 22
그림 7. GPU+ 설정정보 27
그림 8. gRPC 서버 구동 후 통신 대기 27
그림 9. TPU+ 적용 시 Colab TPU System 정보 27
그림 10. Cifar-10 대표 이미지 29
그림 11. 안전분야 대표 이미지 30
그림 12. ViT Layer 구성 31
그림 13. ImageAugmentation Layer 구성 31
그림 14. 최종 사전학습 모델 구성 32
그림 15. 이미지 Embedding 과정 및 Transformer 구조 32
그림 16. 분산학습 전략별 학습시간 대비 성능 34
그림 17. 분산학습 전략별 학습 소요시간 34
그림 18. 중간 학습된 모델의 학습Parameter 로딩 37
그림 19. 1Epoch Capture 37
그림 20. TFRecord 파일변환 38
그림 21. OFFLINE처리 후 1Epoch Capture 39
그림 22. 학습 시 소요되는 연산종류별 통계 42
그림 23. GPU+ 학습 Trace View 43
그림 24. 전이학습을 위한 사전학습모델 Load(안전모델) 44
그림 25. 분류 Layer를 추가한 전이학습모델(안전모델) 44