표제지
목차
요약 10
ABSTRACT 11
1. 서론 13
2. 관련연구 15
2.1. Time Series Classification 15
2.2. Transformer-based Language Model 16
3. 배경이론 17
3.1. Imaging of time series 17
3.2. Transformer 18
3.3. Self-supervised learning 21
4. 데이터 셋 및 모델 24
4.1. Univariate Time Series dataset 24
4.2. Embedding Method 26
4.3. Pre-training Method 30
4.4. Fine-tuning Method 31
5. 실험 결과 33
5.1. 실험 환경 및 방법 33
5.2. 성능 비교 35
5.3. Ablation Study 36
5.3.1. Pre-training 유/무에 따른 성능 비교 36
5.3.2. 입력 데이터의 scaling에 따른 성능 비교 37
5.3.3. Time window의 embedding 방법에 따른 성능 비교 39
5.3.4. Pooling 방법에 따른 성능 비교 40
5.3.5. CLS 토큰 생성 방식에 따른 성능 비교 41
5.3.6. Attention Map visualization 및 분석 42
5.3.7. 제안 모델의 Robustness 분석 57
6. 결론 및 향후 계획 61
7. 참고문헌 62
표 1. UCR 데이터들의 속성 24
표 2. 실험 환경 33
표 3. 제안하는 모델의 Hyper-parameters 34
표 4. 모델 간의 성능 비교 35
표 5. Pretraining 유/무에 따른 성능 비교 37
표 6. 입력 데이터의 scaling에 따른 성능 비교 39
표 7. Time window Embedding 방식에 따른 성능 비교 40
표 8. Pooling 방법에 따른 성능 비교 41
표 9. CLS token 방식에 따른 성능 비교 42
그림 1. (a)는 gun point 데이터에서 하나의 데이터를 plotting한 결과. (b)는 (a)의 데이터를 Recurrence plot을 이용하여 이미지화한 결과. 17
그림 2. (a)는 gun point 데이터에서 하나의 데이터를 plotting한 결과. (b)는 GASF 수식을 이용한 결과. (c) GADF 수식을 이용한 결과. 18
그림 3. Transformer 모델 구조 19
그림 4. Positional encoding 값의 Euclidean distance map 20
그림 5. Self-Attention Mechanism 21
그림 6. Pretext task 22
그림 7. Contrastive learning 22
그림 8. Time window 계산 방식 27
그림 9. Time window Embedding 27
그림 10. Layer Normalization에 따른 입력 데이터 분포 29
그림 11. Pre-training 모델 30
그림 12. Fine-tuning 모델 31
그림 13. 평균 Ranking 비교 36
그림 14. Scaler에 따른 데이터 변환 38
그림 15. CLS 토큰 사용 안했을 시 layer1(데이터1) 44
그림 16. CLS 토큰 사용 안했을 시 layer2(데이터1) 45
그림 17. CLS 토큰 MLP로 사용 layer1(데이터1) 46
그림 18. CLS 토큰 MLP로 사용 layer2(데이터1) 47
그림 19. CLS 토큰 Random으로 사용 layer1(데이터1) 48
그림 20. CLS 토큰 Random으로 사용 layer2(데이터1) 49
그림 21. CLS 토큰 Random으로 사용 layer1(데이터2) 50
그림 22. CLS 토큰 Random으로 사용 layer2(데이터2) 51
그림 23. 그림 15-22까지의 attention을 실제 데이터에 강조 표시한 결과 52
그림 24. CLS 토큰 ResNet으로 사용 layer1(데이터1) 54
그림 25. CLS 토큰 ResNet으로 사용 layer2(데이터1) 55
그림 26. Head별 CLS→CLS, Others→CLS Attention의 평균값 56
그림 27. DiatomSizeReduction 데이터 57
그림 28. LargeKitchenAppliances 데이터 58
그림 29. Cricket_Y 데이터 59
그림 30. InsectWingbeatSound 데이터 59