표제지
목차
요약 12
Abstract 14
1. 서론 16
2. 연구 배경 23
2.1. 실내측위 23
2.2. Metric Learning 35
3. 관련 연구 42
3.1. 다차원 활성화함수와 Functional Perceptron 42
3.2. Functional Perceptron을 이용한 실내측위 47
3.2.1. Positional Neural Network 47
3.2.2. Positional Neural Network의 학습 알고리즘 55
3.2.3. Positional Neural Network의 성능 검증 59
3.3. Functional Perceptron을 이용한 IRIS 데이터셋 분류 60
3.4. "I'm not sure" 학습 62
4. SimilarNet과 Metric Space Learning 64
4.1. SimilarNet 69
4.2. Weighted SimilarNet 74
4.3. Parametric SimilarNet 75
4.4. Heterogeneous SimilarNet 79
5. SimilarNet의 성능 검증 실험 81
5.1. 실험 방법 81
5.1.1. 실험에 사용한 데이터셋 81
5.1.2. 실험 모델 82
5.1.3. 실험 대상 85
5.1.4. 실험 환경 85
5.1.5. 학습 환경 85
5.1.6. 성능 지표 86
5.2. 실험 결과 87
5.3. Ablation Study 89
5.4. 실험 결과에 대한 고찰 90
6. SimilarNet의 응용 92
6.1. SimilarNet을 이용한 시계열 분류 92
6.2. 이상치 탐지 95
7. 결론과 향후 연구 100
8. 부록 101
8.1. 실험 결과의 원시 데이터 101
8.1.1. MNIST 데이터셋 101
8.1.2. FashionMNIST 데이터셋 107
8.1.3. Omniglot 데이터셋 113
8.1.4. CIFAR-10 데이터셋 119
8.1.5. miniImageNet 데이터셋 125
8.1.6. MNIST:CIFAR 데이터셋 131
8.2. SimilarNet의 Python 구현 137
참고문헌 140
표 1. 수집한 데이터의 명세 29
표 2. 간략화된 Relation network에 대한 실험 결과 41
표 3. 최적화 이전의 공간지문 이미지 사이의 유사도 비교 결과 51
표 4. 최적화 이후의 공간지문 이미지 사이의 유사도 비교 결과 51
표 5. PosNN 기반 측위 시스템의 측위 성능 측정 결과 60
표 6. MNIST를 일부 클래스만 학습시킨 후의 분류 결과 63
표 7. PosNN의 입력에 따른 출력 변화 65
표 8. SimilarNet과 Concatenate 레이어에 대한 실험 결과 88
표 9. 여러 종류의 SimilarNet에 대한 실험 결과 88
표 10. SimilarNet에 대한 Ablation study의 실험 결과 90
표 11. 분류 정확도, 학습 성공률 실험 결과 95
표 12. Metric space learning을 이용한 이상치 탐지 결과 97
표 13. MNIST, SimilarNet 실험 결과 101
표 14. MNIST, Weighted SimilarNet 실험 결과 102
표 15. MNIST, Parametric SimilarNet 실험 결과 103
표 16. MNIST, concatenate 레이어 실험 결과 104
표 17. MNIST, L2 정규화를 제거한 SimilarNet 실험 결과 105
표 18. MNIST, concatenate 레이어+L2 정규화 실험 결과 106
표 19. FashionMNIST, SimilarNet 실험 결과 107
표 20. FashionMNIST, Weighted SimilarNet 실험 결과 108
표 21. FashionMNIST, Parametric SimilarNet 실험 결과 109
표 22. FashionMNIST, concatenate 레이어 실험 결과 110
표 23. FashionMNIST, L2 정규화를 제거한 SimilarNet 실험 결과 111
표 24. FashionMNIST, concatenate 레이어+L2 정규화 실험 결과 112
표 25. Omniglot, SimilarNet 실험 결과 113
표 26. Omniglot, Weighted SimilarNet 실험 결과 114
표 27. Omniglot, Parametric SimilarNet 실험 결과 115
표 28. Omniglot, concatenate 레이어 실험 결과 116
표 29. Omniglot, L2 정규화를 제거한 SimilarNet 실험 결과 117
표 30. Omniglot, concatenate 레이어+L2 정규화 실험 결과 118
표 31. CIFAR-10, SimilarNet 실험 결과 119
표 32. CIFAR-10, Weighted SimilarNet 실험 결과 120
표 33. CIFAR-10, Parametric SimilarNet 실험 결과 121
표 34. CIFAR-10, concatenate 레이어 실험 결과 122
표 35. CIFAR-10, L2 정규화를 제거한 SimilarNet 실험 결과 123
표 36. CIFAR-10, concatenate 레이어+L2 정규화 실험 결과 124
표 37. miniImageNet, SimilarNet 실험 결과 125
표 38. miniImageNet, Weighted SimilarNet 실험 결과 126
표 39. miniImageNet, Parametric SimilarNet 실험 결과 127
표 40. miniImageNet, concatenate 레이어 실험 결과 128
표 41. miniImageNet, L2 정규화를 제거한 SimilarNet 실험 결과 129
표 42. miniImageNet, concatenate 레이어+L2 정규화 실험 결과 130
표 43. MNIST:CIFAR, SimilarNet 실험 결과 131
표 44. MNIST:CIFAR, Weighted SimilarNet 실험 결과 132
표 45. MNIST:CIFAR, Parametric SimilarNet 실험 결과 133
표 46. MNIST:CIFAR, concatenate 레이어 실험 결과 134
표 47. MNIST:CIFAR, L2 정규화를 제거한 SimilarNet 실험 결과 135
표 48. MNIST:CIFAR, concatenate 레이어+L2 정규화 실험 결과 136
그림 1. 수식을 이용한 비교 아키텍처 18
그림 2. Concatenate 레이어를 이용한 비교 아키텍처 19
그림 3. SimilarNet을 이용한 비교 아키텍처 20
그림 4. MNIST를 이용한 페어 데이터셋 20
그림 5. Metric Space Learning 아키텍처를 이용한 분류 과정 21
그림 6. Metric Space Learning 아키텍처를 이용한 실내측위 과정 22
그림 7. 실내와 실외에서 받을 수 있는 신호의 종류와 범위 25
그림 8. 공간에 배치된 전파원에 의해 형성되는 각 지점의 공간지문 예시 26
그림 9. 공간 지문 데이터를 Data Digest를 통해 이미지화하는 과정 28
그림 10. 공간 지문의 이미지화 사례 30
그림 11. 측위 시스템의 공간 지문 수집 어플리케이션 31
그림 12. 동일 지점에서의 스마트폰 사이의 기압차 33
그림 13. 동일한 건물에서 맑을 때(H)와 비가 올 때(L) 측정한 층간 기압 34
그림 14. FloorPair의 1층 기압(Pref) 갱신 과정 34
그림 15. Embeding 벡터가 공간에 배치되는 방식 36
그림 16. Siamese 신경망의 구조 36
그림 17. Contrastive loss의 계산 방식 37
그림 18. Triplet loss를 이용한 학습 방식 38
그림 19. Concatenate 레이어를 이용한 비교 학습 39
그림 20. Relation network 모델의 구조 40
그림 21. 간략화된 relation network 모델의 구조 41
그림 22. 신경세포의 다양한 모양 43
그림 23. XOR 문제를 해결하는 functional perceptron의 구조 44
그림 24. XOR 문제 해결을 위한 functional perceptron의 학습 과정 45
그림 25. 다차원 활성화함수의 학습 과정 46
그림 26. Functional perceptron의 XOR 문제에 대한 학습곡선 47
그림 27. 이미지화된 공간 지문의 픽셀 매핑 방식 48
그림 28. 공간 지문 비교를 위한 파라미터가 정의된 다차원 활성화함수 49
그림 29. 스마트폰을 이용한 공간 지문의 수집 예시 50
그림 30. PosNN 모델의 구조 52
그림 31. PosNN 모델을 이용한 실내측위 시나리오 53
그림 32. PosNN의 학습 과정과 비용 함수의 변화 54
그림 33. Simulated annealing을 이용한 PosNN의 학습 과정 55
그림 34. IRIS 데이터셋의 분류를 위한 3개의 다차원 활성화함수 61
그림 35. IRIS 데이터셋의 분류에 대한 functional perceptron의 학습곡선 61
그림 36. Functional perceptron 기반 IRIS 분류 모델 62
그림 37. 0과 1 외의 영역은 grey area로 두는 학습 방법 63
그림 38. Embedding model learning과 metric space learning 64
그림 39. Metric 기반 비교의 단점 66
그림 40. Concatenate에 기반한 비교 모델의 비효율성 67
그림 41. 출력이 벡터인 PosNN 모델의 설계 68
그림 42. Cosine 활성화함수의 그래프 70
그림 43. Euclidean 활성화함수의 그래프 70
그림 44. 새(bird) 활성화함수의 그래프 71
그림 45. Cosine similarity와 SimilarNet 알고리즘의 도해 72
그림 46. SimilarNet을 이용한 효율적인 비교 모델 73
그림 47. Weighted SimilarNet의 구조 74
그림 48. PReLU의 그래프 (α = 0.9) 76
그림 49. PReLU의 그래프 (α = 0.1) 76
그림 50. Parametric SimilarNet의 구조 77
그림 51. PCosine의 그래프 (α = 0.9) 78
그림 52. PCosine의 그래프 (α = 0.1) 78
그림 53. 이질적인 embedding 벡터의 예시 79
그림 54. Heterogeneous SimilarNet의 구조 80
그림 55. Embedding 모델의 구조 83
그림 56. 테스트베드 모델의 구조 84
그림 57. SimilarNet과 concatenate 레이어의 중간 과정 89
그림 58. 1:1 비교를 이용한 분류 문제의 해결 방법 93
그림 59. 1:1 비교 기반 분류 모델의 개인에 맞춘 최적화 과정 94
그림 60. 시계열 분류 실험에 사용한 모델과 대조군 모델 94
그림 61. 1:1 비교를 이용한 이상치 탐지 기법 96
그림 62. 못 쓴 글씨 2, 4, 6, 8의 예시 97
그림 63. MNIST 시험 셋의 못 쓴 글씨 탐지 결과 98
그림 64. MNIST 시험 셋의 잘 쓴 글씨 탐지 결과 99
Algorithm 1. Training Positional Perceptron (total epochs) 56
Algorithm 2. training_batch(): Training Perceptron (one epoch) 57
Algorithm 3. simulated_annealing(): Optimizer 58
Algorithm 4. cost(): Cost Function 59
Algorithm 5. Cosine Similarity and SimilarNet 72
Algorithm 6. Heterogeneous SimilarNet 80