표제지
국문초록
목차
제1장 서론 17
제1절 연구의 필요성 및 목적 17
제2절 연구 문제 25
제2장 이론적 배경 28
제1절 프로세스 데이터의 이해 28
1. 프로세스 데이터의 의미 28
2. 프로세스 데이터의 분석 이슈 35
제2절 액션 시퀀스 데이터 분석 40
1. 액션 시퀀스 데이터 분석의 흐름 40
2. 자연어처리를 액션 시퀀스에 적용한 연구의 흐름 45
제3절 자연어의 벡터 표현 55
1. 자연어의 임베딩 연구의 흐름 55
2. 트랜스포머와 BERT 66
제4절 클러스터링 분석 83
제3장 연구 방법 87
제1절 분석 대상 87
제2절 데이터 전처리 101
1. 로그 데이터 클리닝 101
2. BERT 학습 데이터 104
제3절 대표 액션 시퀀스 선정 110
1. 액션 시퀀스 열거 절차 110
2. 액션 시퀀스 빈도 측정 114
제4절 대표 액션 시퀀스로의 치환 118
제5절 대표 액션 시퀀스로의 치환 결과 평가 124
1. BERT 모형 설계 124
2. BERT 모형 평가 129
3. 액션 시퀀스 임베딩과 코사인 유사도 133
제6절 프로세스 마이닝과 클러스터링 139
제7절 연구 절차 147
제8절 용어의 정리 149
제4장 연구 결과 151
제1절 기술 통계 151
제2절 분석 데이터 도출 154
1. 대표 액션 시퀀스 선정 결과 154
2. 대표 액션 시퀀스 치환 및 결과 평가 163
제3절 피험자의 문제해결 과정의 특성 178
1. 피험자의 응답 특성과 대응 전략 178
2. 문제해결 과정에서 나타나는 피험자의 대응 및 전략 유형 205
제5장 결론 243
제1절 요약 243
제2절 논의 및 제언 248
참고문헌 253
부록 276
부록 1. 48가지 BERT 모형의 분석 결과 276
부록 2. 네 가지 시퀀스 임베딩 방법과 세 가지 기준을 이용한 할당 결과 277
부록 3. 다양한 Max 임베딩 방법과 세 가지 기준을 이용한 할당 결과 278
부록 4. 액션 시퀀스의 기타 임베딩 및 코사인 유사도를 구하는 pytorch 코드 279
Abstract 280
〈표 1〉 학자별 프로세스 데이터의 정의 29
〈표 2〉 액션 시퀀스 데이터를 분석하는 상향식 및 하향식 방법론 40
〈표 3〉 BERT의 두 가지 학습 과제 58
〈표 4〉 어텐션 스코어로 콘텍스트 벡터를 얻는 과정 65
〈표 5〉 BERT의 구성 요소 68
〈표 6〉 BERT의 학습 단위를 만드는 규칙 69
〈표 7〉 구글 연구팀이 제시한 24가지의 대표적인 BERT 77
〈표 8〉 길이 20인 학습 단위의 예시 79
〈표 9〉 알고리즘의 분류에 따른 클러스터링 방법의 분류 84
〈표 10〉 PISA 2012 문제해결력 평가틀 88
〈표 11〉 CBAPS 성취 4 수준의 피험자의 특성 90
〈표 12〉 Ticket Task 3(CP038Q03) 문항의 제시문 91
〈표 13〉 다양한 조건에서의 지하철 승차권 요금 97
〈표 14〉 정답에 해당하는 승차권의 선택 과정 97
〈표 15〉 모니터링과 반성 과정이 나타난 정답 액션 시퀀스 예시 99
〈표 16〉 모니터링과 반성 과정이 부족한 정답 액션 시퀀스 예시 99
〈표 17〉 Ticket Task 3 로그 데이터의 클리닝 과정 102
〈표 18〉 데이터 클리닝을 마친 로그 데이터의 예시 103
〈표 19〉 BERT 학습 데이터의 예시 104
〈표 20〉 액션 시퀀스를 활용한 BERT 학습 데이터가 갖추어야 할 조건 105
〈표 21〉 BERT 학습을 위한 데이터를 도출하는 R 코드 106
〈표 22〉 BERT 학습을 위한 데이터 예시 107
〈표 23〉 BERT 학습에 사용된 데이터 예시 108
〈표 24〉 BERT 학습을 위한 토큰 집합 109
〈표 25〉 각 액션 시퀀스가 시행된 횟수를 계산하는 R 코드 114
〈표 26〉 액션 시퀀스의 빈도 데이터를 정리한 기준 및 정리 결과 116
〈표 27〉 정답-Cancel과 오답-End 데이터의 빈도 상위 5개 액션 시퀀스 117
〈표 28〉 액션 시퀀스를 대표 액션 시퀀스로 적합하게 치환하기 위한 조건 119
〈표 29〉 액션 시퀀스를 대표 액션 시퀀스로 치환한 결과 예시 120
〈표 30〉 SOS의 예시 122
〈표 31〉 가장 성능이 뛰어난 SBERT 모형 125
〈표 32〉 이 연구에서 선정한 BERT 모형의 조건 127
〈표 33〉 모형 크기와 초모수를 결정하는 트랜스포머 코드의 예 128
〈표 34〉 마스크 테스트에 활용된 액션 시퀀스 목록 131
〈표 35〉 [MASK] 테스트 결과의 예시 132
〈표 36〉 대표적인 문장 임베딩의 계산 방법 135
〈표 37〉 액션 시퀀스의 Mean 임베딩 및 코사인 유사도를 도출하는 pytorch 코드 138
〈표 38〉 클러스터링 분석에 적용한 변인들 141
〈표 39〉 SCIBO2 SCIBO2 SCIBOBO3+ SCD SFI2BE의 정보 141
〈표 40〉 K-medoids 클러스터링의 절차 144
〈표 41〉 이 연구에서 사용되는 용어 149
〈표 42〉 Ticket Task 3 문항 피험자의 국가별 기술통계 151
〈표 43〉 길이별 액션 시퀀스의 빈도 154
〈표 44〉 정답-Cancel 데이터의 빈도 상위 20가지 액션 시퀀스 155
〈표 45〉 정답-Cancel 데이터의 대표 액션 시퀀스 158
〈표 46〉 오답-Cancel 데이터의 빈도 상위 28가지 액션 시퀀스 160
〈표 47〉 오답-Cancel 데이터의 대표 액션 시퀀스 161
〈표 48〉 오답-End 데이터의 대표 액션 시퀀스 163
〈표 49〉 BERT 모형의 조건별 평가 지표 값의 통합 결과 165
〈표 50〉 에포크 수에 따른 훈련 오차, 검증 오차, 레코버리 통계량 166
〈표 51〉 예시 액션 시퀀스와 대표 액션 시퀀스의 코사인 유사도 순위 168
〈표 52〉 예시 액션 시퀀스와 레벤슈타인 거리가 1인 액션 시퀀스의 코사인 유사도 순위 169
〈표 53〉 치환 시퀀스와 미치환 시퀀스의 코사인 거리 평균 및 표준오차 170
〈표 54〉 네 가지 대표 액션 시퀀스와의 코사인 거리 통계 172
〈표 55〉 미국 피험자 네 명의 대표 액션 시퀀스 치환 결과 174
〈표 56〉 한국 피험자 다섯 명의 SOS 예시 175
〈표 57〉 정답자의 빈도 상위 SOS 22개 185
〈표 58〉 SCIBO2로 시작하여 정답 SFI2BE에 도달한 길이 3인 SOS의 목록 189
〈표 59〉 정답자의 여러 가지 시작 액션 시퀀스와 길이 3 이상인 SOS의 분포 190
〈표 60〉 정답자의 다섯 가지 대응 및 전략 행동 191
〈표 61〉 오답자의 종료 액션 시퀀스 분포 195
〈표 62〉 오답자의 빈도 상위 SOS 23개 198
〈표 63〉 오답자의 여러 가지 시작 시퀀스와 길이 3 이상인 SOS의 분포 201
〈표 64〉 오답자의 다섯 가지 대응 및 전략 행동 204
〈표 65〉 정답자 데이터의 기술통계 205
〈표 66〉 정답자의 각 군집의 평균(표준오차) 208
〈표 67〉 정답자의 각 군집에서 각 변인의 최댓값 대비 비율 프로파일 209
〈표 68〉 정답자의 각 군집의 시간 변인, 액션 시퀀수의 수, CP2 점수 통계 210
〈표 69〉 정답자 군집 I-1의 빈도 상위 10개 SOS 211
〈표 70〉 정답자 군집 II-1의 빈도 상위 10개 SOS 212
〈표 71〉 정답자 군집 II-2의 빈도 상위 10개 SOS 213
〈표 72〉 정답자 군집 II-3의 빈도 상위 10개 SOS 214
〈표 73〉 정답자 군집 III-1의 빈도 상위 10개 SOS 215
〈표 74〉 정답자 군집 III-2의 빈도 상위 10개 SOS 217
〈표 75〉 정답자 군집 IV-1의 빈도 상위 10개 SOS 218
〈표 76〉 정답자 군집 IV-2의 빈도 상위 10개 SOS 219
〈표 77〉 카이제곱 검정 결과 219
〈표 78〉 일원분산분석 결과 221
〈표 79〉 정답자의 각 군집에서 적용한 대응 및 전략의 요약 222
〈표 80〉 오답자 데이터의 기술통계 224
〈표 81〉 오답자의 각 군집의 평균(표준오차) 227
〈표 82〉 오답자의 각 군집에서 각 변인의 최댓값 대비 비율 프로파일 228
〈표 83〉 오답자의 각 군집의 시간 변인, 액션 시퀀수의 수, CP2 점수 통계 229
〈표 84〉 오답자 군집 I의 빈도 상위 10개 SOS 230
〈표 85〉 오답자 군집 II의 빈도 상위 10개 SOS 231
〈표 86〉 오답자 군집 III의 빈도 상위 10개 SOS 232
〈표 87〉 오답자 군집 IV-1의 빈도 상위 10개 SOS 234
〈표 88〉 오답자 군집 IV-2의 빈도 상위 10개 SOS 235
〈표 89〉 오답자 군집 V의 빈도 상위 10개 SOS 236
〈표 90〉 오답자 군집 VI의 빈도 상위 10개 SOS 237
〈표 91〉 카이제곱 검정 결과 238
〈표 92〉 일원분산분석 결과 239
〈표 93〉 오답자의 각 군집에서 적용한 대응 및 전략의 요약 240
[그림 1] 연구 문제를 중심으로 한 연구 과정의 도식 27
[그림 2] 로그 데이터의 분류 31
[그림 3] 프로세스 데이터 사용의 프레임워크 32
[그림 4] 머신러닝 방법을 적용한 액션 시퀀스 중요도 47
[그림 5] 문제해결 과정에서 선정된 그림자 문항들과 Q-matrix 48
[그림 6] 가장 유사한 최적의 액션 시퀀스를 탐색하는 과정 50
[그림 7] N-gram으로 문장의 확률을 계산하는 예시 56
[그림 8] Word2Vec 모형에서의 중심단어와 주변단어 예시 57
[그림 9] 딥러닝 기술을 활용한 기계번역의 발전 과정 60
[그림 10] RNN 모형의 예시 60
[그림 11] RNN 기반의 Seq2Seq 모형 예시 61
[그림 12] Cho 외(2014)의 Seq2Seq 모형 예시 62
[그림 13] 어텐션 메커니즘의 원리 63
[그림 14] 인코딩과 디코딩 은닉 상태의 내적 예시 64
[그림 15] 트랜스포머 모형 66
[그림 16] BERT 모형의 구조도 67
[그림 17] BERT 모형의 입력자료의 형태 70
[그림 18] Q, K, V 벡터를 도출하는 과정 72
[그림 19] 셀프 어텐션 스코어를 구하는 과정 73
[그림 20] 멀티 헤드 어텐션 74
[그림 21] 멀티헤드 어텐션의 결과를 하나의 결과로 만드는 과정 75
[그림 22] 뉴럴 네트워크(좌) 및 드롭아웃 적용 예시(우) 81
[그림 23] 세 가지 활성화 함수의 그래프 82
[그림 24] 군집 내 분산을 활용하여 군집의 수를 결정하는 예시 85
[그림 25] 피험자에게 제시되는 최초 화면 91
[그림 26] 지하철 혹은 교외선을 클릭한 후 제시되는 화면 92
[그림 27] 요금의 종류를 클릭한 후 제시되는 화면 93
[그림 28] INDIVIDUAL을 클릭한 후 제시되는 화면 93
[그림 29] 탑승 횟수 선택 화면 94
[그림 30] BUY를 클릭한 후 제시되는 화면 95
[그림 31] 탑승 횟수 선택 화면 95
[그림 32] CBAPS 로그파일의 정답자 자료와 액션 시퀀스 추출 예시 101
[그림 33] 트리 요소의 예 111
[그림 34] 두 개의 트리 요소를 연결하는 열거 절차 111
[그림 35] 마무리된 열거 절차의 예시 112
[그림 36] Access 쿼리 디자인을 적용한 길이 6인 액션 시퀀스 열거 절차 113
[그림 37] Access 쿼리 디자인을 실행시켜 얻은 길이 6인 액션 시퀀스의 예시 113
[그림 38] 액션 시퀀스를 축약하는 코드를 도출하는 과정의 예시 121
[그림 39] BERT 학습 결과를 활용한 마스크 테스트의 예시 130
[그림 40] Last Hidden State Output 134
[그림 42] 분석 과정에서 데이터의 흐름 147
[그림 43] 정답-Cancel 데이터의 액션 시퀀스 빈도 변화 추이 155
[그림 44] 오답-Cancel 데이터의 액션 시퀀스 빈도 변화 추이 159
[그림 45] 오답-End 데이터의 액션 시퀀스 빈도 변화 추이 162
[그림 46] 에포크 수에 따른 검증 오차 166
[그림 47] 오답-Cancel 및 오답-End 데이터의 코사인 거리 분포 171
[그림 48] 네 가지 대표 액션 시퀀스와의 거리 분포 173
[그림 49] 정답자의 SOS 길이의 분포 178
[그림 50] 정답자의 SOS의 길이별 빈도의 분포 179
[그림 51] 정답자가 수행한 액션 시퀀스의 빈도 순위 180
[그림 52] 정답자의 인접 액션 시퀀스 행렬 182
[그림 53] 엘보우 방법을 적용한 정답자의 주요 SOS의 선택 184
[그림 54] 정답자의 빈도 상위 SOS 22개의 프로세스 맵 188
[그림 55] 오답자의 SOS 길이의 분포 192
[그림 56] 오답자 SOS의 길이별 빈도의 분포 193
[그림 57] 오답자가 시행한 시퀀스의 빈도 순위 194
[그림 58] 오답자의 인접 시퀀스 행렬 196
[그림 59] 엘보우 방법을 적용한 오답자의 주요 SOS의 선택 198
[그림 60] 오답자의 빈도 상위 23가지 SOS의 프로세스 맵 200
[그림 61] 정답자의 군집 수에 따른 군집 내 분산의 합 추이 206
[그림 62] 정답자의 군집 수에 따른 예측 강도 평균의 추이 207
[그림 63] 정답자의 각 군집에서 각 변인의 최댓값 대비 비율 208
[그림 64] 정답자 군집 I-1의 프로세스 맵 211
[그림 65] 정답자 군집 II-1의 프로세스 맵 212
[그림 66] 정답자 군집 II-2의 프로세스 맵 213
[그림 67] 정답자 군집 II-3의 프로세스 맵 214
[그림 68] 정답자 군집 III-1의 프로세스 맵 215
[그림 69] 정답자 군집 III-2의 프로세스 맵 216
[그림 70] 정답자 군집 IV-1의 프로세스 맵 217
[그림 71] 정답자 군집 IV-2의 프로세스 맵 218
[그림 72] 오답자의 군집 수에 따른 군집 내 분산의 합 추이 225
[그림 73] 오답자의 군집 수에 따른 예측 강도 평균의 추이 226
[그림 74] 오답자의 각 군집에서 각 변인의 최댓값 대비 비율 227
[그림 75] 오답자 군집 I의 프로세스 맵 230
[그림 76] 오답자 군집 II의 프로세스 맵 231
[그림 77] 오답자 군집 III의 프로세스 맵 232
[그림 78] 오답자 군집 IV-1의 프로세스 맵 233
[그림 79] 오답자 군집 IV-2의 프로세스 맵 235
[그림 80] 오답자 군집 VI의 프로세스 맵 237
[수식 1] N-gram을 활용한 n 번째 단어의 확률 46
[수식 2] 셀프 어텐션 스코어 72
[수식 3] 셀프 어텐션 행렬의 예시 73
[수식 4] 멀티 헤드 어텐션 결과를 얻는 과정 74
[수식 5] 업데이트 횟수를 결정하는 요소 간 관계 126
[수식 6] 레코버리 통계량 133
[수식 7] 벡터 V와 W의 코사인 유사도 135
[수식 8] 벡터 V와 W의 코사인 거리 136