네트워크 기술의 발전과 보편화로 초고속 인터넷을 이용해 언제 어디서나 원하는 대상과 통신할 수 있게 되었지만, 정보의 전송 과정에서 감시, 감청, 개인정보 유출, 악성코드 유포가 과거 어느 때보다 쉬워졌다. 최근 이러한 보안 위협에 대응하기 위한 대표적인 정보보호체계로 종단간 암호화(End-to-End Encryption, E2EE) 기술이 상용 네트워크 서비스에 기본적으로 사용되고 있다. 종단간 암호화 기술을 이용하면 암호 키를 알고 있는 메시지 송수신 단말은 메시지를 복호할 수 있게 되지만, 메시지를 검사하고 전달하는 정보보호체계에서 암호화된 패킷의 악성 여부를 검사하기 어려워진다. 종래에는 신뢰할 수 있는 정보보호체계를 이용해 심층 패킷 검사(Deep Packet Inspection, DPI)를 하는 연구가 진행되었으나 심층 패킷 검사를 수행하기 위해서는 종단간 암호화가 유지되기 어렵고 검사 시간이 길어진다는 한계가 있다. 또한, 인공지능을 활용한 악성 트래픽 탐지 및 분류 연구가 수행되고 있지만 페이로드 부분을 학습 요소로 활용하기 어려워서 헤더 정보만 이용하거나 통계적 특징을 추출해서 학습하기 때문에 탐지 성능을 향상하는 데에 한계가 있다.
본 연구에서는 종단간 암호화 상태를 유지하며 빠르게 알려진 악성 패턴을 검출하기 위해 차세대 네트워크 패킷 프레임 구조와 고속 패킷 검사(Fast Packet Inspection, FPI) 기법을 제안한다. 암호 트래픽의 페이로드를 학습 요소로 활용하여 악성 트래픽 학습 속도를 개선하고, 정확도를 향상시키는 Advanced FPI(Advanced Fast Packet Inspection) 프로토콜을 제안하였다. 시뮬레이션 결과에 의하면 제안하는 FPI는 종단간 암호화와 무결성을 유지하면서 심층 패킷 검사 대비 페이로드 길이가 640바이트인 환경에서 검사 커버리지가 20%인 경우 약 14.4배, 100%인 경우 약 5.3배 빠른 속도로 패킷 검사를 수행할 수 있다. Advanced FPI는 심층 패킷 검사 대비 선형 회귀 모델에서 최소 7.63초, 의사 결정 트리 모델에서 최대 13.74초 학습 시간을 개선하였다. 정확도 성능 측면에서는 종래 방식 대비 최소 1.89%에서 최대 35.08% 악성 트래픽 분류 정확도 성능을 향상하였다.