인터넷의 발달과 함께 온라인 판매 상품이 급진적으로 늘었다. 이제 소비자들은 오프라인 매장에서만 상품을 구매하지 않는다. 상품에 대한 후기, 댓글을 통해 이미 구매 의사가 결정된다. 소비자는 자신이 애용하는 온라인 Store에 바로 접속하여 구매하는 경우도 있지만, 가격 비교를 통해 최저가 사이트를 확인 후 구매한다. 기업은 이런 소비자들의 패턴을 인지하고, 상품을 판매하기 위해, 다른 판매 기업보다 경쟁력 있는 가격을 제시해야 한다.
기업은 하나의 상품에 생산 원료비, 판관비 등을 고려하여 원가를 책정하고, 기업 이윤을 추가하여 상품의 가격을 결정한다. 1차 결정된 가격은 경쟁 업체의 가격 혹은 최근 판매된 가격의 추이를 살펴본 후 최종 가격 결정이라는 의사 결정을 내린다. 이 때문에 상품의 최근 가격의 추이를 살펴보거나, 경쟁 업체의 가격을 비교하는 부분은 기업에게 매우 중요한 부분이다.
본 논문에서는 빅데이터를 처리할 수 있는 플랫폼을 구축하여 기업이 합리적인 의사 결정을 할 수 있도록 돕고자 한다. 여러 빅데이터 기술을 응용하여 플랫폼을 구축하였다. Web Crawling을 통하여 상품의 가격을 각종 포털 사이트에서 수집하고, 가공 처리한다. Producer, Consumer을 이중 구조화하여, 한쪽 Group의 장애가 발생하여도, 다른 Group은 정상적인 Job을 수행할 수 있게 하였다. 수집한 데이터는 Spark에서 이상 데이터 탐지 분석을 수행하고, 성능을 비교 평가하였다.