중앙일보

지금 업계에선 '빅데이터(Big Data)'란 단어가 큰 화두입니다. 말 그대로 크기가 '아주~큰' 데이터란 뜻입니다. 데이터야 예전에도 있었죠. 하지만 요즘처럼 눈 깜짝할 사이에 어마어마한 양이 생겨나고, 쌓이고, 또 생겨나고 했던 적은 없었습니다. 서 말 구슬들을 꿰어 보배로 만들어 내는 '빅데이터'의 세계를 들여다봅니다.

이소아 기자 < lsajoongang.co.kr >

'마이너리티 리포트' 허황된 공상 아니었다

'데이터 빅뱅'의 시대. 넘쳐나는 정보들을 효과적으로 관리하기 위해 고안된 것이 바로 '클라우드 서비스'다. 이 서비스를 이용하면 데이터를 컴퓨터의 하드디스크에 의존하지 않고도 스마트 기기들끼리 공유할 수 있다. 사진은 서울 목동의 KT 클라우드센터. [중앙포토] < 여기를 누르시면 크게 보실 수 있습니다 >

구글(Google)은 뭐하는 기업일까. 인터넷 검색서비스 회사지만, 세계적인 '광고회사'라 해도 틀린 말은 아니다. 실제 구글은 전체 수익의 90% 이상이 광고에서 나온다. 광고주들은 왜 구글에 광고를 할까. 사람들이 구글로 인터넷을 검색하고, 지메일(G-mail)로 메일을 보내고, 유튜브로 좋아하는 콘텐트를 보내는 동안 끊임없이 쌓이는 데이터들이야말로 기업이 '타깃 마케팅'을 하는 귀중한 근거가 되기 때문이다. 글로벌 정보 솔루션 기업인 EMC에 따르면 지난해 만들어지고 복제(copy)된 디지털 정보의 양은 1.8제타바이트(ZB), 1조9791억 기가바이트(GB)가 넘는다. 빅데이터 분석기술은 바로 이렇게 무작위로 생겨나 흘러다니는 데이터들을 미래를 예측할 수 있는 가치 있는 정보로 변신시키는 기술이다. 일부 샘플이 아닌 전체 데이터로, 몇 개월이 걸리는 게 아니라 거의 실시간으로, 무엇보다 정확하게 말이다. 미래를 예측할 수 있다면 새로운 기회를 포착할 수 있다. 위험한 징후를 미리 감지해 예방하거나 대응할 수도 있다. 톰 크루즈가 주연한 영화 '마이너리티 리포트'에는 아직 일어나지 않은 범죄를 예측해 범죄자를 단죄하는 최첨단 치안 시스템이 등장한다. 영화의 배경은 2054년이지만 지금도 비슷한 대응이 이뤄지고 있다. 미국 캘리포니아주 샌타크루즈 경찰청은 지금까지 일어난 범죄의 유형과 발생 장소, 범인의 특성 등을 분석해 범죄를 예측하는 프로그램을 만들었다. 그 결과 '첫 번째 범죄가 발생한 지점의 반경 200m 범위 내에서 비슷한 범죄가 또 발생한다' 식의 대응이 가능해졌고 범죄 발생률은 27%나 줄어들었다. 로스앤젤레스 주정부 역시 급증한 육아서비스 사기범죄에 골머리를 앓다 빅데이터 분석을 의뢰했다. 보조금을 받아간 사람과 실제 서비스를 공급한 측을 파악하고 이를 분석해 사기당하기 쉬운 대상과 기금이 대량으로 빠져나갈 우려가 있는 분야를 예측한 것이다. 이를 토대로 '범죄 의심목록'을 만들어 수사에 나섰더니 적중률이 85%에 달했다. 주정부는 부당 청구건을 적발해 연간 700만 달러에서 3100만 달러를 아끼게 됐다.

석유공사 유가예측 시스템 "정확도 99%"

한국석유공사가 운영하는 유가정보 사이트 '오피넷(Opinet)'도 좋은 사례다. 오피넷은 매주 월요일 오후, 이번 주와 다음 주의 주유소별 휘발유·경유 예상 판매가격을 공개하는 '국내 유가예보 서비스'를 시범운영하고 있다. 정유사와 주유소의 판매가격을 예측해 다음 주 유가를 전망하는 것이다. 이 예측이 정확할 경우 소비자들은 저렴한 시기에 값싼 주유소에서 기름을 살 수 있게 된다. 과거에도 유가 예측은 했지만 '국제 시세가 오르니 국내 유가도 오를 것'이란 정도의 추세적 전망에 그쳤다. 표본조사를 하더라도 전국 주유소의 10% 정도에 일일이 공사 직원이 전화로 물어보며 조사를 한 탓에 결과가 정확하지 않았다. 한국석유공사는 글로벌 비즈니스 분석 소프트웨어 기업 SAS와 함께 빅데이터 분석을 통한 유가예보 시스템 개발에 나섰다. 잠깐 그 과정을 살펴보자. 우선 지난 2년 동안 싱가포르 시장에서 발표하는 국제유가, 시점별 환율, 그에 따라 변했던 국내 1만2500개 주유소의 유가 데이터를 수집해 세 요소 사이에 어떤 상관관계가 있는지 분석해 가격 예측 모델을 만들었다. 그리고 현 시점에서 소비자 가격에 영향을 주는 변수들을 모아 모델에 입력했다. 여기에 새로운 데이터를 계속 반영해 나가는데, 공사가 신용카드 결제업체 등을 통해 수집하는 주유소 가격 데이터만 해도 하루에 300만 건이 넘는다. 데이터가 더 많이 반영될수록 예측모델은 더 정확하게 수정된다. 한국석유공사 측은 "현재 예측 정확도가 99%에 달한다"며 "문제점을 보완하고 예측 정확도를 더 높여 내년 초부터 정식 서비스를 개시할 것"이라고 밝혔다. SAS의 이 분석기술은 한국전력거래소와 민간발전사업자인 GS EPS의 전력 수요 예측에도 도입돼 있다.

"휴가 취소""담보 처분" 대화도 경제정책 자료

기분이나 정서(mood)가 국가정책을 마련하는 데 쓸모가 있을까. 답은 '그렇다'다. 국민의 기분이 어떻게 변하느냐를 근거로 국가의 미래를 엿보는 것이다. SAS가 최근 2년 동안 미국과 아일랜드에서 인터넷 채팅·블로그·페이스북·트위터 등 소셜 미디어 데이터를 조사해 본 결과 특정 분위기가 확산되면 머지않아 실업률이 증가하는 것으로 확인됐다. 식료품 구입이 줄어든다거나 대중교통 이용이 늘어난다거나 채팅에서 '타던 차를 작은 차로 바꿔야겠다' 같은 대화 비중이 늘어나는 게 그 징후다. 미국의 경우 "우울하다" "열 받는다"는 채팅이 늘어나면 4개월 뒤 실업률이 폭등했다. 아일랜드는 실업률이 증가하기 5개월 전에 "(실업 걱정에) 불안하다"는 분위기가 퍼져 나갔고, 3개월 전에는 "혼란스럽다(confused)"는 채팅이 증가했다. 2개월 전에는 무언가에 대해 "확신한다"는 채팅이 크게 줄었다.

　또한 소셜 미디어에서 휴가를 취소하고 의료비를 줄이고 담보물을 처분한다는 대화들을 모아 분석하면, 실업률 증가가 얼만큼 시차를 두고 실물경제에 영향을 미치는지도 알아낼 수 있다. 정부 입장에선 '뒷북'을 치지 않고 다양한 완화책을 내놓을 수 있는 것이다. SAS의 글로벌 국제개발 담당자인 아이자 셰이 매니저는 "소셜 미디어와 인터넷 콘텐트는 편지나 전화를 대신해 우리에게 정보를 전해준다. 이 정보의 바다에는 공공 안전을 높이고 시민 관계를 강화시키고 사회복지를 지원할 수 있는 방대한 단서가 숨어 있다"고 설명한다.

　반기문 유엔 사무총장도 지난해 11월 열린유엔총회 연설에서 이 부분을 강조했다. 유엔에는 이미 빅데이터를 분석해 사회현상을 조사하고 예측하는 '글로벌 펄스(Global Pulse)'라는 기관이 있다. "오늘날 민간 부문에선 새로운 데이터를 분석해 실시간으로 고객을 파악하고 있습니다. 중요한 점은 이 데이터들이 우리 사회에 대한 '신호'를 담고 있다는 사실입니다. 이제 우리는 데이터들을 활용해 지금 무슨 일이 벌어지고, 또 상황이 어떻게 돌아가고 있는지 알아내야 합니다."

쇼핑사이트, 고객행동 추적 최적의 가격 결정

반 총장이 언급했듯 빅데이터를 가장 잘 활용하는 것은 기업들이다. 고객을 만족시키고, 찾아내기 위해 관련된 데이터를 분석해 그 안에서 비즈니스 기회를 찾으려는 것이다. 일례로 미국의 메이시스(Macy's) 백화점은 재고를 적정 수준으로 유지해야 했지만 전국 2000여 개 매장에 흩어진 20만 종의 아이템을 관리하기란 쉽지 않았다. 당장에 세일기간 때마다 약 2억7000만 개 상품을 각각 얼마나 싸게 팔지 결정해야 했다. 이때 빅데이터 분석이 빛을 발했다. 3테라바이트(3072기가바이트)가 넘는 과거 판매 이력을 분석해 판매량을 예측하고, 6000만 건에 대해 최적의 가격 인하 계획을 얻어낸 것이다. 유통회사들이 매장 내 CCTV는 물론, 인터넷 홈페이지와 모바일·SNS(소셜네트워크시스템)·유튜브 등을 활성화하려는 이유는 명백하다. 많은 데이터를 모으고 이익을 극대화하기 위해서다. "데이터는 미래 경쟁력을 좌우하는 21세기 원유"라고 한 시장조사업체 가트너의 표현이 과언이 아니다. 국내에선 2010년, 인터넷 쇼핑몰인 롯데닷컴이 최초로 빅데이터를 활용한 '웹 행동 분석 시스템'을 도입했다. 이전까지는 하루에 70만~100만 명에 달하는 방문자가 실제로 어떻게, 얼마나 구매를 하는지 확인할 방법이 없었다. 하지만 이제는 운영 사이트별로 순수 방문자수와 페이지뷰, 시간대별 인기도, 페이지별 선호도, 캠페인 효과 등을 확인할 수 있게 됐다. 정효훈 롯데닷컴 마케팅기획 차장은 "지금까지 '아마도 이럴 것이다'라고 추측하며 추진했던 사이트 기획들이 고객 호응을 얻지 못한 것으로 드러났다. 이제 '클릭 수가 적으니 당장 교체하라'고 결정을 내릴 수 있게 됐다"고 전했다. 롯데닷컴은 지금도 거의 일주일에 한 번씩 사이트를 개편하고 있다. 빅데이터 속에서 찾은 '불편한 진실'이 기업을 더 나은 방향으로 이끈 셈이다.

독자와 함께 만듭니다

뉴스클립은 시사뉴스를 바탕으로 만드는 지식 창고이자 상식 백과사전입니다. 뉴스와 관련해 궁금한 점이 있으면 e-메일로 알려주십시오. 뉴스클립으로 만들어 드립니다. (newsclip@joongang.co.kr)　* 모아 두었습니다. www.joongang.co.kr 에서 뉴스클립을 누르세요.

이소아 기자

▶기자 블로그 http://blog.joinsmsn.com/center/v2010/power_reporter.asp

▶ 정신병원 환자 셋 보호사 수면제 먹인뒤…충격

▶ 볼일보던 초6女 "남자애랑 눈 마주쳐…"

▶ 주식 8000억 판 김택진, 어디쓰나 봤더니…

▶ 미녀 리포터, 축구팬들이 치마 들추자…

▶ 요즘 대학가 PC방에 여대생들 떼로 몰려와…

▶ 처참하게 무너진 카다피 궁전, 벽면에 쓰인 글이…

▶ '남성차'로 바꿔타는 강남 주부들 "이동중에…"