빅데이터는 유행인가 ,

아니면 산업혁명 이후 최대의 변화인가 .

“ 세계인구의 50% 이상이 30 세 이하다. 페이스북은 미국에서 주간트래픽으로 구글을

추월했다. 더불이 이 모든 것들은 우리의 오프라인 행동을 바꾸어 놓고 있다. 50% 정 3 도의

영국 모바일 인터넷 트래픽은 페이스북을 통해 발생한다. 이용자가 5 천만명이 될 때 까지 걸린

에릭퀄먼(Erik Qualman)의 소셜미디어혁명(Social Media Revolution)Youtube 영상 :http://www.youtube.com/watch?v=gxilGOkIybg

시간은 라디오 38 년, TV 13 년, 인터넷 4 년, 아이팟 3 년, 페이스북은 1 년 만에 2 억명의

유저를 돌파했다. “

사람들은 이야기한다. 범접할 수 없는

정보의 홍수 속에서 살아간다고. 하지만

우리는 그 정보량을 알 수 없다. 디지털

유니버스 보고서에 따르면 2011 년, 전

세계에서 생성되는 디지털 정보량은

1.8ZB 다. 1ZB 는 10TB 를 의미하는데,

이러한 수치는 사실 우리에게 피부로

쉽게 와닿을 수 없는 양이다. 이러한

정보량을 우리가 보다 쉽게 인식하기

위해 일상으로 바꾸어 볼 수 있는데,

이는 대한민국 모든 사람(4800 만명,

2010 년 기준)이 18 만년 동안 쉬지

않고 1 분마다 트위터에 3 개의 글을

게시하는 양과 같다. 더불어 2 시간짜리 HD 영화 2 천억 개와 맞먹는 정보의 양이다.

더불어 이러한 정보의 흐름은 2 년마다 2 배씩 증가하는 추세다. 작년의 데이터 수치인

1.8ZB 는 2014 년에는 7ZB 가 될 것으로 예상된다고 한다. 그렇게 따진다면 우리가

2020 년에 관리해야 할 데이터는 44 배나 증가한다고 볼 수 있다. 이 양은 35ZB(1ZB

는 12 조 GB 다)다. 과연 우리는 이러한 데이터를 관리할 수 있고, 읽어낼 수 있을까?

빅데이터 , 그 자체로는 의미가 없다 .

그렇다면 주목해야 할 것은 무엇인가 .

이러한 어마어마한 양의 빅데이터는 언제나 우리 곁에 존재하고 있다. 다만

소셜미디어 시대에 진입에 의하여 전 보다 정보의 양이 기하급수적으로 늘어났다는

것이 이슈의 근거다. 이러한 정보의 흐름 속에서 가장 중요한 것은 무엇일까. 바로

능동적으로 빅데이터를 수집, 분석하는 것이 트렌드를 읽기 위한 가장 빠른

시발점이라고 할 수 있다. 실제로 가트너에서는 “데이터는 21 세기의 원유이며

데이터가 미래 경쟁 우위를 좌우한다”라고 말한 적이 있다. 이제는 정말 빅데이터를

읽어내고 끝내는 것이 아닌 ‘빅데이터를 통한 어떠한 Foresight 를 이끌어내는 것이냐’

가 중요해진 순간이다. 이러한 빅데이터의 흐름과 기업사례, 의미 등을 분석하며 그

의미를 조금 더 깊게 설명해보고자 한다.

에릭퀄먼(Erik Qualman)의 소셜미디어혁명(Social Media Revolution)Youtube 영상 :http://www.youtube.com/watch?v=gxilGOkIybg

올해 전세계 디지털 정보량은? , 블로터닷넷, 2011. 06. 29http://www.bloter.net/archives/65991

‘데이터는 21 세기의 원유이며 데이터가 미래 경쟁 우위를 좌우한다. 기업들은 다가온 경제 데이터 시대를 이해하고 정보 공유를 늘려 정보 사일로(Information silo)를 극복해야 한다, Gatner, 2011. 03

빅데이터의 시작 ,

Social Network Service

빅데이터의 시발점은 바로 SNS 였다. 사람들에게 요구하거나, 강요하지 않아도

온라인의 대부분의 사용자는 트위터, 페이스북과 같은 SNS 채널을 통해 자신의 의견,

감성, 일상 등을 기록하고 공유하기 시작했고 이는 사람들과 소통할 수 있는 채널을

통해 ‘공개’되기 시작했다. 누가 시키지 않아도, 어떠한 보상이 없어도 스스로 공유되는

이러한 현상은 웹 1.0 에서 웹 2.0 시대로의 과정으로 매우 자연스러운 흐름이었다.

하지만 이러한 흐름은 비단 개개인의 기록으로 끝나는 것이 아니었다. SNS 의 등장과

함께 비정형 데이터가 증가하는 추세였기 때문이다. 트윗의 수는 100 억개를

돌파했고, 페이스북의 한 달 사진 업로드는 30 억건, 트위터의 메시지는 하루 1 억건에

달한다. 월 평균으로 따지면 이는 10 억개의 트위터 메시지, 300 억개 페이스북

메시지인 것 이다. 하지만 이와 같이 생성되는 데이터는 단 5%만이 구조화 된다.

빅데이터 [ 분석 기술을 이용 ] 한 분석 ,

그 기술로는 무엇이 있는가 .

이러한 구조화의 과정은 어떻게 진행되는 것 일까. 이는 IBM 의 왓슨 컴퓨터를

사례로 들 수 있다. IBM 의 왓슨 컴퓨터의 경쟁력은 ① 고성능 컴퓨팅, ② 빅데이터

분석, ③ Deep QA – 인공지능을 기반으로 인간 수준의 심층 질의응답을 실현한 SW

인텔리전스 기술의 총화라고 볼 수 있는데, 여기서 주목해야 할 부분은 바로 빅데이터

분석이다. 왓슨컴퓨터는 1 천만권(약 200 억 페이지 이상)의 콘텐츠를 자연어 이해

기반으로 수백개의 빅데이터를 분석하는 기술을 가졌다. 즉 빅데이터(Bigdata)를

빅지식베이스(Big knowledge base)로 변환하는데 있어 탁월한 능력을 가진 것

이다. 이같이 빅지식베이스를 구축할 수 있는 왓슨컴퓨터에 IBM 은 확장 개발을 위해

향후 2~3 년간 100 억 달러를 추가로 투자할 계획을 가지고 있다고 한다.

자연어 이해 기반 빅데이터 분석 및 이슈탐지, ETRI, 2012.04.27

자연어 이해 기반 빅데이터 분석 및 이슈탐지, ETRI, 2012.04.27

다른 유수 기업들 또한 빅데이터를 분석하는데 있어 엄청난 투자를 하고 있다고

한다. 이미 세계는 정보경제(An information economy) 시대로 이행하고 있으며,

빅데이터와 분석학은 이러한 전환기에 중심적인 역할을 할 것이기 때문이다. 더불어

빅데이터는 보다 더 진보된 기술을 통해 잠재적으로 부와 가치를 창조하고 위험을

피하며 우리 삶을 개선, 2012 년에는 더 많은 사람, 기업, 연구가들이 이를 기회로

여기게 될 것 이다. 그 기술의 범위는 국가차원으로까지 확대될 수 있기 때문이다.

빅데이터 ,

국가 산업에 또한 이바지 할 수 있다 .

이제는 누가 많은 양의 데이터를 가지고 있느냐는 소유의 문제가 아닌 데이터를

어떻게 분석, 활용하느냐의 기술적 차원의 문제가 중요하다고 앞서 언급한 바 있다.

그렇기에 이러한 빅데이터 시대에는 어떤 기술시장이 주목을 받을 것인지, 빅데이터의

활용가치는 얼마나 되는지 등에 대한 논의가 활발하다. 그 논의는 비단 비즈니스와,

학문에 머물러있지 않다. 빅데이터는 국가적 차원에서도 논의될 수 밖에 없는 중요

기술로 귀추가 주목되고 있다.

정부가 빅데이터를 활용할 시에는 예산 절감, 대내외 변화에 대한 신속한 대처, 삶의

질과 정부 신뢰도 향상이 가능한데, 국가정보화전략위원회에 따르면 국내의 경우

빅데이터 활용 시 나타나는 경제효과는 10.7 조 이상에 이른다고 한다. 이러한 정부의

움직임은 국내보다는 해외에서 더욱 활발한데, 미국 대통령 과학기술자문위원회는 한

보고서를 통해 “모든 미국 연방 정부 기관은 빅데이터 전략이 필요하다”고 제안했다고

한다.

2012 년 주목할 만한 IT 기술 트렌드 - 주요 기관별 2012 년 IT 기술 전망 분석, NIA, 2011.12

다음 표는 맥킨지에서 2011 년에 제시한 빅데이터 활용분야다.

도메인분석 대상 데이터 예상효과

미국의 의료산업

제약사 연구개발 데이터,

환자치료/임상 데이터,

의료산업의 비용 데이터

연간 $ 3 조

연간 0.7% 생산성 향상

유럽의 공공행정정부의 행정업무에서

발생하는 데이터

연간 € 2.5 조

연간 0.5% 생산성 향상

소매업고객의 거래 데이터,

구매경향

$ 1 조 + 서비스 업자 수익

$ 7 조 소비자 이익

제조업

고객 취향 데이터,

수요 예측 데이터,

제조과정 데이터,

센서 활용 데이터

60% 마진 증가

0.5 ~ 1.0% 생산성 향상

개인 위치 데이터 개인, 차량의 위치 데이터개발 및 조립비용 50% 감소

운전자본 7% 감소

특히 미국의 의료분야에서 빅데이터를 활용 시 매년 3,300 억 달러의 가치를 생산할

수 있다고 하는데 이 액수는 연간 스페인 전체 의료 지출비의 2 배 이상이다. 더불어

미국뿐 만 아니라, 유럽 공공분야에 빅데이터를 활용할 시에는 2,500 억 유로 절감

효과를 가져온다고 한다. 이 액수는 그리스 GDP 와 비슷한 규모이다. 빅데이터는

폭증하고 있으며 이와 같은 경제적 자산을 정책에 활용하는 실천적인 빅데이터 전략이

필요하다. 하지만 아직까지도 국내에서는 이렇다 할 빅데이터 활용 및 결과를

보여주지 못하고 있다.

빅데이터의 활용, 그 규모 만큼이나 결과는 어마어마하게 증폭될 수 있다. 그렇다면

이러한 기술을 활용할 수 있는 인적자원은 현재 얼마나 존재하는가.

한 없는 빅데이터 시대의 수요 ,

그렇다면 , 빅데이터를 분석할 공급은 ?

수 많은 데이터들 중에서 숨은 의미를 찾아내어 가치 있는 정보로 변환시키는 데이터

분석 기법과 도구들이 주목 받고 있다. 하지만 빅데이터를 분석하는 이 모든 일련의

과정들은 모두 ‘사람’이 중심이 되어야 한다. 빅데이터를 ‘분석’하는 것은 기술이지만

Manyica et al, 2011

Big Data : The next frontier for innovation, competion, and productivity, Mckinsey, 2011.05

‘미래를 읽어내는 안목’은 어디까지나 분석자의 몫이기 때문이다.

빅데이터는 그 자체로는 의미가 없다. 정량화되지 않은 데이터를 읽어내고,

추스려내며, 그 안에 있는 깊은 속 뜻을 간파해야만이 빅데이터는 자체로 의미를 갖게

된다. 그래서 빅데이터는 앞서가는 기술만으로는 읽어낼 수 없다. 결국 빅데이터를

통한 미래예측은 기술이 아닌 ‘사람’이 할 일이다.

그렇기에 빅데이터를 분석하는 사람에 대한 수요는 빅데이터 분석에 대한 수요와

함께 점점 늘어나는 추세다. 때문에, SAS 자격증(프로그래머 분석, 데이터 마이너)을

향한 수요도 점점 늘어나고 있다. SAS코리아에 따르면 SAS 자격증 응시자가 지난

2010 년에 이어 지난해 500 명을 상회하는 등 빠른 속도로 늘고 있다고 한다. SAS

자격증 응시자가 2 년 전 200~300 명에 불과했다는 점을 감안하면 비약적인

증가추이라는 분석이다. 이것은 비단 개인의 자격증 취득 문제가 아닌 기업으로의

수요를 시작으로 볼 수 있다.

기업의 CEO 들 또한 빅데이터의 수요가 엄청나다는 것을 인지하고 있을까?

삼성경제연구소가 경영자 대상 지식정보서비스인 SERICEO 를 통해 지난 4 월 2

일부터 4 월 6 일까지 실시한 설문조사(211 명 참여)에 따르면 ‘향후 10 년 내

빅데이터 활용의 필요성’에 대한 질문에 거의 대부분인 97.2%의 경영자가 ‘그렇다’고

응답했고, 76.8%는 ‘매우 그렇다’며 강하게 수긍했다. 더불어 빅데이터에 대해 얼마나

잘 알고 있느냐는 질문에, 적어도 들어본 적이 있는 경영자가 ’74.4%’이며, ‘잘 알고

있다’고 대답한 경영자는 21.3%로 나타났다.

기업이 이렇게 빅데이터에 열광하는 이유로는 최근 그루폰의 사례를 꼽을 수 있다.

그루폰의 데이터 과학자 니틴 샤르마는 “데이터 분석을 통한 가치가 대기업에게(구글)

60 억 달러에 인수되는 것 보다 더 큰 매출을 올릴 것을 자신한다.”라고 말한적이

있는데 이는 실제로 현실화 되었다. 설립한 지 2 년 만에 미국 76 개 도시와 해외 21

개국에 진출, 지난 해에는 뉴욕증시에 상장까지 했다. 샤르마 데이터는 인수 거절 후

실제로 하둡을 통해 그루폰의 데이터 분석 인프라를 구성하면서, 전년 매출을 90%

가까이 끌어올렸다고 한다.

그루폰 뿐 만이 아니다. ‘쌍둥이칼’로 유명한 헹켈은 경영 부진의 탈출구를 SNS 에서

찾았다. 식칼의 판매량이 지속적으로 떨어지자 트위터를 분석, 주부들이 행켈 칼에서

나는 독특한 냄새에 부정적인 느낌을 갖고 있다는 것을 밝혀냈다. 이 냄새를 다른

향으로 바꾸고 헹켈의 판매량은 이 전 수준으로 회복되었다. IBM 은 이 사례를 통해

빅데이터의 가장 대표적인 성공사례임을 자부한다. 이와 같은 성공 사례는 쉽게 얻을

수 없었다. 빅데이터를 위해 IBM 은 지난 5 년 동안 140 억 달러를 투자해 네티자

(Netizza)를 비롯, 빅데이터의 핵심인 비즈니스 분석 관련 기업을 24 개 인수합병하고

`빅데이터 시대`, 데이터 분석 전문가 자격증 뜬다, etnews, 2012.01.29

향후 10 년내 빅데이터 활용의 필요성, SERICEO, 2012.0408

그루폰 "데이터 분석 믿고 구글 인수 거절", Bicdata, 2012.06.04

IBM, "빅데이터는 이미 우리 일상", itnews, 2012.02.20

8 천명 이상의 비즈니스 컨설턴트들을 내세워 빅데이터 분석 솔루션을 인지하고

어디에 적용해 어떤 효과를 낼 지에 대해 쉽게 설명하려는 노력을 감수했다. 그리고

IBM 은 헹켈의 사례로서 하드웨어와 소프트웨어, 두 마리의 토끼를 동시에 잡는

쾌거를 맛 볼 수 있었다.

이렇게나 빅데이터에 대한 수요는 많은 사례로 증거되고 있다. 하지만 이에 대한

빅데이터 분석가는 한없이 부족하다고 한다. 빅데이터 유행은 단순 물거품이 아닌

앞으로 지속적으로 유지될 트렌드임에도 불구하고 드넓은 빅데이터라는 광야에 있어

이를 이끌어 갈 분석가가 부족한 것은 매우 아이러니한 상황이다.

포레스터 리서치의 분석가 제임스 코빌러스는 툴을 가지고 데이터를 분석하는 방법을

알고 있는 인재를 찾는 일이 빅 데이터 분석 시스템을 구축할 때 맞닥뜨리게 되는 가장

큰 장벽이라고 전한 바 있다.

빅데이터에서는 탄탄한 데이터 설계가 매우 중요하다. 이를 위해서는 통계 모델

전문가, 텍스트 마이닝 전문가, 기타 감성 분석 전문가를 채용해야 한다. 그렇기에

빅데이터 전문가들은 대부분 기술에 국한된 전문가이기 보다는 인문학, 사회과학,

심지어 예술분야 까지 섭렵한 전문가인 경우가 많다. 빅데이터의 넓은 스케일 만큼

넓은 분야를 꿰차고 있어야 하기 때문이다.

그렇기에, 이런 인재들에 대한 공급 부족에 시달리게 될 전망이라고 한다.

맥킨지앤컴퍼니에 따르면, 미국에서만 2018 년까지 14 만~20 만 명의 빅데이터 분석

전문가 부족 현상을 겪게 될 것으로 추정된다고 한다. 또한, 빅데이터 분석을 통해

효과적인 의사결정을 내릴 수 있는 노하우를 갖춘 150 만 명의 매니저와 애널리스트가

필요할 전망이라고 한다. 데이터를 저장하고 분석하게 되는 아주 많은 하드웨어를

관리할 전문가도 필요하다. 마이트랜드에 따르면, 10 개 정도의 서버가 아닌 100 개가

넘는 서버를 관리하는 문제는 기본적으로 차원이 다른 문제라고 한다. 어쩌면 지역

대학이나 연구소에서 수퍼컴퓨터 관리자 몇 명을 채용해야 할 수도 있는 상황이 올

수도 있는 것 이다. 그 만큼 빅데이터의 양은 기하급수적으로 늘어났기 때문이다.

산업혁명 : 철과 석탄

IT 혁명 : 인터넷

Big Data : The next frontier for innovation, competion, and productivity, Mckinsey, 2011.05

Mobile Smart 혁명 : 빅데이터

인과관계에 있어 원인과 결과가 있듯이, 혁명이라는 결과가 따를 때 에는 그에 준하는

원인이 필요하다. 그것은 바로 산업혁명에는 철과 석탄, IT 혁명에는 인터넷, Mobile

Smart 혁명에는 빅데이터라고 볼 수 있다.

하지만 빅데이터는 단지 혁명의 원인으로만 존재하는 수동적인 데이터만은 아니다.

앞서 연이어 언급했던 사례와, 수치적 결과를 통해본 빅데이터는 다루는 분석자가

누구냐에 따라 그 의미가 크게 확대될 수도(혹은 축소될 수도)있다. 하지만 현실은

어떠할까. 아직까지는 이렇게나 큰 금광 앞에서 올레를 외치고 있는 사람은(그 비대한

데이터에 비해) 소수라고 볼 수 있다.

웹에서의 사용자는 두 분류로 나뉠 수 있다. 웹에서 컨텐츠를 생산해내는 생산자와,

이를 소비하는 소비자. 잘만 캐내면 금은보화와 같은 가치를 생산해낼 수 있는

빅데이터의 시대에서 우리는 어떤 태도를 취하고 있을까. 빅데이터를 그저 잡다한

잡동사니로 취급하며 쉽게 소비하고 있을까, 아니면 넓디 넓은 광산으로 상대하여

새로운 Foresight 를 캐내는 생산적인 공간으로 인식하고 있을까.

성경 속에서 ‘광야에서 외치는 세례 요한’ 은 비단 광야를 ‘선점’하고 ‘독점’ 했기에

기록된 것이 아니라 ‘올바른 예견력’ 을 지녔기에 성경 속에서 의미 있게 기록될 수

있었다. 우리 사회에(비단 비즈니스와 정부 차원에 국한되는 것이 아닌) 있어

빅데이터라는 광야의 ‘선지자, 예언자’는 얼마나 존재할 수 있을까. 빅데이터 경쟁은

먼저 데이터를 많이 소유했다고, 자주 분석했다고, 투자를 많이 했다고 승부수를 볼 수

없는 분야이다. 빅데이터를 올바르게 읽고, 해석하며, 그에 따른 미래를 바라보는 것이

바로 올바른 ‘예견의 과정’이라고 할 수 있다.

우리 삶 속에 녹아있는 광대한 양의 빅데이터, 이것이 우리를 선지자로 만들지

단순한 방종자로 만들지는 바로 빅데이터를 마주한 우리들의 몫이 아닐까 생각한다.