Saltlu

x Annual Confe

rence

2012

손에 잡히는 ‘빅 데이터’

2012.04.25

솔트룩스 이경일

Saltlux Annual Conference 2012

Saltlu

x Annual Confe

rence

2012

2

9 Myths of Big Data

전설 속의 빅 데이터 구미호

Saltlu

x Annual Confe

rence

2012

3

“빅 데이터는 규모가

정말 큰 데이터

를 말한다.”

미신 #1

“빅 데이터는 처리의

난이도가 정말

큰 데이터를 말한다”

진실 #1

“4V := Volume, Velocity, Variety + Value”

Saltlu

x Annual Confe

rence

2012

4

“더 큰 데이터에서

더 큰 인사이트를

얻을 수 있다”

미신 #2

“여전히 의미 있는

데이터를 잘 선택하는

것이 더 중요하다”

진실 #2

“No Garbage-in, Gold-out” - At least goldstone-in

Saltlu

x Annual Confe

rence

2012

5

“빅 데이터 분석은

소셜 데이터(SNS)

분석을 말한다”

미신 #3

“소셜 데이터는

빅 데이터 소스 중

일부일 뿐이다”

진실 #3

“It is not enough to understand the World”

Saltlu

x Annual Confe

rence

2012

6

“빅 데이터 분석의

핵심은 미래 예측

에 있다”

미신 #4

“현 상황의 올바른

이해와 최적화가

핵심이다”

진실 #4

“The best way to predict the future is to create it”

Saltlu

x Annual Confe

rence

2012

7

“성공적 빅 데이터

분석은 신기술 이해

와 적용에서 시작된다”

미신 #5

“명확한 목표 설정과

사람 중심의 기계와

협업이 성공을 좌우한다”

진실 #5

“People People People under the Clear Vision"

Saltlu

x Annual Confe

rence

2012

8

“빅 데이터 처리는

하둡(Hadoop)의

사용이 필수적이다”

미신 #6

“하둡은 필요 시

사용되는 도구가

될 것이다”

진실 #6

“제발, 소 잡는 칼로 닭 잡지 말자"

Saltlu

x Annual Confe

rence

2012

9

“빅 데이터 기술은

거대 IT 시장을

만들어 줄 것이다”

미신 #7

“빅 데이터 가치를

서비스로 연결한

소수만 승리할 것이다”

진실 #7

“It’s not Buzz, but be careful“ - you wouldn’t be.

Saltlu

x Annual Confe

rence

2012

10

“빅 데이터 사업은

기존 BI 사업이

확장, 발전된 것이다”

미신 #8

“BI는 응용 중 하나,

스트림, 그래프, 비정형

빅 데이터 분석 등,

새 가치를 추구한다”

진실 #8

“It’s Not a Old Wine in New Bottle!“

Saltlu

x Annual Confe

rence

2012

11

“빅 데이터 분석은

분석 전문가와

경영자를 위한 것이다”

미신 #9

“빅 데이터 가치

평가와 최종 수혜자는

일반인이다”

진실 #9

“Invisible and Calm Big Data Analytics“

Saltlu

x Annual Confe

rence

2012

12

Applications Working on Big Data

Saltlu

x Annual Confe

rence

2012

빅 데이터 분석 응용 사례

13

실시간성

비정형성

소셜 미디어 분석 (트랜드, 감성, 이슈 분석 외)

금융, 통신 부정 사용 감지

도시 관제, 재난 대응

모바일 서비스 개인화

국방, 보안 관제 / eDiscovery

공공 정책 발굴, 관리

고객, 시민 목소리 (VOC) 분석

의료, 헬스케어 서비스

1s

1m

1h

1d

1w

기술, 학술 정보 분석

정형 반정형 비정형

Saltlu

x Annual Confe

rence

2012

빅 데이터 분석 응용 사례

14

공공 데이터

소셜 데이터 기업 데이터

기업 평판 분석

사회 이슈 분석

의료 정책 분석 복지 서비스

서비스 개인화

국가 정책 최적화

기업 위험 관리

e-Discovery

금융 사고 방지

마케팅 최적화

고객 목소리 분석

범죄 예방

질병 예방

국방, 안보

도시 관제

사업 전략 최적화

Saltlu

x Annual Confe

rence

2012

통신 빅 데이터 : 개인화, 맞춤 추천

15

Saltlu

x Annual Confe

rence

2012

16

하이브리드 시맨틱 분석 기술 적용

Saltlu

x Annual Confe

rence

2012

17 17

기업 빅 데이터 : 통합 정보 검색/분석

Saltlu

x Annual Confe

rence

2012

18

기업 빅 데이터 : e-Discovery & Compliance

Saltlu

x Annual Confe

rence

2012

19

고객 빅 데이터 : 고객 목소리 분석(VOC)

Saltlu

x Annual Confe

rence

2012

20

기술 빅 데이터 : 트랜드 센싱

Saltlu

x Annual Confe

rence

2012

21

학술 빅 데이터 : 전문가 추천

Saltlu

x Annual Confe

rence

2012

소셜 빅 데이터 : 트랜드, 평판 분석

22

TrueStory.co.kr

Saltlu

x Annual Confe

rence

2012

23

국방/안보 빅 데이터 : 정보 분석

23

Saltlu

x Annual Confe

rence

2012

Sensor Monitoring Discover Leakage Area

Infer Leakage Pipe Link Automatic Alert Recom. Detour Path

Leakage Detection

24

스마트 시티 빅 데이터 : 매설물 관리

Saltlu

x Annual Confe

rence

2012

25

Traffic data from Milano (Italy)

Data ranging from Mar. 07 to July 09

5 min. sampling rate for flow & speed

Traffic flow & speed from

209 sensors that are able to classify vehicles, and

757 non classifying sensors

Weather data provided from http://www.ilmeteo.it

1 hour sampling rate for weather data

Milano City Sensor Map

Sensors – Crossroads – Street Categories (multi-colored)

스마트 시티 빅 데이터 : 교통 최적화

• 이탈리아 밀라노에 대한 솔트룩스와 독일 지맨스의 협력 프로젝트

• 교통 센서 네트워크 기반, 교통 흐름 예측과 최적 경로 추천 (2시간, 90%)

• 스트림 데이터에 대해, 온톨로지와 기계학습(ML) 기술을 결합

Saltlu

x Annual Confe

rence

2012

26

Understanding Big Data Analytics

Saltlu

x Annual Confe

rence

2012

Raw Data Collection

Raw Data Archiving

Meta-data Extraction/ Annotation

Keyword & Topic

Extraction

Data Classification

Raw Data & Meta-data Indexing

Searching & Querying (Selection)

Induction & Deduction

Network & Trend Analysis

User Profiling

(behav. prof.)

Sensing & Forecasting

Visualization & Interaction

Crawling

Open API

Data model

Cloud tech

Wrapping

Parsing

NLP, ML

Lang re-src

Taxonomy

ML(SVM..)

Idx model

Cloud tech

Federation

Ranking

Models

Rules

Algorithm

Statistics

It’s so complicate and sophisticate process

User Model

Algo/Stat.

S/F-Model

Algo./Stat.

UX Model

Algorithm

27

빅 데이터 분석 절차는? – 소셜미디어 사례

Saltlu

x Annual Confe

rence

2012

28

어떤 종류의 데이터가 있는가?

King of Data : Linking Open Data

+ 소셜 미디어 데이터

+ 민간/기업 보유 데이터

+ 비공개 정부 데이터

공개된 공공/학술 데이터

Saltlu

x Annual Confe

rence

2012

29

Enterprise Strategy Group, 2010

그 중의 대부분은 비정형 빅 데이터

80~90%가 비정형 빅 데이터

그럼에도 불구하고 비정형 데이터 기반한 분석과 의사 결정에 취약

결국, 빅 데이터 분석의 진정한 성공은 비정형 데이터와

정형 데이터의 의미적으로 통합 분석에 달림

Saltlu

x Annual Confe

rence

2012

30

경험해 보지 못한 스트림 데이터 세상

센서 네트워크, 소셜 네트워크, 데이터 웹, M2M…

Saltlu

x Annual Confe

rence

2012

31

수집방법 휴대전화 이메일 논문

특허 뉴스 블로그

인터넷

카페 트위터 패이스북 포스퀘어

Legacy DB ○ ○ ○ △ Ⅹ Ⅹ Ⅹ Ⅹ Ⅹ

Crawling Ⅹ Ⅹ △ ○ ○ △ △ △ △

Feeding (RSS) Ⅹ Ⅹ Ⅹ ○ ○ △ Ⅹ Ⅹ Ⅹ

Push (Streaming) Ⅹ Ⅹ Ⅹ △ Ⅹ Ⅹ △ Ⅹ Ⅹ

Open API Ⅹ Ⅹ ○ △ △ Ⅹ △ △ △

Agent Install △ △ Ⅹ Ⅹ Ⅹ Ⅹ △ △ Ⅹ

Col. Interval 1mins 1hrs 1mons 1hrs 6hrs 6hrs 1mins 20mins 1days

Min. Life-time 3mons 6mons 5yrs 5yrs 3yrs 2yrs 1yrs 1yrs 6mons

○:적합, △:부분적합, Ⅹ:부적합, Col. Interval:수집 간격, Min. Life-time:최소수명주기

데이터 수집과 관리 - 소셜 데이터 사례

Saltlu

x Annual Confe

rence

2012

32

데이터 저장 관리 – CAP Theorem?

By Nathan Hurst

하나의 저장소로는 일관성(consistency), 가용성(Availability),

단절내성(Partition Tolerance) 모두를 만족 시킬 수 없다.

Saltlu

x Annual Confe

rence

2012

33 Source : http://kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis

데이터 저장 관리 – Hybrid Storage?

Saltlu

x Annual Confe

rence

2012

34

어떤 분석 방법을 선택할 것인가?

귀납적inductive vs. 연역적deductive

수치적numerical vs. 해석적analytical

하향식top-down vs. 상향식bottom-up

분산화distributed vs. 병렬화parallel

Saltlu

x Annual Confe

rence

2012

Black Box (learning machine)

Training data Model

• Support vector machines • Inductive logic programming • Decision tree learning • Association rule learning • Artificial neural networks • Genetic programming

Test-data

Prediction

Model

빅 데이터 induction 기계 학습

• Clustering • Bayesian networks • Reinforcement learning • Representation learning • Sparse Dictionary Learning

35

Saltlu

x Annual Confe

rence

2012

36

빅 데이터 기계 학습 IBM Watson 사례

Saltlu

x Annual Confe

rence

2012

37

비정형 빅 데이터 기계 학습

Saltlu

x Annual Confe

rence

2012

38

Watson의 Deep QA 프로세스

One Jeopardy! question can take 2 hours on a single 2.6Ghz Core

2880-Core IBM Power750’s using UIMA-AS, Watson is answering in 2-6 seconds.

Saltlu

x Annual Confe

rence

2012

39

Data Query & Selection : 검색 VS. 추론

Saltlu

x Annual Confe

rence

2012

40

매스매티카 7과 수퍼컴퓨터 클러스터에 기반한 자연언어 질의 응답 시스템

빅 데이터 deduction 울프람|알파

• 다양한 소스에서 수집된 10조 개의 통합 데이터와 50,000 이상의 알고르즘과 모델

• 데이터 큐레이션 : 방법론, 프로세스, 도구에 기반한 사람이 직접 데이터 정제, 통합

• 1000개 이상의 도메인에 대한 데이터 큐레이션을 통해 50~100개의 도메인 모델로 축약

• 온톨로지를 통해 메타 모델 구성 : Hierarchical knowledge (entity classes, attributes)

Saltlu

x Annual Confe

rence

2012

41

모바일 데이터 deduction 애플 Siri

Saltlu

x Annual Confe

rence

2012

42

어떤 분석 방법을 선택할 것인가?

귀납적inductive + 연역적deductive

수치적numerical + 해석적analytical

하향식top-down + 상향식bottom-up

분산화distributed + 병렬화parallel

이질적 방법들의 전략적, 선택적, 통합 사용 필요!

Saltlu

x Annual Confe

rence

2012

43

스트림 데이터 하이브리드 분석

BOTTARI : Winner of Semantic Web Challenges

Saltlu

x Annual Confe

rence

2012

44

빅 데이터 분석 플랫폼 요구사항

1. 다양한 유형의 데이터 수집, 통합/융합 용이

2. 기존 데이터 소스(레거시, LOD)와의 쉬운 연동성

3. 데이터 품질 관리, 통제 가능성 (governance)

4. 데이터 선택과 테스트의 용이성 (query&selection)

5. 스트림 데이터에 대한 실시간 처리성

6. 다양한 분석 모듈의 결합 사용 가능성

7. 분석 모델링, 평가 전용 도구의 제공

8. 손쉽고, 유연한 분석 프로세스 모델링 (script)

9. 분석 과정에 데이터/모델/프로세스 변경 허용 (+ agile)

10. 분석 데이터, 모델, 프로세스의 재활용성

11. Open API제공과 응용 서비스 구현 용이

12. 쉽고 저렴한 확장성 (easy scale-out)

13. 동시에 여러 사람이 분석 작업에 참여 가능해야 함

14. 편리한 사용자 인터렉션을 통한 분석 과정/결과 이해

15. 그리고 또 기타 등등 - 웁스 T_T

Saltlu

x Annual Confe

rence

2012

45

소셜 데이터

기업 데이터

금융 데이터

통신 데이터

안보 데이터

의료 데이터

사회, 시장 트랜드 분석

고객, 시민 목소리 분석

제품, 서비스 평판 분석

경쟁자 모니터링, 분석

사업 리스크 감지, 분석

부정 사용자, 비리 감지

빅 데이터 분석 플랫폼 심층 분석 서비스 기대 효과

클라우드 컴퓨팅 인프라

데이터 수집/통합/관리 인프라

분석 기술 인프라 자연어처리, 기계학습, 통계, 시맨틱/추론

분석 서비스 컴포넌트 트랜드, 분류, 군집, 사회망, 인물, 감성

분석 워크플로우 시스템

분석 서비스 응용 및 시각화

분산, 병렬처리 인프라 하둡, NoSQL(HBASE, mongoDB, …)

실시간 마케팅 최적화

경쟁 전략 최적화

동적 비용 최적화

신 사업, 정책 발굴

위험 조기 감지 사전 대응

빅 데이터 분석 플랫폼 개념 : TrueStory 사례

생산 데이터 생산 시스템 모니터링 생산 시스템 최적화

Saltlu

x Annual Confe

rence

2012

46

VS

분석은 결과가 아니라 과정

• 분석은 일련의 복잡한 절차 : Workflow 체계 중요

• 분석가들과 기계의 협력 중요 : 분석 과정 중 전략 변경

Saltlu

x Annual Confe

rence

2012

47

빅 데이터 분석 기술

NLP

Machine Learning

Text Mining Cloud,

NoSQL

IR (Search)

Semantics

Crawling

In-memory Analytics

Statistics (R)

Visual- ization

Saltlu

x Annual Confe

rence

2012

48

• 수집/분석 클라우드 규모 : 380 CPU Cores, 1,232 GB Ram, 100TB HDD

• 원시 소셜 데이터 : 총 2.4억 건, 약 1.7 TB (2012월 3월 현재)

• 수집 속도 : 100만 건 / 일 + ∞ with EC2

• 수집 방식 : Hybrid Model (크롤링 + Open API + Agent)

• 저장 구조 : 클라우드 (NoSQL + DFS) + 데이터 3중화

미디어 수집 건수 용량

뉴 스 1,845,521 25 GB

블로그 58,499,109 1,500 GB

트위터 184,846,614 150 GB

미투데이 42,321,834 30 GB

총 계 287,513,078 1,705 GB

0

50,000

100,000

150,000

200,000

11.0

5

11.0

6

11.0

7

11.0

8

11.0

9

11.1

0

11.1

1

11.1

2

12.0

1

12.0

2

전체

뉴스

블로그

트위터

소셜 빅 데이터 분석 인프라 O2 TM

트위터

57% 블로그

24%

뉴스

1% 미투

데이

18%

원시 데이터 구성

Saltlu

x Annual Confe

rence

2012

49

빅 데이터 분석 플랫폼 TrueStory TM

Saltlu

x Annual Confe

rence

2012

[IN2]TM 플랫폼은 시맨틱 검색/마이닝을 통해

비정형 빅 데이터 거버넌스 제공

50

[IN2]Discovery 2

시맨틱 검색 엔진

[IN2]DOR

[IN2]SearchBox

사내 검색 포털 (Appliance)

[IN2]SSAMZIE

소셜서치 & 마이닝 엔진

[IN2]HBC

하이브리드 자동분류 엔진

클라우드 지원 통합 검색 엔진

Saltlu

x Annual Confe

rence

2012

의사결정

Level 5

예측성

Level 4

분석성

Level 3

발견성

Level 2

접근성

Level 1

관리성

Level 0

저장성 문서 손실을 방지할 수 있을까?

보관을 좀더 구조적으로 할 수 있을까?

빅 데이터의 체계적 관리 방안은?

원하는 정보를 빠르게 찾는 방법은?

숨겨진 정보를 정확히 검색하려면?

연관 정보의 발견과 재활용 방안은?

정보간의 상관 관계와 전문가 찾을 방법은?

세상이 어떻게 변화해 가고 무엇이 핵심인가?

기존 지식을 통해 새로운 지식 생산이 가능한가?

미래에 대한 이해와 대응 방안 제시가 가능한가?

기존

시스

템 수

준

[IN2]Discovery 2

[IN2]DOR

[IN2]SearchBox

[IN2]HBC

[IN2]SSAMZIE

[IN2]플랫폼의 빅 데이터 지능화를 통한

올바른 의사 결정 지원

51

Saltlu

x Annual Confe

rence

2012

52

Value Creation

Saltlu

x Annual Confe

rence

2012

• 환경, 소셜 데이터 분석과 이상 징후 감지

• 이슈 사전 인지와 실시간 의사 결정 지원

• 국가, 기업 경영 투명성 제고와 비용 절감

• 평판, 트랜드 분석 통한 기업 경쟁력 확보

• 상황 인지, 인공지능 기반 대국민 서비스

• 개인화, 지능화 기반 차세대 사업 모델

• 이질적 지식의 융합 분석과 신 가치 창출

• 상관 관계 이해를 통한 시행착오 최소화

• 컨버전스 패턴 분석을 통한 융합 시장 창출

• 현실 세계 데이터 기반의 패턴 분석, 전망

• 다각적 상황 고려 큰 그림 이해, 통찰 확보

• 사회 현상 이해와 시나리오 시뮬레이션

53

빅 데이터는 미래사회의 가치창출 엔진??

불확실성

리스크

스마트

융합

통찰력

대응력

경쟁력

창조력

미래 사회 특징 빅 데이터의 역할과 가치

source : NIA, 2011.12.30

Saltlu

x Annual Confe

rence

2012

54

3 + 1 Big Values take two!

품질

비용 속도 • 실시간 마케팅 최적화

• 실시간 생산, 유통 최적화

• 금융 부정 사용 감지

• 신 사업, 정책 발굴

• 경쟁 전략 최적화

• 도시관제, 재난대응

• 서비스 개인화

• VOC, 고객 이해

• 의료, 헬스케어

지속가능 sustainability

• 기업 위험 관리

• e-Discovery

• 국가 보안, 국방

• 환경 관리, 유지

Saltlu

x Annual Confe

rence

2012

55

빅 데이터 5단계 사업 모델

1단계

2단계

3단계

4단계

5단계

Saltlu

x Annual Confe

rence

2012

56

정말일까? 매킨지의 빅 데이터 가치 전망

300조 원 빅 데이터를 활용한 미국 헬스케어 1년 잠재 매출, 스페인 1년 총 헬스케어 매출의 두 배에 해당

380조 원 빅 데이터를 활용한 EU의 공공 부문 잠재 매출, 그리스 GDP보다 큰 규모로 발전 전망

600조 원 모바일 사용자의 개인 위치 정보를 활용한 소비자 잉여 발생과 기업의 이익 상승 효과

60 % 빅 데이터 활용을 통해 유통, 소매 부문의 영업 마진 및 운영 이익 증대 기대

150만 명 미국 내에서 필요한 빅 데이터에 익숙한 관리자와 분석 전문가가, 새로운 고용 증대 요소

Saltlu

x Annual Confe

rence

2012

57

최근에 IDC가 B2B/G 시장에 대해 말하길...

Big Data Phenomenon is REAL.

1. 2010년 전세계 3조 시장에서, 2015년 20조 시장으로 성장

2. 년 평균 성장률 40%로 다른 IT부문 성장의 7배에 달함

3. 서버 27.3%, 소프트웨어 34.2%, 저장소 61.4% 시장 성장

4. 현재 훈련된 빅 데이터 기술자가 매우 부족하며 이것이

시장 성장을 저해 : 클라우드 솔루션으로 해결 시도

5. 응용 서비스와 클라우드 기술 등의 발전으로 최종 사용자

들은 기술 이해 없이 편하게 사용 (IDC, March 7, 2012)

Saltlu

x Annual Confe

rence

2012

58

Big Future?

when

BigData met AI

Saltlu

x Annual Confe

rence

2012

59

(matthew Komorwski, 2010)

1/1억

진정한 혁신 > 낭비 하도록 만들기

Transistors in a CPU

100만 배

2020년 : 저장 가격 1/100, 반도체 집적도 X100 ??

Saltlu

x Annual Confe

rence

2012

60

Invisible and Calm Big Data

By Corning, 2010

Saltlu

x Annual Confe

rence

2012

61

“유일한 성공 방법은, 미래를 예측하는 것이 아니라

이미 시작된 변화를 이해, 그 시간차를 이용하는 것!"

맺 음 말