시나리오로 알아보는 빅데이터 대응전략(배포용) dh kim-2013-3-21

빅데이터빅데이터 비즈니스비즈니스 략략 세미나세미나

CO

NTEN

TS Big Data에 대한 업의 인식

Big Data 근 방식

Big Data Use Case

CO

NTEN

TS

Big Data Use Case

펜타의 안

맺음말

Big Data에 대한 기업의 인식

빅데이터에 대한 관심도 폭발- 전세계(2008.1~2013.3.20)

47

63

20

3

Source: Google Trends

- 대한민국(2008.1~2013.3.20)

59

411


2013년 IT분야 Top 이슈들

4


다양한 빅데이터의 정의

기관 빅데이터정의 시사점

McKinsey(2011)

일반적인데이터베이스소프트웨어가저장,관리,

분석할수있는범위를초과하는규모의데이터데이터규모에초점(정량적측면강조)

IDC(2011)

다양한종류의대규모데이터로부터저렴한비용

으로 가치를 추출하고 데이터의 초고속 수집, 발굴,분석을지원하도록고안된차세대기술및아키텍처

데이터규모가아닌 업무수행에초점, 특징으로3V(Variety,Velocity,Volume)또는 4V(3V+Value)

Wikipedia

기존 데이터베이스 관리도구의 데이터 수집ㆍ저장ㆍ관리ㆍ분석의 역량을 넘어서는 대량의 정형 또는 데이터 규모 및 업무 수행의 관점에서 통합된

5

Wikipediaㆍ관리ㆍ분석의 역량을 넘어서는 대량의 정형 또는비정형데이터세트 및이러한데이터로부터가치를추출하고결과를분석하는기술

데이터 규모 및 업무 수행의 관점에서 통합된정의

Gartner기존 3V(Velocity, Volume, Variety)에 복잡성(Complexity)추가

구조화되지 않은 데이터, 데이터 저장방식 차이,중복성문제등데이터관리및처리복잡성심화로복잡성을특성으로추가

IBM기존3V(Velocity,Volume,Variety)에데이터의진실성(Veracity)추가

진실성이 확보된 데이터를 바탕으로 분석해야한다는데이터품질측면의특성추가

최근동향수많은정형데이터혹은비정형데이터를수집하면,분명한 패턴이 나오게 되며, 이를 통해 수집된 데이터를기반으로한예측분석

매출 증가,비용 절감,고객만족 증대라는 비즈니스가치를창출할수있는패턴발견에집중

Source: NIPA, ‘빅 데이터의 핵심 플랫폼, 기업용 하둡 동향’, 2013.2


벤더들의 움직임

6

Source: http://kimws.wordpress.com/, 2012.6


빅데이터 업체의 난립- 39개 조사 대상 업체 중, 분석∙처리 SW 기업이 90%

7

Source: NIPA, 빅데이터 분류 체계, 2012.12

Big Data 접근 방식

1초 동안 인터넷에 무슨 일이 벌어지나?

8

Source: Intel, What Happens In An Internet Minute?

데이터의 폭발(Data Flooding): 분석에 활용될 수 있는 다양한 형태의 데이터 증가


New Data Sources & Categories

•통화 기록 (Call Data Records)

•웹클릭 (Web Clickstreams)

•소셜 미디어 (Social Media)

•비디오/오디오 (Video/Audio)

9

•네트워크 로그 (Network Logs)

•위성 수신 (Satellite Feeds)

•GPS 정보 (GPS Data)

•센서 정보 (Sensor Readings)

•Others……

•XML 문서 (XML Documents)

•이메일 (email)

•이벤트 정보 (Event Data)

•판매 정보 (Sales Data)

기업의 대응: 대용량 데이터 수용을 위한 기업 인프라의 지속적 변화


RDBMS(Gigabytes)

Data Warehouse(Terabytes)

Next Generation Big Data Infra(Petabytes)

대용량 데이터활용 목적은 동일

10

Next GenerationBig Data Platform(Hadoop Based)


빅데이터 적용의 최우선 순위는 인프라의 변화부터….

Complex & Social Data(Blogs, Social Media, Products)

11

모든 데이터의 수용 통한 빅데이터에 대한 가시성 확보Revenue ↑/ Cost ↓/Productivity ↑ / Competitive Advantage ↑


빅데이터 접근 방향

통합 비즈니스 인사이트(Biz. Insight Factory)

연관분석 기반상시 모니터링 대응체계(Infra Data Monitoring)

웹로그

GPS

정보계

분석계

확장성

12

SocialClick

Streams

정보계

기간계

CDR

데이터의활용

비용절감


빅데이터 접근 방향

정형 데이터

• 기간계

• 정보계

• 기타 업무시스템

• 관리계

• 분석계

반정형 데이터

• 웹/보안/센서

• Any Machine

비정형 데이터

• 텍스트/이미지

/문서/소셜

• 그 외 다양한 데이터

13

차세대빅데이터 플랫폼 차세대 빅데이터 플랫폼


빅데이터 접근 방향: Operational Intelligence기존에 버려지거나 활용되지 못하던 대량의 데이터를 비용 효율적으로 처리·분석함으로써능동적인 대응 체계 및 가시성을 확보하여 통합 IT 환경 개선

14


빅데이터 접근 방향: Business Intelligence기존 DW와 비용 효율적인 빅데이터 기술을 결합하여 고화된 BI 실현 및 비정형 데이터를추가 수용한 통합 데이터 기반의 고급 분석 플랫폼을 통해 새로운 통찰력 확보

15

Big Data Use Case

Operational Intelligence(OI)

Operational Intelligence 필요 이유

• 모든 인프라 정보, 비정형 데이터를 활용하여

고도화된 새로운 인사이트 도출

16

• 각각의 데이터 소스와 이벤트들간의 상관관계를

통해 패턴 분석 및 의미 있는 분석결과 도출

• 전수 데이터 분석으로 이상 징후 탐지 시간 단축

• 현재 데이터의 실시간 모니터링과 과거 데이터

분석을 연계한 효과적인 대응체계 확보

Big Data Use Case

OI Use Case #1: 생산 설비 데이터 기반 품질 고도화

생산설비대용량센서데이터(측정데이터)의폭발적증가

• MES 서버의성능병목현상이발생함에따라raw data의전처리, 정형화처리불가

• 지속적으로증가하는머신데이터의장기보관이불가

• 공정처리에서의문제점인식은사후분석에서만가능

• 기존RDBMS로는즉각적원인파악이어려운한계점

Data 모니터링으로불량원인탐지및생산성, 품질, 수율, 오류등

능동적공정관리

• 비용효율적scale-out 병렬처리구조로데이터증가에유연한대응

• 공정처리False alarm에대한빠른대응/데이터처리프로세스효율화

• MES 시스템부담최소화로병목현상개선및성능향상

• 중장기관점의대량데이터처리에대한선제적대응기반확보

17

모니터링 (Pre-Analysis)

연계분석 (Post-Analysis)

Big Data Use Case

OI Use Case #2: 중앙 집중 통합 보안 데이터 관리

기존에여러시스템에흩어져있던보안혹은시스템로그들에

대한중압집중관리

• Silo로존재하는다수의보안/네트워크/서버관리솔루션의현황및

문제점파악한계

• 각각의관리솔루션에사용되는RDBMS의라이선스비용증가와용량, 성능, 확장성한계

모니터링Factor에대한추이분석기반서비스선재대응및

기존시스템과의연동으로End-To-End 모니터링

• 다수의관리솔루션데이터의통합및연계분석으로직관적이고

정확한이슈대응체계확보

• 장기트랜드및패턴분석으로관리기준치를지속적으로보정하여

모니터링개선효과및서비스수요예측/장애예방등선제적대응

18

데이터 수집 데이터 처리 / 저장

통합 모니터링

데이터 분석 / 시각화

Big Data Use Case

OI Use Case #3: 통합 웹 로그 데이터 관리

기존에 활용되지않은대량의시스템웹로그저장/처리를통한

새로운통찰력확보및운영효율성의극대화

• 기존RDBMS에서수용불가능한대량의웹로그데이터의수용

• 웹서버분석통한시간대별장애분석통한장애예측

• 다양한Smart Devices 에서발생하는로그데이터 History를기존시스

템과의연계분석으로제품/서비스중심의새로운통찰력확보

비용효율적 방식의대량의로그데이터저장/처리/분석으로다양한

빅데이터분석인프라확보

• 지속적으로관리되어야하는로그데이터들에대한효율적인인프라제공

à채널의선호도/ 시간대별장애/ 고객아이디별장비오류/

고객선호서비스

데이터 수집 데이터 처리 / 저장 데이터 분석 / 시각화

19


Big Data Use Case

OI Use Case #4: 컴플라이언스 대응 시스템


컴플라이언스혹은감사업무에서즉각적인정보조회및

역추적통한응대

• Silo 시스템에서비정형정보는존재하고있으나, 감사혹은컴플라이언스관련업무시정보에대한즉각적인역추적/검색불가

비용효율적 인프라 도입으로 컴플라이언스 혹은 감사관련 업무들에 대한 즉각적 응대• 기존에 분산 관리된 정보들을 통합 저장소에 저장, 처리함으로써 업무의 효율성 극대화

• 비효율적이고 시간이 오래 소요되는 기존의 작업 대비 즉각적인 자료 검색으로 업무 생산성 증대 및 빠른 업무처리 가능

20

컴플라이언스 통합 저장소

KMS ECM

Email Security

GroupwareMessenger

Big Data Use Case

OI Use Case #5: 실시간 모니터링 시스템과의 연계

지속적데이터증가로인한 라이선스비용증가

• 데이터량증가에따른라이선스비용과다증가

• 최근데이터만유지목적으로인한 추이분석, 변경관리불가

• ILM 관점에서의비용효율적장기데이터보관/관리필요

부족한요소들에대한상호보완

• 요건에따라필터링한데이터전달통한라이선스비용절감, 성능저하

방지

• 데이터원본장기보관통한상세분석수행

• 실시간모니터링과장기로그데이터분석기반Top-down View

• 기존통계분석, 마이닝툴, OLAP 툴과의연동

3rd Party 연계통한 효율성 증대

21

3rd Party 연계통한 효율성 증대

Big Data Use Case

대표 사례: 차량 제어데이터 분석 프로젝트(현대자동차/Volvo)- 자동차 제어용 센터 데이터의 NDAP 저장 및 제어 데이터 분석 환경 구축

22

Big Data Use Case

Business Intelligence(BI)

Business Intelligence 필요 이유

• 데이터처리량급증

• 기존High-end시스템+ RDBMS 기반비용대비성능의비효율에따른문제발생

23

• 시스템증설비용및유지보수비용과다발생

• 다양한소스데이터수용이슈

• 비정형데이터수용에적합하지않은RDBMS 환경

• 가치있는데이터의손실발생, 비정형데이터분석요건발생

Big Data Use Case

BI Use Case #1: 기존 DW 시스템 효율성 극대화 위한 Hybrid DW


기존DW 시스템효율성극대화통한빅데이터실현의필요성

• 데이터급증에따른기존RDBMS 기반DW로의수용한계

• 기존하이엔드시스템+ RDBMS 기반비용대비성능 비효율성문제

발생

• 다양한대량의데이터의추가수용새로운비즈니스가치확보

기존DW 효율성확보및빅데이터실현위한Dual Infra 접근

• 분산수집및처리를통한기존DW 시스템효율성/성능극대화

• 인프라증설/ 유지보수구조개선을통한TCO 절감

• 다양한형태의비정형데이터를추가수용통한연계분석기반

새로운비즈니스가치창출

24


Big Data Use Case

BI Use Case #2: 통합 빅데이터 분석 플랫폼

대용량데이터분석에대한요구사항은증가하고있으나고비용

구조인DW 구축에대한부담

• 비정형/반정형데이터중심의분석요구사항증가

• 인프라제약으로장기간저장하지못하고버려지는데이터이슈

다양한데이터로부터새로운가치창출/빅데이터처리기술기반확보

• 대량의비정형/반정형데이터기반고객행동분석

• 기존샘플데이터분석을벗어난전수데이터분석으로보다신뢰성높은정확

한비즈니스통찰력도출

• 데이터장기보관에따른추이분석및변경관리가능


25


Big Data Use Case

BI Use Case #3: 데이터 품질 관리

전행정보품질관리체계프로세스및시스템으로데이터

품질개선 (전행적정보관리시스템부재)

• 개별적/ 임의적정보품질관리및이슈

• 개별업무관점시스템확장으로인한통합관리부재

• 고비용DW환경에서TCO와성능문제

데이터 품질관리를 전행 데이터의 통합

• 계정계 DB와 정보계 DB의 통합적 데이터 품질관리

• 시스템간 데이터 흐름에 대한 모니터링 및 역 추적

• 시스템별 Big Query로 발생되는 과부하 해결

• 연계 분석으로 새로운 비즈니스 가치 확보


26


계정계 DB

정보계 DB

데이터웨어하우스

전행 Data의 통합

Big Data Use Case

BI Use Case #4: 통합 소셜 데이터 저장소 / 바이오인포메틱스

통합 소셜 데이터 저장소

다양한 소셜미디어에서 발생하는 대량의비정형 데이

터를 통합 관리하여 데이터에 대한 보다 빠른 대응을

할수있으며,장단기적인분석이가능하여특정이벤트

/제품평판등에대한추이파악가능

27

바이오인포메틱스

기존 고비용 IT 인프라로의 접근은 기하급수적으로 증

가하는 데이터를 수용하기에는 부적합함에 따라 저비

용,고효율분석을현실화할수있는대용량데이터인

프라제공

Big Data Use Case

대표 사례: MF/DW와 연계(Sears Holdings)

- Approach

28

Source: 2012 HADOOP Summit

Big Data Use Case

대표 사례: MF/DW와 연계(Sears Holdings)

- Architecture(Scale-out 아키텍처)

29


Big Data Use Case

대표 사례: MF/DW와의 연계(Sears Holdings)

- The Learning

30


펜타의 제안

• 빅데이터 시대의 BI

31

• 빅데이터 도입 시 체크리스트

이해

당사자점검사항 설명

고객

명확한도입목적 활용전략,ROI/TCO, Roadmap마련

접근사고의전환 비즈니스이슈확인후,빅데이터보유여부확인

사례의선별분석 기존DW,검색,분석솔루션,CRM등사례의둔갑

접근방식의Mind전환SI프로젝트로접근하면필패,경험및기술자산화를위한인적자원확보필요

펜타의 제안

접근방식의Mind전환인적자원확보필요

기존데이터시스템활용방안 레거시시스템의활용,마이그레이션,(SQL,스키마등)이슈

솔루션에대한현실적이해오픈 소스, 에코시스템에 대한 이해, 빅 벤더의 패키지 제품이라생각하면곤란

솔루션

업체

빅데이터관련핵심기술역량 빅데이터특성반영한아키텍처설계및구현능력

구축사례및기술이관다양한 산업군에서 PoC 경험, 실제 구현 사례 보유, 기술전수능력

고객요구대응속도 현장에서의 요구의즉각적인응대와솔루션에반영능력

공통 수평적파트너십 갑 ∙을의관계가아닌공동체라는협력관계

32/6

펜타의 제안

빅데이터 플랫폼 구현 조건

RDBMS RDBMS 고비용고비용 구조구조

기존기존 DW/BI DW/BI 시스템에서시스템에서대용량대용량 데이터데이터 수용수용

기존기존 DW/BI DW/BI 확장확장 / / 성능성능 개선개선

대용량대용량 분석통한분석통한심도심도 있는있는 통찰력통찰력 확보확보

기업 환경에 맞는 다양한 빅데이터 기술 검토 및 Skill Set 필요

33

혼재된혼재된 데이터들에데이터들에 대한대한심도심도 있는있는 고급고급 분석분석

기존기존 BI Tool BI Tool 활용활용

새로운새로운 정형정형//비정형비정형데이터데이터 수용수용

대용량대용량 데이터데이터수집수집//처리처리 수행수행 성능성능

비즈니스비즈니스 프로세스프로세스모니터링모니터링 강화강화

DW Appliance DW Appliance 대비대비도입도입//운영운영 비용비용 절감절감

비즈니스비즈니스 프로세스프로세스모니터링모니터링 강화강화

데이터데이터 증가에증가에 따른따른확장성확장성 / / 성능성능 확보확보

펜타의 제안

빅데이터 실현 단계: 단계적 접근 필요

•2 단계: 기존 BI Tool/Biz Application과 연계

•3 단계: 고급분석 (대용량 데이터와 연계분석)

. 대용량 데이터 확보를 통해 새로운 패턴 혹은 비즈니스 가치 발

견 시 기존 DW 고급분석 영역과 연계, 새로운 패턴 확보 가능AdvancedAnalytics

34

•1 단계: 기업 내∙외부 대용량 데이터 통합

. 분산 혹은 시스템 별 관리되지 않은 데이터 통합 통해 대량의

정보에 대한 빠른 Access 및 Search을 가능하게 활용도 높임

•2 단계: 기존 BI Tool/Biz Application과 연계

. 기존 시스템과의 연계하여 장기적인 관점에서 추이분석을 통한

특정 패턴에 대한 모니터링 통한 업무의 효율성 극대화

OLAP / ReportVisualization / Biz. Application

Big DataInfrastructure

펜타의 제안

• Hybrid DW 아키텍처

35

펜타의 제안

• Hybrid DW 아키텍처 구성 요소

구분 역할및기능 비고

①⑨ 실시간분석을지원하기위한실시간툴및통계ECTL, CDC, EII, Reporting 분석, 통계 분석툴

②③⑬BigData분석을위한정보원천의확대,정보포맷유형별수집도구,텍스트마이닝을통한KeyWord분석등

④사외정보와 사내정보간의 연계Bridge 역할을 할 수 있는 주요KeyValues/연계식별자,KeyWords

36

④KeyValues/연계식별자,KeyWords

⑤ 사내.외정보연계를통한정보취합/활용지원

⑥Case/Scenario기반의의사결정및예측을지원할수있도록구성된DB영역

테스트베드의성격포함

⑦⑧장기간의Historical정보,성능및비용이저렴한HW활용,단,대량의정보를분석하여야하므로이에특화된분석도구필요

응답속도에민감하지않은분석

⑩⑪⑫시뮬레이션 가능 모듈, Social Target Marketing 수행 기능, 경영성과및KPI등관리

맺음말

• Big Data is Big Traffic이 되지 않게...

– 기업의 활용 기반의 빅 데이터 도입 → Yes

– 빅 데이터 도입에 따른 신규 서비스 도출 → No

• 가장 현실적이고 현명한 도구의 선택은 하둡

• 믿고 같이 일할 수 있는 파트너로의 선택이 정말 중요

Big Data의 접근 은

이론적 접근 보다는 Pilot을 통해

직접 느끼고

펜타와 함께 고민하십시오!!!

37