빅데이터 전문가 학습법

이현종 ㈜빅스터 대표이사/컨설턴트 http://www.bigster.co.kr

빅데이터 세미나

빅데이터 커뮤니티 http://www.bicdata.com

빅데이터 정의

IT Analysis

Data

Business Domain Knowledge

4V

3V

빅데이터란, 기존 데이터에 비해 너무 방대해 이전 방법이나 도구로 수집, 저장, 검색, 분석, 시각화 등이 어려운 정형 또는 비정형 데이터 세트 표출된 비즈니스 이슈를 IT 기술의 도움을 받아 데이터 분석을 통해 해결해 나가는 의사결정 지원 도구

※ 빅데이터는 비즈니스 이슈 도출부터 데이터 획득, 분석 및 ROI 산출까지 약 3년~5년 소요

빅데이터 커뮤니티 http://www.bicdata.com

영 역 내 용 전문가

Business 해결하거나 개선되어야 할 업무 또는 의사결정 내용 활용가

Domain Knowledge 업무 또는 의사결정 내용에 대한 상세 지식 현업전문가

Analysis 통계분석 또는 데이터마이닝 등을 통한 의미 파악 분석가

IT 자연언어처리, SQL 또는 병렬처리 등의 테크닉 기술자

Data 3V의 속성을 지닌 휴먼/시스템/소셜 빅데이터

(3V : Volume, Velocity, Variety) 데이터 엔지니어

빅데이터는 기존의 IT 사업 분야와는 달리 통계 및 데이터 마이닝 전문으로 하는 분석가를 필요로 하며, 초기 외부 사업자 참여 후 자체 교육 등을 통해 내부 인력을 양성하는 추세임

빅데이터 전문가 유형

※ 세부적인 전문가 유형으로 공간 빅데이터 분석가, 마케팅 스토리텔러, 분석 결과 시각화 디자이너, 전략 컨설턴트 등 있음

빅데이터 커뮤니티 http://www.bicdata.com

빅데이터 소스에 대한 이해

휴먼 빅데이터

시스템 빅데이터 (행태/상태)

소셜 빅데이터 (관계/문맥)

나의 관심 데이터는 무엇일까?

내부 데이터

외부 데이터

IoT 데이터

빅데이터를 촉발

빅데이터 커뮤니티 http://www.bicdata.com

빅데이터 분석 영역

빅데이터 분석은 전통적인 통계분석, 대용량 데이터로부터의 데이터 마이닝, 학습된 데이터로부터의 머신러닝(최근 딥러닝) 등 3대 영역으로 나늬어 역할이 수행되고 있음

빅데이터 커뮤니티 http://www.bicdata.com

빅데이터 전문가 학습 단계

학습 단계

분석 도구에 대한 이해와 체득화

분석 기법에 대한 체

계적 이해와 실습

활용 모델 발굴 및 데이터 획득 연습

경진대회 참여 등 실전 프로젝트 경험

SAS, SPSS, R 등 통계 패키지

기능 습득

NLP, 병렬처리 기능 습득

통계 패키지

병렬처리 도구

기초통계분석, 추론통계분석,

데이터마이닝, 머신러닝 등

각 분석기법에 대한 적용 가능

영역 이해 및 샘플 데이터를

활용한 반복적인 실습과 결과

해석 연습

업무 이해를 통해 빅데이터

활용 및 분석 주제에 대한 도출

연습

공공데이터, 소셜데이터,

숨은데이터 등 실제 데이터

획득 및 가공

국내외 각종 빅데이터 분석 및

모델링 경진대회 참여

빅데이터 분석 기업에서 인턴

근무 등을 통해 실전 프로젝트

경험

HDFS

Hive Java Pig

Job

Node

Task

Tracker

Task

Tracker Task

Tracker

Task

Tracker

Jar file HQL Latin script

MapReduce MapReduce

빅데이터 전문가가 되기 위한 학습 단계로 1. 분석 도구에 대한 이해와 체득화, 2. 분석 기법에 대한 체계적 이해와 실습, 3. 활용 모델 발굴 및 데이터 획득 연습, 4. 경진대회 참여 등 실전 프로젝트 경험 순

약 3년 이상의 경험 필요

빅데이터 커뮤니티 http://www.bicdata.com

바람직한 빅데이터 교육 과정

수 준 월 주 IT Business Analysis

초급 (기본교육) 학습기간 M월

1

2

3

중급 (큐레이션) 체득기간

4

M+1월

1

2

3

고급 (프로젝트) 수행기간

4

M+2월

1

2

응용 (시범과제) 평가기간

3

4

빅데이터 전문가가 되기 위한 교육 과정으로 단계별, 수준별, 분야별 학습과 실습을 통해 기초 기능 교육을 포함한 프로젝트 경험 및 보고서 작성, 결과 공유를 하게 됨

빅데이터 커뮤니티 http://www.bicdata.com

빅데이터의 미래 발전 방향

시간과 장소에 구애받음 없이 사람과 사물이 무한 연결되어 뇌 감각 인지에 기반한 커뮤니케이션 수행 및 축적된 빅데이터 분석 및 활용에 따른 실시간적이고 무작위적인 인공지능 서비스 향유

Bigdata

빅데이터 커뮤니티 http://www.bicdata.com

감사합니다

빅데이터 컨설팅, 분석, 교육 & 인프라 010-2205-6660

lee.hj@bigster.co.kr

http://www.bigster.co.kr

http://www.bicdata.com

이 현 종 (주)빅스터, 대표이사/컨설턴트