cortana analytics suite...
TRANSCRIPT
• 얼굴 인식, 이미지 인식, 감정 인식, 비디오 인식
• 음성 언어 처리, 화자 인식, Custom 언어 인식
• 자연어 처리, 감성 분석, 주제 분석, 스펠링 오류
• 복잡한 태스크 처리, 지식 탐색, 추천
• Bing 엔진을 활용한 웹/이미지/비디오/뉴스 검색, 자동완성
Machine Learning
Machine Learning – Kinect 사례
http://www.idigitaltimes.com/xbox-one-kinect-next-gen-motion-sensor-features-new-voice-commands-specs-357152
Machine Learning – 딥러닝/이미지인식 사례
http://www.forbes.com/sites/michaelthomsen/2015/02/19/microsofts-deep-learning-project-outperforms-humans-in-image-recognition/#36c44a193128
http://arxiv.org/pdf/1502.01852v1.pdf
http://blogs.microsoft.com/next/tag/deep-learning/
인공지능 연구 플랫폼으로 Minecraft 활용
http://blogs.microsoft.com/next/2016/03/13/project-aix-using-minecraft-build-intelligent-technology/http://www.etnews.com/20160315000010http://www.tweaktown.com/news/51051/micrososft-minecraft-improve-ai-research/index.htmlhttp://blog.ncsoft.com/?p=10925
Microsoft 제품/서비스 속 Machine Learning
• Clutter in Office 365스팸 분류, Infer.Net 확률모델
• Power BI자연언어로 데이터 시각화
• Cortana음성 인식/합성, 의미 추출
• Kinect적외선 이미지로 동작인식
• 윈도폰 키보드오타수정 이력을 이용해 향후 누를 키를 강조
• 윈도 태블릿 터치 인식
• 원노트 필기 인식
• 윈도 부팅시간 단축자주쓰는 앱 미리읽기
• Band저가 센서로 측정정확도 향상
• XBox 게임AI, 랭킹시스템
• Bing / SharePoint검색기능
• OneDrive사진 자동 태그
• Skype Translator실시간 양방향 통역
• Project Adam이미지 인식 : 개 품종 인식, 식물 독성여부 판단 + alpha
Windows
SMSG
LiveAds
CRM/DynamicsWindows Phone
Xbox Live
Office365
STB Malware ProtectionMicrosoft Stores
STB Commerce Risk
MessengerLCA
Exchange
YammerSkype
Bing
data managed: EBs
cluster sizes: 10s of Ks
# machines: 100s of Ks
daily I/O: >100 PBs
# internal developers: 1000s
# daily jobs: 100s of Ks
Transform data into intelligent action
인텔리전스
대시보드 및 시각화
정보 관리 빅데이터 스토어 머신러닝 및고급분석
CortanaEvent HubsHDInsight
(Hadoop and
Spark)
Stream
Analytics
Data Intelligence Action
People
Automated Systems
Apps
Web
Mobile
Bots
Bot
FrameworkSQL Data
WarehouseData Catalog
Data Lake
Analytics
Data Factory Machine
LearningData Lake Store
Cognitive
Services
Power BI
Data
Sources
Apps
Sensors
and
devices
Data
Information Management
Data
Sources
Apps
Sensors
and devices
Data
정보관리
Event Hubs
Data Catalog
Data Factory
Compose and orchestrate data services at scale
INGEST
SQL
<>
SQL
DATA SOURCES
{ }
SQL
• 데이터 파이프라인을 생성, 스케쥴, 조율, 관리
• 데이터 흐름(Lineage) 시각화
• 온프레미스와 클라우드 데이터 연결
• 데이터 파이프라인 상태 모니터링
• 클라우드 자원 관리 자동화
• Hadoop 처리를 위한 관계형 데이터 이동
• Hive, Pig 등의 커스텀 코드를 이용한 가공
정보관리
Event Hubs
Data Catalog
Data Factory
Get more value from your enterprise data assets
정보관리
Event Hubs
Data Catalog
Data Factory
• 빠르게 데이터를 찾고 가치 창출
• 기업 데이터 소스 등록, 데이터 자산 탐색, 실 사용자 지식을 활용해데이터 이해
• IT와 비즈니스간 간격을 줄이고, 실제 사용자가 데이터에 대한 지식을공유 (크라우드 소싱)
• 직관적인 탐색 및 필터링 기능 제공
• 선호하는 도구를 이용해 데이터 분석 지원
• 기존의 도구와 프로세스와 오픈 REST API를 이용해 연결
Ingest events from websites, apps and devices at cloud scale
• 준 실시간으로 초당 수백만 건의 이벤트 로깅
• 디바이스를 유연한 권한관리 및 쓰로틀링을 이용해 연결
• 시간 기반 이벤트 버퍼링 사용
• 유연한 스케일링 기능을 지원하는 관리되는 서비스
• 네이티브 클라이언트 라이브러리를 이용한 다양한 플랫폼 지원
• 타 클라우드 서비스와 결합 가능한 어댑터 지원
Azure
API
Management
Backend Services
Data
정보관리
Event Hubs
Data Catalog
Data Factory
Data sources
Apps
Sensors and devices
Event Hubs
SQL Database Machine Learning
HDInsightStorage
Power BIStream Analytics
Big Data Stores
빅데이터 스토어
SQL Data
Warehouse
Data Lake Store
Data
Sources
Apps
Sensors
and devices
Data
정보관리
Event Hubs
Data Catalog
Data Factory
A hyper-scale repository for big data analytics workloads
• 클라우드를 위한 Hadoop 분산 파일시스템 (HDFS)
• 파일 사이즈 한계 없음
• 계정별 사이즈 제약 없음
• 비정형/정형 데이터를 그대로 저장 가능
• 분석 성능 향상을 위한 대량 쓰루풋
• 고 가용성, 안정성 내장
• Azure Active Directory를 이용한 권한 통제
LOB
Applications
SocialDevices
Clickstream
Sensors
Video
Web
Relational
HDInsight
ADL Analytics
Machine Learning
Spark
R
ADL Store
빅데이터 스토어
SQL Data
Warehouse
Data Lake Store
Elastic data warehouse as a service with enterprise-class features
• Petabyte 스케일의 병렬처리 프로세스 (MPP) 지원
• 컴퓨트와 저장소의 독립적인 스케일링 (1-2분만에 스케일링 지원)
• T-SQL 쿼리를 이용해 관계형데이터와 비관계형데이터 연계 분석
• 엔터프라이즈 급 SQL Server 기능
• Power BI, Machine Learning, HDInsight, Data Factory 등과네이티브하게 연계
Power BI
App ServiceSQL Database
SQL Data Warehouse
Machine Learning
Hadoop
Intelligent App
빅데이터 스토어
SQL Data
Warehouse
Data Lake Store
Machine Learning and Analytics
빅데이터 스토어
SQL Data
Warehouse
Data Lake Store
Data
Sources
Apps
Sensors
and devices
Data Intelligence
정보관리
Event Hubs
Data Catalog
Data Factory
머신러닝 및 고급분석
HDInsight
(Hadoop and
Spark)
Stream
Analytics
Data Lake
Analytics
Machine
Learning
Easily build, deploy, and share predictive analytics solutions
• 단순하고, 확장가능하며, 독특한 플랫폼. 완전히 관리되는 클라우드 서비스로서 쉽게 예측분석 솔루션을 개발/배포/공유할 수 있음.
• 수 분만에 배포. Azure Machine Learning은 비즈니스 문제를 위한 도구임. 예측모델을 웹서비스로 배포하여 어떤 디바이스에서도 예측모델을호출, 활용할 수 있음.
• 배포된 예측모델은 Gallery나 Azure Marketplace에서 과금을 통한 수익모델로 활용할 수 있음.
머신러닝 및 고급분석
HDInsight
(Hadoop and
Spark)
Stream
Analytics
Data Lake
Analytics
Machine
Learning
Big data analytics made easy
• 다양한 유형/크기의 데이터를 분석
• 빠르게 개발/디버깅/최적화
• 인터랙티브하게 데이터 패턴 탐색
• 낮은 러닝커브—U-SQL, Spark, Hive, HBase 그리고 Storm 활용
• 관리되는 서비스 – 엔터프라이즈급 SLA 지원
• 비즈니스 우선순위에 맞게 동적으로 스케일링
• 엔터프라이즈급 보안 (Azure Active Directory)
• YARN 기반으로 구성, 클라우드를 위해 설계됨
Data Lake Analytics
SQL DW SQL DB Storage BlobsData Lake Store SQL DB in a VM
머신러닝 및 고급분석
HDInsight
(Hadoop and
Spark)
Stream
Analytics
Data Lake
Analytics
Machine
Learning
Comprehensive set of managed Apache big data projects
• 필요한 시점에 petabytes 수준으로 확장
• 비정형/반정형 데이터 처리
• Java, .NET 등 다양한 언어로 개발
• 하드웨어 구매/유지 불필요
• Windows 또는 Linux로 구현
• 수 분만에 Apache Hadoop cluster 구성
• Excel에서 Hadoop 데이터 시각화
• 온프레미스의 Hadoop 클러스터와 손쉽게 연계
Core Engine
Batch
Map Reduce
Script
Pig
SQL
Hive
NoSQL
HBase
Streaming
Storm
In-Memory
Spark
머신러닝 및 고급분석
HDInsight
(Hadoop and
Spark)
Stream
Analytics
Data Lake
Analytics
Machine
Learning
머신러닝 및 고급분석
HDInsight
(Hadoop and
Spark)
Stream
Analytics
Data Lake
Analytics
Machine
Learning
Real-time stream processing in the cloud
• Internet of Things (IoT) 솔루션을 위한 실시간 분석 수행
• 초당 수백만의 이벤트 스트림 분석
• 미션 크리티컬 안정성/성능으로 예측가능한 결과 얻음
• 디바이스/앱 데이터에 대한 실시간 대시보드/Alert 생성
• 다수 스트림 데이터간 상관관계 분석
• 친숙한 SQL 기반 언어를 이용해 빠르게 개발
Event Hubs
Blob Storage
Stream
Analytics
SQL Database
Event Hubs
Power BI
Blob Storage
Table Storage
Intelligence
인텔리전스
Cortana
Bot
Framework
Cognitive
Services
빅데이터 스토어
SQL Data
Warehouse
Data Lake Store
Data
Sources
Apps
Sensors
and devices
Data
정보관리
Event Hubs
Data Catalog
Data Factory
머신러닝 및 고급분석
HDInsight
(Hadoop and
Spark)
Stream
Analytics
Data Lake
Analytics
Machine
Learning
Build applications that understand people
• 얼굴, 이미지, 감정 인식, 비디오 인텔리전스
• 언어 처리, 음성 인식, 커스텀 음성 인지
• 자연어 처리, 감성/토픽 분석, 스펠링 오류 등
• 복잡 태스크 처리, 지식 탐색, 인텔리전트 추천 등
• Bing 엔진 기능 (웹, 자동완성, 이미지/비디오/뉴스 검색 등)
인텔리전스
Cortana
Bot
Framework
Cognitive
Services
Your bots – wherever your users converse
인텔리전스
Cortana
Bot
Framework
Cognitive
Services
• Bot 연결 서비스: 직접 개발한 Bot을 등록하고, 채널을 구성하고, Bot Directory에 배포 지원. Bot을 문자, Office 365 메일, Skype, Slack, Twitter 등에연결 지원.
• Bot 개발 SDK: Github에 공개된 오픈소스 SDK 지원. Node.js 또는 C# 기반 Bot 개발에 필요한 모든 도구 제공
• Bot Directory: Bot 연결 서비스를 통해 Bot을 등록할 수 있는 공개 디렉토리.
Get things done in more helpful, proactive and natural ways
Here are some of the
things I can help you with…
일반 사용자를 위한 Cortana
(현재 가능한 작업들)
기업용 Cortana
Intelligence Suite 지원범위
Answers공공 참고데이터 기반한 답변들 – “How far is it
from Los Angeles to San Francisco?”
Power BI에서 조직 데이터에 대한 분석“What were our biggest deals that closed
last month?”
Predictions이벤트 예측 – “Who do you think is going to
win the Germany Italy game?”
예측 솔루션과의 통합“Which of our customers are most likely to
churn in the next quarter?”
Monitoring & Alerts 비행기 운행 상태, 교통 상황, 날씨변화 등, …
KPI 모니터링 및 사전 Alert
“Alert me if this customer ever has a 90%
chance of churn in the next 30 days”
Task Completion알람/리마인더 정하기, 미팅 예약하기, 길찾기방향 도움 등, …
사내 시스템 프로세스와의 통합(예) 조직 정책에 맞게 경비처리를 제때 할 수있도록 지원하는 서비스
인텔리전스
Cortana
Bot
Framework
Cognitive
Services
Dashboards & Visualizations
대시보드 및 시각화
Power BI
인텔리전스정보관리 빅데이터 스토어 머신러닝 및고급분석
CortanaEvent HubsHDInsight
(Hadoop and
Spark)
Stream
Analytics
Data Intelligence
Bot
FrameworkSQL Data
WarehouseData Catalog
Data Lake
Analytics
Data Factory Machine
LearningData Lake Store
Cognitive
Services
Data
Sources
Apps
Sensors
and
devices
Data
Keep a pulse on your business with live, interactive dashboards
Event Hubs
Stream Analytics
Machine Learning
Storage
SQL databaseHDInsight
Power BI
Power BI
• 데이터 전문가가 아닌 사람도 손쉽게 분석 수행
• 모든 비즈니스 정보를 대시보드에서 한눈에 확인
• 직관적이고 인터랙티브한 보고서 생성
• 조직 구성원간 일관된 데이터 분석 공유
• 어플리케이션 내에 시각적 표현 Embedding
• 상황 변동시 실시간 Alert
Power BI
대시보드 및 시각화
Power BI
Transform data into intelligent action
인텔리전스
대시보드 및 시각화
정보관리 빅데이터 스토어 머신러닝 및고급분석
CortanaEvent HubsHDInsight
(Hadoop and
Spark)
Stream
Analytics
Data Intelligence Action
People
Automated Systems
Apps
Web
Mobile
Bots
Bot
FrameworkSQL Data
WarehouseData Catalog
Data Lake
Analytics
Data Factory Machine
LearningData Lake Store
Cognitive
Services
Power BI
Data
Sources
Apps
Sensors
and
devices
Data
HDInsight
배치처리MapReduce, PIG, Hive, Spark
인터랙티브 SQLHive (Tez), SparkSQL
스트림 분석Storm, SparkStreaming
머신 러닝SparkML, Mahout
테이블기반 처리Hbase
탐색적 시각화Jupyter, Zeppelin
인터랙티브 SQL SQL DW
스트림 분석Azure Stream Analytics
머신 러닝Azure ML
테이블 기반 처리Azure SQL DB
탐색적 시각화Power BI
PB 단위의 데이터로의 확장
Massively Parallel Processing 기반
수 초 내에 Compute Scaling 지원
관계형/비관계형 데이터 조회
Saas
Azure
PublicCloud
Office 365Office 365
수 분 내 시작
Azure ML, PowerBI 및 ADF와의 통합
단순한 요금구조 (compute & storage)
동적 Pause 기능 (필요한 범위를필요한 때만큼만 지불
AzureAzure
SQL DW
https://azure.microsoft.com/en-us/documentation/articles/cortana-analytics-playbook-vehicle-telemetry/
Hybrid 빅데이터 플랫폼 구성
웹 사이트 로직 앱 알림 허브
타 시스템연동 및 경고/알림
IoT 센서 및 디바이스
스위치 플러그 도어락열림감지
기타 …
업무 애플리케이션
스마트폰App 고객용Web 관리자용WebPower BIDatazen(모바일/PC) Excel BI통합 대시보드
통합 분석
LOB고객CRM
기간계 시스템
CDR 로그 웹로그
비정형 로그 데이터 소셜 등 외부 비정형 데이터
EventHub
Cloud 게이트웨이 Cloud ETL 도구
Data Factory
On-Premise ETL 도구
SQL Server Integration Services
Microsoft Analytic Platform System (APS)
On-Premise DW Appliance
HDInsight
Cloud Hadoop 서비스
SQL DW 서비스
Cloud DW 서비스
Blog Storage
Cloud 기반의 저장소
Azure Machine Learning
Cloud 기반 고급분석 도구
Microsoft R Server
On-Premise 고급분석 도구
Cloud 기반빅데이터 플랫폼
On-Premise 기반빅데이터 플랫폼
Hybrid형태의구성
Web REST API
모델 배포
Web REST API
R Interface 배포
Microsoft R Server
Cloud VM 기반 고급분석 도구
Web REST API
R Interface 배포
Stream Analytics
실시간 데이터 분석
Cortana Analytics Process (CAP)
• 코타나 애널리틱스 프로세스(CAP)는 체계적인 데이터 사이언스 방법론으로서, 코타나 애널리틱스 스위트와 Azure의 도구들을 이용해예측모델을 작성하기 위한 단계를 차례로 제시함
• 문제 정의에서 시작하여 데이터 탐색 및 분석, 예측모델 생성 및 평가, 그리고 배포에 이르기까지의 각 단계별 가이드를 포함함
• 이 프로세스는 반복을 통해 개선하는 프로세스임: 모델링이 정교해지면서 데이터와Feature에 대한 이해가 높아지고, 때로는 이전 단계의 작업을 반복하는 것이 필요할 수있음
https://azure.microsoft.com/ko-kr/documentation/learning-paths/cortana-analytics-process/
Solution Template
Experiments
EXAMPLE SOLUTIONS
출판일 분류 고객 사용 사례 출판 유형 관련 기사
2015/12서비스/
HR
Russell Reynolds Associates
기존 인재채용 검색은 노동집약적이고 DB 데이터에 의존하여 직접 쿼리를 작성하여 수작업 분석했음. Russell Reynolds Associates는이제 MS의 빅데이터/고급분석 기술을 활용하여 정형/비정형 데이터 검색시, 머신러닝 기반 “인재 추천“ 정보를 활용할 수 있게 됨
ML BlogCortana Analytics Suite Powers Russell Reynolds Associates’ Search for the Perfect Match
2015/12유틸리티/
전력생산예측ServusNet
ServusNet는 기존의 일일 날씨예보를 활용한 풍력발전 예보 솔루션은 Farm 수준의 예보만 지원했으나, 이를 클라우드 기반 End-to-End 솔루션으로 전환하면서 제품군을 확대하고 글로벌 차원의 다수의 풍력발전 Farm 포트폴리오와 고객을 지원하게 되었음
ML BLogServusNet Forecasts Wind
Power Using Cortana Analytics Suite
2015/11 유통/딥러닝 Coco-Cola Coca-Cola Company와 Universal McCann이 MS의 딥러닝 지원 기술을 사용하여 최첨단 마케팅 캠페인을 수행한 사례 ML BlogA Look Behind How One of the World’s Most Popular Brands Harnessed an Internet Meme
2015/10서비스/마케팅
OpenFieldOpenField는 유명 축구클럽/스포츠/공연장 솔루션을 공급하는 선도 데이터관리 기업. Cortana Intelligence를 활용하여 Contextual 마케팅 솔루션에서 티켓 구매고객 예측, 티켓 구매고객의 참석 예측을 통해 No-Show를 예방하고 이익 극대화.
ML BlogOpenField Uses Cortana
Analytics to Get Ahead in the Marketing Game
2015/09금융/
예방정비Diebold
사전 계획되지 않은 장비 다운타임은 여러 산업에 걸쳐 심각한 비즈니스 장애이며, 매출 감소, 갑작스러운 수리비용, 고객 불만족등으로 이어짐. IoT의 발전과 더불어 이 문제를 정기적/연속적인 장비 상태 모니터링과 연계한 예측정비 관점에서 접근할 수 있게 됨.
ML BlogCortana Analytics Suite Helps Diebold Predict ATM Failures
2015/08의료/
진단기술Optolexia
안구 이동 추적데이터와 클라우드 기반의 MS Azure Machine Learning으로 구축한 분석엔진을 활용함으로써, Optolexia는 학교에서난독증 학생들을 현재의 검진방법보다 훨씬 빠르게 식별 (진단기술)
Customer Case Study
Swedish researchers build dyslexia screening tool with
cloud-based analytics solution
2015/06공공/
고객이탈분석Tacoma Public
School소프트웨어를 이용해 어떤 학생이 중퇴할 것인지 예측한 사례 (고객이탈분석) Tacoma, WA의 한 공립학교의 명성은 얼마 전까지만해도 그다지 좋지 않았으나, ML 기법을 활용하여 극적인 전환을 하게 됨
ML BlogML Predicts School Dropout
Risk & Boosts Graduation Rates
2015/06유틸리티/수요예측
Genscape Genscape는 에너지 시장에서 데이터와 인텔리전스를 공급하는 기업임. 수일에 걸친 수요예측 모델 개발 Pilot을 수행함.Customer Case
Study
Fueling the energy market with fast, predictive, cloud-based
intelligence
2015/05서비스(학술)/
마케팅Mendeley Mendeley는 연구자 소셜 문서 플랫폼임. 핵심 사용자를 예측하기 위한 모델을 만들어 이메일 타겟 마케팅을 실행하고 사용자층 확대. ML Blog
How Azure ML Helps Mendeley Engage the World’s Researchers
2015/04의료/
수요예측Gaffey
Healthcare보험사가 고객 클레임 지급을 하기 위해 수작업 데이터수집 인력이 필요한지를 예측하고, 보험사 지급 예정일을 예측함으로서, 병원고객사에게의 클레임 지급을 자동화하여 운영 효율을 개선하였고, 그 결과 현금흐름을 개선하고 원가를 절감함.
ML BlogHow ML Accelerates Claim Automation & Revenue at
GAFFEY Healthcare
2015/03유틸리티/부하예측
eSmart SystemseSmarts는 노르웨이의 유틸리티 고객을 위해 스마트 그리드/미터용 소프트웨어를 개발함. 최소단위(미터레벨)에서 상위집계레벨까지의 에너지 부하를 예측하고, 이에 따라 병목 예측을 수행, 그 결과물을 자동 부하 분산을 위한 최적화 알고리즘에 활용함.
Customer Case Study
Making cloud technologies the brain of the modern smart grid
2015/02의료/
진단기술Aerocrine
전세계 수백만의 천식 환자는 Aerocrine의 모니터링 도구를 이용하여 효과적으로 천식을 진단하고 치료하고 있음. 하지만 이보구들은 현실 환경에서의 자그만 변화에 민감함. 이로 인해 Aerocrine은 클라우드 기반 분석 솔루션을 이용해 진단 안정성을 높임.
Customer Case Study
Deeper Data, Better Health
2014/12유통/마케팅
JJ Food Service주문하려는 상품이 이미 쇼핑 카트에 담겨져 있는 것이 고객이 원하는 바임(개인화추천). JJ Food Service의 고객들은 온라인이나전화로 주문시 매번 그러한 사용자 경험을 하고 있음. 이는 MS의 Azure Machine Learning과 Dynamics AX를 잘 활용한 결과임.
Customer Case Study
Food Delivery Service Uses Machine Learning to
Revolutionize Customer Service
2014/12유통/마케팅
Pier 1 Imports유통업체인 Pier 1 Imports는 데이터 인사이트를 통해 고객과 더 연결되기를 원함. 이를 위해 예측분석 솔루션을 검토하였고클라우드 기반의 MS Azure Machine Learning과 Power BI를 접목하였음.
Customer Case Study
Finding a Better Connection with Customers Through Cloud
Machine Learning
2014/09유틸리티/스마트빌딩
Carnegie Mellon
University
Carnegie Mellon 대학은 MS Azure과 PI System™ (MS의 글로벌 ISV인 OSIsoft사의 제품)을 이용하여 건물 유지 및 에너지 비용을절감하고자 하였음. 이제 CMU는 Azure Machine Learning을 추가하여 고장탐지, 진단 등 운용효율화 측면의 개선을 실행함
Customer Case Study
Carnegie Mellon Sees a Way to Cut Energy Use by 20 Percent with Cloud Machine Learning
Solution
2014/08제조/
예방정비ThyssenKrupp
ThyssenKrupp Elevator는 서비스 안정성에 집중함으로서 경쟁력을 확보하였음. IoT와 ML의 잠재력을 끌어냄으로써, ThyssenKrupp 은 경쟁사가 제공하지 못하는 예측 및 사전정비를 서비스 내에 실현하였음
News ArticleThe Internet of Things gives the
world’s cities a major lift
인프라가 아닌솔루션에 집중
모든 종류와 모든크기의 데이터
동일한 도구를사용하여Production까지구성
데이터 이동, 기계학습/평가 등
별개의에코시스템을하나로 연결
베스트 프랙티스의공유
기존의 도구를사용하여 솔루션을확장
친숙한 도구와언어를 조합하여기능 확장
데이터준비에서부터활용까지의 전체프로세스의 손쉬운연결
