big data & bi : retour d'expérience
DESCRIPTION
Besoin Clients : APVX Pourquoi la Big Data ? Présentation de Hadoop Offre Microsoft : HDInsight Complémentarité BI & Big Data Architecture mise en place Démos :-)TRANSCRIPT
![Page 1: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/1.jpg)
#JSS2013
Les journées
SQL Server 2013
Un événement organisé par GUSS
![Page 2: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/2.jpg)
#JSS2013
Les journées
SQL Server 2013
Un événement organisé par GUSS
Big Data & BI
Romain Casteres
MVP SQL Server
Consultant BI
@PulsWeb
Yazid Moussaoui
Consultant Senior BI
MCSA 2008/2012
Etienne Pommier
Ingénieur Etude &
Développement .Net
Retour d’expérience
![Page 3: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/3.jpg)
#JSS2013
Merci à nos sponsors
![Page 4: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/4.jpg)
#JSS2013
Agenda
o Besoin Clients : APVX
o Pourquoi la Big Data ?
o Présentation de Hadoop
o Offre Microsoft : HDInsight
o Complémentarité BI & Big Data
o Architecture mise en place
o Démos
Planning
![Page 5: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/5.jpg)
#JSS2013
Aide à la prévision des ventes
Besoin d’analyse des réseaux sociaux
Poids des campagnes réalisées sur les réseaux
Trouver une relation entre les ventes et ce qui se dit
sur les réseaux
Besoin Client : APVX
![Page 6: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/6.jpg)
#JSS2013
Pourquoi la Big Data ?Volume,
Variété & Vitesse
![Page 7: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/7.jpg)
#JSS2013
La tendance
![Page 8: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/8.jpg)
#JSS2013
HDFS
Ecriture
Framework Apache Hadoop
Lecture
![Page 9: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/9.jpg)
#JSS2013
Map & Reduce
Framework Apache Hadoop
![Page 10: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/10.jpg)
#JSS2013
Apache Hadoop, Hortonworks, Hdinsight
Apache Hadoop HDInsight
• Hive : Gestionnaire des données distribuées (SQL Like)• Pig : Scripting ETL• Sqoop : Transfer des données entre Hadoop et des SGBDR• Hbase : Base de données non relationnelle• Hcatalog : services de méta données• Mahout : Langage de programmation pour le Machine Learning• Flume : Intégrateur de logs• Oozie : Ordonnanceur
…
• HDP 1.3 pour Windows On Azure On Premise
• Scale Out for Pay As You Go• Windows Azure PowerShell• CodePlex .Net SDK
• Microsoft Hive ODBC Driver
![Page 11: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/11.jpg)
#JSS2013
Plate-forme Big Data Microsoft
MA
RK
ETP
LA
CE
SER
VIC
ES E
T D
ON
NEES
EX
TER
NES
Polybase
Volume x Variety x Velocity x Visualization = Value
Polybase
Native Query
![Page 12: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/12.jpg)
#JSS2013
Architecture
WASB
![Page 13: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/13.jpg)
#JSS2013
Architecture
WASB
![Page 14: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/14.jpg)
#JSS2013
• Un Azure Web Site (ASP.Net MVC 4)
• Un Cloud Service
• Un Compte de stockage (Tables et Blobs)
• Une SQL Database
La solution sur Windows Azure
![Page 15: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/15.jpg)
#JSS2013
• Interface de gestion
• Azure Active Directory Authentification
Le site
![Page 16: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/16.jpg)
#JSS2013
Le Cloud Service
![Page 17: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/17.jpg)
#JSS2013
RÉCUPÉRATION DE DONNÉES TWITTER
![Page 18: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/18.jpg)
#JSS2013
Architecture
WASB
![Page 19: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/19.jpg)
#JSS2013
Nombre de Nœud
Hive Meta Données
Stockage
Activation de l’accès distant
Installation du Driver Hive ODBC
Linked Server
Création du cluster HDInsight
![Page 20: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/20.jpg)
#JSS2013
Table Externe
Table Interne
UDF : User Defined Functions
Hive
![Page 21: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/21.jpg)
#JSS2013
Flux des données
Windows Azure Storage Blob
Azure Network
Hadoop On Azure
Compute Node
![Page 22: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/22.jpg)
#JSS2013
Automatisation via SSIS
Création d’un package SSIS
Création d’une source de données ODBC
http://tinyurl.com/HDInsightSSIS | Livre Blanc HDInsight & Visual Studio : aka.ms/lbhdinsight
SSIS HDInsight Tasks
![Page 23: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/23.jpg)
#JSS2013
Architecture
WASB
![Page 24: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/24.jpg)
#JSS2013
Exploitation des données
SSAS
Tabular
Integration
Services
Power View
SharePointSQL Server
Power View
Excel
Power
Query
Excel
Power Pivot
Excel
2 scénarios : « BI d’entreprise » ou « BI en Self-Service »
BI
d’entreprise
POWER BI
![Page 25: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/25.jpg)
#JSS2013
Integration des données avec SSIS
Connexion ODBC
Source : Table Hive
Destination : Table SQL Server
SELECTTheater,ScreenAuthorizationNumber,Screen,Title,TitleIdFROM lecture
SQL Server Integration
ServicesImportation des table Hive vers une
base de donnée locale
BI
d’entreprise
![Page 26: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/26.jpg)
#JSS2013
Analyse et restitution des données
Analysis Services• Mode Serveur
• Cube tabulaire
• Langage DAX
Power View for SharePoint• Intégration à SharePoint
• Publication et partage
• Création de rapports en self-service
• Drag & Drop
• Analyse des données issues de
PowerPivot ou d’Analysis Services
• PowerPoint
SharePoint
Server
DWH
SQL Server
2012
Instance Analysis
Services
Instance SQL Server
BI
d’entreprise
![Page 27: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/27.jpg)
#JSS2013
BI en self-service avec Excel 2013
Excel 2013
POWER QUERY
POWER PIVOT
POWER VIEW
POWER BI
![Page 28: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/28.jpg)
#JSS2013
Power Query
• ETL destiné à l’utilisateur
• Import Data
From Hadoop File (HDFS)
From Windows Azure HDInsight
POWER BI
![Page 29: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/29.jpg)
#JSS2013
• Création du modèle de données à partir de sources
distinctes :
– Tables SQL Server
– Table hive intégrés au modèle via Power Query
Power Pivot POWER BI
![Page 30: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/30.jpg)
#JSS2013
• Création de rapport Ad-hoc interactif
• Source de donnée :
– Classeur de Modèle Power Pivot
– Modèle Tabulaire SSAS (Power View mode SharePoint)
Power View POWER BI
![Page 31: Big Data & BI : Retour d'expérience](https://reader033.vdocuments.mx/reader033/viewer/2022050920/549f9534ac795933768b4a4b/html5/thumbnails/31.jpg)
#JSS2013#JSS2013
Merci !
Questions ?