la démystification du big data
DESCRIPTION
L'idée de la session est de démystifier les BigData et plus précisément HDInsight en montrant des exemples concrets d'utilisation. Cette session s’adresse aux consultants BI et aux désireux de connaitre la solution BigData de Microsoft ainsi qu'aux architectes SI. Au programme : présentation de l’offre BigData de Microsoft (HDInsight OnPremise ou dans Windows Azure), les outils du monde Hadoop (Hive, Pig, HBase), la place du Framework Hadoop dans nos systèmes d’informations, des cas d’utilisation et des démonstrations. V-Traffic viendra également nous présenter comment ils utilisent HDInsight ! Speakers : Benjamin Guinebertière (Microsoft), François Simoës (v-traffic), Romain Casteres (DCube (Microsoft Partner)), Yazid Moussaoui (DCube (Microsoft Partner))TRANSCRIPT
Architecture/Azure/Cloud
La démystification du Big Data
Romain CasteresMVP SQL ServerConsultant BI@PulsWeb
Benjamin GuinebertièreTechnical EvangelistMicrosoft France@benjguin
François Simoës V-Traffic ( Mediamobile)www.v-traffic.com
Sébastien Etcheverry V-Traffic ( Mediamobile)www.v-traffic.com
Architecture/Azure/Cloud#mstechdays
Depuis votre smartphone sur :http://notes.mstechdays.fr
De nombreux lots à gagner toute les heures !!!Claviers, souris et jeux Microsoft…
Merci de nous aider à améliorer les Techdays !
Donnez votre avis !
Master Chief utilise Big Data
Une analyse du jeu permet de détecter les tricheurs et améliore l'expérience pour tous
Permet des campagnes ciblées qui améliorent la fidélisation des clients
Architecture/Azure/Cloud#mstechdays
Big Data – tendances du marché
Attentes desutilisateurs
Création des données en temps réel
Coûts du stockage et des matériels
Grands volumes de données
Nombreux types de données
Architecture/Azure/Cloud#mstechdays
Plateforme Big Data de Microsoft – vue d’ensembleVolume x Variété x Vélocité x Visualisation = Valeur
APPsLOBCRMERPdispositif
sCrawlersCapteurs Bots
Power View Excel et PowerPivot BI embarquéeAnalyses prédictives
Master Data Services
SSAS SSRS Data Quality Services
SQL Server 2012 Parallel Data WarehouseHDP for WindowsHDInsight
MA
RK
ETPLA
CE
SER
VIC
ES
ET
DO
NN
EES
EX
TER
NES
Polybase
Architecture/Azure/Cloud#mstechdays
Hadoop ouvert, partenariat stratégique Hortonworks
+Hortonworks Data Platformfor Windows
HDInsight
Architecture/Azure/Cloud#mstechdays
Map/Reduce: Word Count
Extrait de « Hadoop Tutorial from Yahoo!" (Yahoo! Inc.) / CC BY 3.0 »
Architecture/Azure/Cloud#mstechdays
Hive
CREATE EXTERNAL TABLE iislogs (hitdate string, hittime string, a string, b string, c string, d string, url string)ROW FORMAT DELIMITED
FIELDS TERMINATED BY ' 'LINES TERMINATED BY '\n'
STORED AS TEXTFILELOCATION '/iislogs';
DROP TABLE iislogsout;CREATE EXTERNAL TABLE iislogsout (hittime string, url string)ROW FORMAT DELIMITED
FIELDS TERMINATED BY ' 'LINES TERMINATED BY '\n'
STORED AS TEXTFILELOCATION '/asvworkd/hiveiislogsout';
insert overwrite table iislogsoutSELECT hittime, urlFROM iislogsORDER BY hittime ASC;
Architecture/Azure/Cloud#mstechdays
Hadoop prêt pour l'entreprise Gérez des données de tous types
et toutes tailles
Sécurisez votre cluster Hadoop avec un nœud de sécurité dans HDInsight
Intégration étroite avec la plateforme de données Microsoft
HDInsightNœud de sécurité
Nœud de tête
Nœuds de traitement,HDFS local
Stockage Windows Azure
Stockage à long terme
redondélocalement
[et géographiquem
ent]
hdfs:// wasb://
Architecture/Azure/Cloud#mstechdays
Architecture
Architecture/Azure/Cloud#mstechdays
Evaluation du niveau de
Buzz Collecte des données*FacebookYouTubeTwitter
Corrélation avec les données de ventes
Optimisations des campagnes
Marketing
Tableaux de bord
consolidés
Cas d’usage : APVX Aide a la Prévision des Ventes
Architecture/Azure/Cloud#mstechdays
Cas d’usage : APVX
démo
Architecture/Azure/Cloud#mstechdays
HDINSIGHT
• Création d’un cluster• Hive : Table Externe - Table Interne – View -
UDF …• Sqoop : Transfert
démo
Architecture/Azure/Cloud#mstechdays
BI & POWER BI
• Automatisation : SSIS & PowerShell• Power Pivot, Power Query• Power View, Power Q&A
SSIS HDInsight Tasks
Architecture/Azure/Cloud#mstechdays
V-TRAFFIC
Notre Ambition : Offrir les informations les plus pertinentes et fiables pour le confort des utilisateurs, sur n’importe quel support
Architecture/Azure/Cloud#mstechdays
Architecture/Azure/Cloud#mstechdays
Publiques
Privées
Partenariats
FCD/FMD
RDS TMC
DAB
GPRS/3G
WEB
Récolte des données avec plus de 100 sources
Analyse, modélisation, traitement et édition
Distribution par des multiples canaux
TIC
V-Traffic
Spécialistes en solution d’aide à la mobilité depuis 1996
Architecture/Azure/Cloud#mstechdays
Utilisations des véhicules traceurs (FCD) - Suivi de véhicule
1. Les taxis envoient leurs positions lors de leurs déplacements via leur GPS et un accès à internet mobile
2. Nos fournisseurs récoltent les données de géo-localisation
3. Mediamobile collecte ces données
Lat2,Long2,D2
4. Suivi du véhicule : localisation sur le réseau routier
Lat1,Long1,D1
5. Détermination de la vitesse du véhicule sur le réseau
X km/h
Architecture/Azure/Cloud#mstechdays
Cartographie du trafic routier avec FCD:Exemple : une journée de conditions de circulation à Toulouse 7h-21h (25/05/2010)
Fusion
Capteurs statiques Véhicules traceurs
Diffusion
Architecture/Azure/Cloud#mstechdays
Cartographie du trafic routier avec FCD:Exemple : une journée de conditions de circulation à Toulouse 7h-21h (25/05/2010)
Fusion
Capteurs statiques Véhicules traceurs
Diffusion
Architecture/Azure/Cloud#mstechdays
• Localisation de chaque position dans une des 36000 villes de France
• 1 job Hive qui réalise 3 tâches : -Load des données dans des tables Hive (external)-Traitement Python ( PointInPolygon)-GroupBy
• Le volume : 3777912 véhicules envoient 77 millions de positions pour 30 j
• Outil d’aide à la décision( comparer les fournisseurs )
HDInsight pour V-Traffic
démo
Architecture/Azure/Cloud#mstechdays
DÉMO
Architecture/Azure/Cloud#mstechdays
Architecture
Architecture/Azure/Cloud#mstechdays
Visualisation/Résultat SSRS
Architecture/Azure/Cloud#mstechdays
Benchmarks / Performances
3 nodes 6 nodes 9 nodes 15 nodes 18 nodes 30 nodes0
2
4
6
8
10
12
14
16
18
20
22
24
26
28
30 29
19
16 16 16 16
Temps de traitement par cluster
Nb de Nodes
Min
ute
s
77 millions de positions en 16 minutes = 80208 points/sec !!
Architecture/Azure/Cloud#mstechdays
Benchmarks / Performances
1 2 3 4 5 605
101520253035404550556065707580859095
100105110115120
10 MAP 22 MAP 30 MAP 30 MAP 30 MAP 30 MAP
12 mapMAX
24 mapMAX
36 mapMAX
60 mapMAX
72 mapMAX
120 mapMAX
29 mins
19 mins16 mins 16 mins 16 mins 16 mins
Max MAP Capacity
Real MAP Nb
Duree (mins)
1,192 €/h
4,767 €/h
7,389 €/h
1,907 €/h
2,622 €/h
4,052€/h
Testez dès maintenant Windows Azure !
MSDN: jusqu’à 115€ de
ressources mensuelles
150€ de ressources le 1er mois pour toute
ouverture de compte
Poursuivez la discussion
sur le stand “au coeur du SI”
Partenaires: jusqu’à 75€ de
ressources mensuelles
http://aka.ms/Azure/Partner
http://aka.ms/free/trial
http://aka.ms/MSDN/Avantages/Abo
© 2014 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.
Digital is business