hadoop on azure
TRANSCRIPT
HUG France #1 - 15 Mars 2012
Hadoop sur Azure
Javascript
Benjamin GUINEBERTIÈRE
@benjguin
Hadoop sur Windows Azure
● www.hadooponazure.com
● Création automatisée d’un cluster Hadoop sur le
public PaaS de Microsoft: Windows Azure
● Hadoop sur Windows Azure et Windows Server
(sans Cygwin)
● Hadoop classique (jobs Java, PIG, HIVE, HDFS, …)
● Parmi les contributions proposées par Microsoft:
Javascript
Javascript sur Hadoop On Azure
● Dans la JVM (Rhino)
● Jobs map/reduce en Javascript
● Console interactive
● HDFS
● RunJS
● HIVE
● Syntaxe à la LINQ pour générer du PIG
● Graphiques simples
runJs("bin/iisLogsAnalysis.js", "iislogs", "out-HD")
#ls
hive.exec("SELECT * FROM hiveresult LIMIT 50")
pig.from("out-H", "dummy, sessionID, username, startDateTime, endDateTime,
nbHits:long").select("username, sessionID, nbHits").orderBy("nbHits
DESC").take(5).to("demo-iislogs-out-H-top5")
graph.bar(data, { x: "user", y: "hits", orientation: "90" })
Map Reduce, en Java, C#, Javascript
6
Scénario démo : Analyse de Logs Serveur Web IIS
7
Logs IIS
Excel HIVE ODBC Driver
SQL Server HIVE ODBC Driver
distcp
Blob Storage
HDFS
Map Reduce
Hive
iislogsAnalysis.js
Graph.bar(data)
DÉMO
Pour en savoir plus
● Après-midi du dév le 24 mai 2012
● http://aka.ms/amdev-hadoop
HUG France #1 - 15 Mars 2012
Hadoop sur Azure - Javascript
Merci pour votre attention
Benjamin GUINEBERTIÈRE
@benjguin