engage12 - sandjai bhulai - vrije universiteit amsterdam
TRANSCRIPT
Sandjai Bhulai ([email protected])IARIA NexTech 2012
Sandjai Bhulai ([email protected]), VU University Amsterdam
Sandjai Bhulai ([email protected])IARIA NexTech 2012
Sandjai Bhulai ([email protected]), VU University Amsterdam
Sandjai Bhulai ([email protected])
The big picture
data
logistiek
retail
energie
webshop
telecom
health care
Sandjai Bhulai ([email protected])
De logistieke sector
Mobiele data eenheid:
• Marktonderzoek uitvoeren
• Route informatie doorgeven
• Demografisch onderzoek uitvoeren
• Marketing informatie verzamelen
• Werkbelasting meten
• Collaboratief problemen oplossen
• Participeren in gezondheidszorg
• …
Sandjai Bhulai ([email protected])
De energie sector
0
5
10
15
20
25
12/23/2011 2/11/2012 4/1/2012 5/21/2012 7/10/2012 8/29/2012-20
-15
-10
-5
0
5
10
15
20
25
30
35
12/23/2011 2/11/2012 4/1/2012 5/21/2012 7/10/2012 8/29/2012
Sandjai Bhulai ([email protected])
De energie sector
KNMI data bevat 22 factoren:
• Windsnelheid
• Hoogste windstoot
• Temperatuur
• Dauwpuntstemperatuur
• Duur van de zonneschijn
• Globale straling
• Duur van de neerslag
• Luchtdruk
• Bewolking
• …
Sandjai Bhulai ([email protected])
De retail sector
Vele databronnen:
1. Transactie data
2. Google keywords
3. Demografische data
4. Social media
Automatische
trenddetectie
Sandjai Bhulai ([email protected])
Uitdaging #1
• Hoe krijg je (alle) Nederlandse Twitter berichten?
• Twitter heeft een streaming API
• Fair use policy geeft random 1% van de Twitter stream
• Keywords volgen is toegestaan
• Hoeveel data hebben we nodig?
• Hoeveel data kunnen we krijgen?
• Hoeveel data kun je afhandelen?
• Hoeveel data kun je opslaan?
Sandjai Bhulai ([email protected])
Uitdaging #2
• Hoe detecteer je trends op Twitter?
• Absolute frequenties van tweets
• Relatieve frequenties van tweets
• Snelheid van tweets
• Versnelling van tweets
• Seizoenspatronen
• We hebben een real-time algoritme nodig
• We moeten efficient met het geheugen omgaan
Sandjai Bhulai ([email protected])
Trending topics
1. #PrayforMexico
2. #SocialMovies
3. #temblor
4. Sismo de 7.8
5. Earthquake in Mexico
6. John Elway
7. Pat Bowlen
8. Marcelo Lagos
9. Azcapotzalco
10. Niñas de 13 y 14
20 maart 2012, Twitter.com
Sandjai Bhulai ([email protected])
Uitdaging #3
• Wat doe je met de volgende tweets?
• “Brand in Amsterdam”
• “Vuur in 020”
• “Fikkie in A’dam”
• “Ik heb brand gezien”
• “Ik zag brand”
• “Ik zie brand”
Sandjai Bhulai ([email protected])
Live demo (prototype)
• Prototype: live twitter stream!
• Bijna volledige Nederlandse Twitter stroom
• Probeert nieuws te detecteren voordat het in de
mainstream media is
Sandjai Bhulai ([email protected])
De toekomst
• Nog veel uitdagingen op ons pad:
• Hoe om te gaan met retweets?
• Integreren van reputatie scores?
• Gebruik van profiel informatie?
• Voordeel van semantisch onderzoek?
• Toevoegen van andere sociale media?
• Generaliseren naar andere talen?
• Koppelen van GPS informatie?
• …
