dd1368 databasteknik föreläsning 8: gästföreläsning ...€¦ · •!finns sql-lika gränssnitt...
TRANSCRIPT
DD1368 Databasteknik Föreläsning 8: Gästföreläsning, utblickar
Hedvig Kjellström [email protected] www.csc.kth.se/DD1368
Idag
•!Andreas Lundin, Netlight Consulting Business intelligence och databaser - att arbeta med databasutveckling och modellering för ett data warehouse
•!Utblickar -!Bortom relationsdatabaser – att söka bland
”ostrukturerad” data
DD1368 Föreläsning 7, 28 februari 2011
Utblickar Bortom relationsdatabaser – att söka bland ”ostrukturerad” data
Dataenhet i relationsdatabas: Tupel
•!”Hitta alla anställda med lön högre än $70000/år”
select * from Instructor where salary > 70000!
DD1368 Föreläsning 7, 28 februari 2011
Dataenhet i textdatabas: Artikel
DD1368 Föreläsning 7, 28 februari 2011
•!”Hitta alla artiklar som är kritiska till regimen i Libyen”
???
Dataenhet i bilddatabas: Bild
•!”Hitta alla bilder av hästar som galopperar”
??????
DD1368 Föreläsning 7, 28 februari 2011
Information 1996
DD1368 Föreläsning 7, 28 februari 2011
Information 2009
DD1368 Föreläsning 7, 28 februari 2011
Att söka bland ”ostrukturerad” data
•!Beskriv data med ett antal särdrag (features)
DD1368 Föreläsning 7, 28 februari 2011
Särdrag 2!
Särdrag 1!
Datainstans!
Datainstans!
Datainstans!
…!
Realistiska fall: Antal dim >> 2
Att söka bland ”ostrukturerad” data
•!Kan hitta den datapunkt som är mest lik en ny – närmaste granne (nearest neighbor)…
DD1368 Föreläsning 7, 28 februari 2011
Att söka bland ”ostrukturerad” data
•!…eller gränser mellan olika klasser (classes)
DD1368 Föreläsning 7, 28 februari 2011
Träna modeller med dataexempel: Maskininlärning (Machine Learning)
Tupler kan också definieras som punkter i ett särdragsrum
•!Vad är särdragen?
”Hitta alla anställda med lön högre än $70000/år”
DD1368 Föreläsning 7, 28 februari 2011
Salary!
ID!
70000!
Ett särdragsrum för dokument
•!Förslag på särdrag för en text?
”Hitta alla artiklar som är kritiska till regimen i Libyen”
DD1368 Föreläsning 7, 28 februari 2011
Antal av ett annat ord!
Antal av ett ord!
Ett särdragsrum för dokument
•!Kan också hitta särdrag som beskriver bilder
”Hitta alla bilder av hästar som galopperar”
DD1368 Föreläsning 7, 28 februari 2011
Sökning i särdragsrum kan alltså ses som en generalisering av SQL-frågor!
•!Det insåg Google-grundarna Sergey Brin och Larry Page, och lanserade…
DD1368 Föreläsning 7, 28 februari 2011
paradigmet ”Search, don’t sort”
•!Organisera inte databasen
•!Bra söktekniker istället
•!Första informationssystemet byggt på detta paradigm: Gmail -!Istället för att manuellt sortera dina mail i foldrar, spara
dem i en stor folder, som sedan söks med websökningslika frågor
DD1368 Föreläsning 7, 28 februari 2011
paradigmet ”Search, don’t sort”
•!Internet = enorm oordnad databas -!Kan använda samma typ av metoder för att ställa frågor till
internet som till annan databas -!Funkar också för ickebeständigt data – strömmar, signaler
•!Finns SQL-lika gränssnitt till ickerelationella datamängder -!GQL, Google App Engine -!SQLstream
DD1368 Föreläsning 7, 28 februari 2011
Stora talens lag, används av tex
•!Med enormt stora mängder data kommer alltid majorieten av data vara rätt
•!”Distribuerat beslutsfattande” -!I en tillräckligt stor grupp människor kommer alltid
majoriteten vara vettiga -!Wikipediaartiklar är pålitliga eftersom många besöker
dem och kan ändra inlägg de inte håller med om
•!Används även för maskininlärning -!Med tillräckligt mycket träningsdata behövs nästan inga
modeller alls, kan bara göra närmaste-grannesökning
DD1368 Föreläsning 7, 28 februari 2011
Intresserad av ”ostrukturerad data”, stora datamängder och inlärning från exempel?
•!DD2475 Information Retrieval
•!DD2431 Machine Learning
•!DD2447 Statistical Methods in Applied Computer Science
Och mer: •!Masterprogrammet för Maskininlärning (valbart i åk 4)
DD1368 Föreläsning 7, 28 februari 2011
Intresserad av det programmeringstekniska?
•!DD2471 Moderna databassystem och databastillämpningar
•!DD2483 Utveckling av Webbtillämpningar med Enterprise Java
DD1368 Föreläsning 7, 28 februari 2011
Härnäst
•!I morgon: Övning 6 -!Redovisa Hemtal 5 – gå till vilken grupp ni vill -!Se instruktioner på kurshemsidan, Hemtal i menyn
•!11/3: Redovisning av lab 3, 5 -!Boka ett 15-minuterspass
•!14/3: Tentamen -!Hjälpmedel:
–! Boken, med anteckningar i –! Föreläsnings-oh, kan köpas på CSC Studentexp för 40:-
–! Alla handskrivna anteckningar (föreläsning, övning, hemma) –! Ej tillåtet med fotokopior av andras anteckningar
-!Se instruktioner på kurshemsidan, Tentamen i menyn
DD1368 Föreläsning 7, 28 februari 2011
I period 4: Titta regelbundet på hemsidan, speciellt schemat! Det finns tex datorsalstid där man kan få hjälp med projektet.