katharina morik lehrstuhl informatik viii universität dortmund
Post on 11-Feb-2016
61 Views
Preview:
DESCRIPTION
TRANSCRIPT
Data Mining – Merkmalsextraktion,
Merkmalsgenerierung, Merkmalsselektion
als Schlüssel zum Erfolg
Katharina MorikLehrstuhl Informatik VIII
Universität Dortmundwww-ai.cs.uni-dortmund.de
morik@ls8.cs.uni-dortmund.de
Überblick
Unterstützung des Data Mining Prozesses MiningMart – direkte Datenbankintegration
– Telekommunikationsanwendung– Versicherungsanwendung
Yale – stand-alone mit Datenbank- oder Dateizugriff– automatische Merkmalsextraktion aus Musikdaten– peer2peer Organisation von Musiksammlungen
Credo
DM Prozess 3
CRISP – Prozess der Wissensentdeckung
Businessunderstanding
Dataunderstanding
EvaluationDeployment
Modeling
Datapreparation
64% der Wissensentdecker brauchen mehr als 61% der Zeit einer Anwendung für die Vorverarbeitung (KDnuggets poll Okt.2003).
DM Prozess
Werkzeuge für Data Mining
Unterstützung des zentralen Lernschrittes (Modellierung) bereits sehr gut – Vorverarbeitung?
Dokumentation des gesamten Prozesses? Wiederverwendbarkeit eines Prozesses?
LS8 entwickelt Werkzeuge, die den gesamten Prozess unterstützen dokumentieren wiederverwenden lassen!
DM Prozess 5
Vorverarbeitung
Fehlende Werte Zusammenstellen der Informationen aus mehreren
Datenbanktabellen zu einem Beispiel (in einer Tabelle)
Ausreißererkennung Sampling Erzeugen der Merkmale gemäß der Anforderung des
Lernalgorithmus’.
MiningMart 6
Mining Mart Ziele
Operatoren für die Vorverarbeitung– direkt auf der Datenbank– maschinelles Lernen für die Vorverarbeitung
Dokumentation – der Daten– der Fälle
Wiederverwendung von abstrahierten Fällen
MiningMart 7
Mining Mart Ansatz
Metadaten zur Beschreibung von– Daten, – Operatoren und– Fällen (Sequenzen von Operatoren)
Compiler, der Metadaten in ausführbaren SQL-Code übersetzt
Sammlung von Fällen in Form von operationalen Metadaten
Lernoperatoren des MetamodellsDataMiningStep
Classification Regression Clustering Associations Subgroupdiscovery
SVM_light decisionTree MySVM k-means Sidos,Midos
Lernoperatoren sind auch Vorverarbeitungoperatoren!Beispiel: C4.5 zur Disketisierung oder Ersetzung fehlender Werte.
NEU
MiningMart 9
Meta Modell für Metadaten
Das begriffliche Modellbeschreibt die Objekte und Klassen der Anwendung
Das Fallmodellbeschreibt Operator-ketten
Das Ausführungsmodellgeneriert SQL statementsoder Aufrufe externer Verfahren
Das relationale Modellbescheibt die Datenbank
MiningMart 10
TILab
CustomerData Warehouse
Daten• Kundeninformation• Service Profil der Kunden• Tarifdetails der Kunden• Extra service Information Anrufdaten aggregiert je Monat• Rechnungsdaten aggregiert je Monat
• Beschwerden • Missbrauch • Kundenkontakt • Marktdaten
13 operationale Systeme
•Mehr als 500 Attribute je Kunde•Loading: monatlich•Datenvolumen: 1.5 Tb
Welche Kunden werden den Vertrag kündigen?
Fallentwicklung mit Mining Mart
Schritte:–Begriffe, Attribute, Relationen
– Operatoren
– Kette aufbauen
MiningMart 12
Begriffe, Attribute, Relationen
Demographische Attribute
Anrufdaten
Daten über Services
Einnahmedaten
MiningMart 13
Vorverarbeitungskette
MiningMart 14
Ergebnis der Vorverarbeitung
16 Rohattribute
45 Generierte Attribute
Merkmalsgenerierung Merkmalsauswahl
Churn prediction Ketten Medium value customers are selected
training set
decision tree operator applied to fit predict the likelihood of a customer to become a churner in the month M6
Save output
4 Lernläufe, einen für jedes Kundensegment
Lernergebnis
Performanz
PRED_ACTPRED_CHN
ACTIVE
CHURNER
11
8986
140
20
40
60
80
100
MEDIUM customer model performance
PRED_ACTPRED_CHN
ACTIVE
CHURNER
19
8194
60
20
40
60
80
100
HIGH customer model performance
Training / test set: 70% / 30%
MiningMart 18
Schlussfolgerung von TILab:
Speed up for some preprocessing tasks increased by 50% at least.
Power users may find Mining Mart as easy to use as the leading commercial dm platforms.
It enables building libraries of predefined data mining applications that can be easily modified.
MiningMart guarantees the highest scalability, since it exploits leading commercial db tools features.
Quality of data mining output increases. Bottom line: Mining Mart supports efficiently and effectively the
preprocessing stage of a data mining process.
MiningMart 19
Versicherungsanwendung
Versicherung (SwissLife): Analyse der Rückkäufe Daten:
– Auszug aus dem Data Warehouse einer Versicherungsgesellschaft in anonymisierter Form
– Oracle-Datenbank, 18 Tabellen und 15 Relationen– Informationen zu Versicherungsverträgen und
demographische Daten zu den Partnern– 217 586 Versicherungsverträge und 163 745 Partner
Mit gegebenen Merkmalen Lernergebnis nur max. – Precision: 57%– Recall: 80%
MiningMart 20
Auszug aus der VersicherungstabelleVVID VVAENDR VVWIVON VVWIBIS VVAENDAT VVAENDART ...
16423 1 1946 1998 1946 1000
16423 2 1998 1998 1998 27
16423 3 1998 1998 1998 4
16423 4 1998 1998 1998 54
16423 5 1998 1998 1998 4
16423 6 1998 9999 1998 61
5016 1 1997 1999 1997 33
5016 2 1999 2001 1999 33
5016 3 2001 2001 2001 33
5016 4 2001 2001 2001 33
5016 5 2001 2002 2001 81
5016 6 2002 9999 2001 94
... ... ... ... ... ... ...
MiningMart 21
Merkmalsgenerierung mit Hilfe von TFIDF Termfrequenz beschreibt, wie oft ein bestimmtes
Attribut in einem Vertrag geändert wurde
Die Dokumentfrequenz entspricht der Anzahl der Verträge, in denen das Attribut geändert wurde
TFIDF Merkmale
geändert wurde|Zeitpunkte),( iji axcatf
geändert wurde|)( iji aCcadf
)(C
log),(),(i
jiji adfcatfcatfidf
MiningMart 22
Erzeugung der TFIDF MerkmaleVVID ... VVSTACD VVPRFIN VVPRZA VVINKZWEI VVBEG VVEND VVINKPRL ...16423 4 1 2 2 1946 1998 295,29
16423 4 1 2 2 1946 1998 295,29
16423 4 5 2 0 1946 2028 0
16423 5 3 2 0 1946 2028 0
16423 4 1 2 2 1946 1998 295,29
16423 5 3 2 0 1946 1998 0
VVSTACDVVPRFINVVPRZAVVINKZWEIVVBEGVVENDVVINKPRL
3403023 Hanna Köpcke
MiningMart 23
Lernverfahren und Ergebnisse
Training einer SVM 10-fache Kreuzvalidierung Ergebnis
– Accuracy: 99,4%– Precision: 94,9%– Recall: 98,2%
Die guten Ergebnisse können mit Thorsten Joachims TCat-Theorie erklärt werden.
Schlüssel zum Erfolg lag in der Erzeugung von TFIDF-Merkmalen.
TCat-Konzepte
Das TCat-Konzept
beschreibt eine binäre Klassifikationsaufgaben mit s disjunkten Mengen von Merkmalen. Die i-te Menge enthält fi Merkmale. Jedes positive Beispiel enthält pi Merkmale aus der jeweiligen Menge, und jedes negative Beispiele enthält ni Merkmale aus der Menge. Das gleiche Merkmal kann mehrmals in einem Dokument vorkommen.
sss fnpfnpTCat ::,,:: 111
TCat im Bild
20 aus 100 Stoppwörtern, 5 aus 600 mittelhäufigen und 10 aus seltenen Wörtern kommen in POS- und NEG-Dokumenten vor;4 aus 200 mittelhäufigen Wörtern in POS, 1 in NEG, 9 aus 3000 seltenen Wörtern in POS, 1 in NEG(Es müssen nicht immer die selben Wörter sein!)
positive Dokumente
negative Dokumente
4
4
9
91
1 10
101
1Wörter nachRang geordnet
Lernbarkeit von TCat-Konzepten
Schranke des erwarteten Generalisierungsfehles einer Support Vector Maschine nach Joachims
2
2 21 bac
cbanR
2
1
2
1
2
1
2
1
2
d
r
s
i i
i
s
i i
ii
s
i i
i
krcR
fnc
fnpb
fpa
mit
Yale 27
Systemunterstützung durch Yale
Experimente sind (geschachtelte) Ketten von Operatoren für Vorverarbeitung, maschinelles Lernen und Evaluation.
Abspeichern der Ketten erlaubt ihre Wiederverwendung mit anderen Parametern:– Daten:
• Datenformat in XML beschrieben• Datei
– Lernparameter
Yale 28
Yale
Ralf Klinkenberg,Ingo Mierswa,Simon Fischer
Yale 29
Lernergebnis einer Analyseaufgabe
Yale 30
Intelligente Systeme für Musik
Automatische Annotation von Musik Lernen von Metadaten
Klassifikation von Musik nach– Genre (nur noch als benchmark)– Benutzerpräferenzen– Gelegenheiten
Automatische Organisation von Sammlungen Empfehlungen
z.B. EU-Projekt SIMAChttp://www.semanticaudio.org/
Yale 31
Technischer Kern
Audiodaten sind Zeitreihenunivariat: Elongation
Wir müssen Ähnlichkeiten von Zeitreihen erkennen– Indexing– Clustering
Yale 32
Clustering von Zeitreihen – Standard
Database C
Query Q(template)
Given a Query Q, a reference database C and a distance measure, find the location that best matches Q.
The best matching subsection.
Note that we can always convert subsequence matching to whole matching by sliding a window across the long sequence, and copying the window contents.
So passen ähnliche Musikstücke nicht!
Yale 33
Dynamic Time Warping
C
QC
Q
(i,j) = d(qi,cj) + min{ (i-1,j-1) , (i-1,j ) , (i,j-1) }
Warping path w
So auch nicht!
Yale 34
Technischer Kern
Merkmalsextraktion ist notwendig für– Annotation– Indexierung– Clustering– Klassifikation
Je Aufgabe unterschiedliche Merkmale nötig!– Klangähnlichkeit, Liedtexte, Kulturelle Metadaten
(MPEER, Stephan Baumann)– Verschiedene Benutzer verwenden andere Merkmale
(Klassifikation von Benutzerpräferenzen, Ingo Mierswa)
Yale 35
Low Level Descriptors
Lautstärke Spectral Centroid (Cepstral) Mel Frequency Cepstral Coefficient (MFCC) Zero Crossing Rate Peaks: Amplitude, Zweithöchster/ Höchsten, Intervall
zwischen Zweithöchstem und Höchstem
Yale 36
High-Level Descriptors
Genre Stimmung: glücklich, traurig, neutral Tempo: sehr langsam – sehr schnell, variierend Komplexität: gering, mittel, hoch Gefühl: sanft, neutral, aggressiv Fokus: Gesang, beides, InstrumentLernaufgabe: Klassifikation nach HLD, gegeben LLDErgebnis: klappt nicht!
Pohle et al. 2005
Yale 37
Merkmalsextraktion lernen lassen!
Zils, A. Pachet, F. 2004. Automatic Extraction of Music Descriptors from Acoustic Signals. ISMIR
Mierswa, I. Morik, K. 2005. Automatic Feature Extraction for Classifying Audio Data. Machine Learning Journal, 58, 127 - 149.
Genetische Programmierung zur Optimierung der Merkmalsextraktion für eine Lernaufgabe!
Einzelbestandteile der LLD kombinieren lassen zu einem Merkmalsbaum, der ein Merkmal extrahiert.
Frequenz -- Peaks
Frequenz -- Stärkste Frequenz
Intervalle im Frequenzbereich
Phasenraum )1ty,t(yyt
Zeitreihe Ny,...,1y
Deter-ministicProcess
yt
time t yt
yt+1
AR(1)-process with outlier (AO)
yt
timet yt
yt+1
Heart rate
HRt
time t yt
yt+1
U.Gather, M. Bauer
Phasenraum
Deterministischer Prozess
AR(1) Prozessmit Ausreißer
Herzrate
Audiodaten: Phasenraum Pop
Audiodaten: Phasenraum Klassik
Yale 44
Darstellung der geeigneten Transformationen für eine Aufgabe
Methodenbaum:– Reihe von Transformationen, durch ein Funktional
abgeschlossen• Transformationen von Wertereihen in Wertereihen• Transformation in einen anderen Raum
– Fensterung ist eine Transformation, die selbst wieder ein Methodenbaum ist
Aufbau eines Methodenbaums:– Dynamische Fensterung erzeugt neue Teilbäume
Anwendung eines Methodenbaums erzeugt Merkmale für eine gegebene Wertereihe
Yale 45
Methodenbaum
T: FFT F: MaxIndexT: Hanning
T: Fensterung
Wertereihe Merkmale
F: Avg + Var
Wurzel
T: EMA
Yale 46
Lernen eines Methodenbaums für eine Aufgabe mit genetischer Programmierung Training der Merkmalsextraktion auf Teilmenge der
Daten. Anwendung der Merkmalsextraktion auf alle Daten
für die Lösung einer Lernaufgabe. Genetische Programmierung:
– Individuen: Methodenbäume– Fitness durch Kreuzvalidierung der jeweiligen
Lernaufgabe nach Vorverarbeitung durch das zu evaluierende Individuum.
Yale 47
Jede Aufgabe verlangt andere Merkmale
Pop vs. Klassik: durchschnittliche Länge nach einer Phasenraumtransformation bestes Merkmal; korrekte Klassifikation von 184 der 200 Instanzen
Pop vs. Techno: Varianz der Extremadifferenz als bestes Merkmal; korrekte Klassifikation von 132 der 160 Instanzen.
Benutzerpräferenzen: jeder Benutzer braucht andere Merkmale! 84,5 -- 95,2 accuracy85,9 – 98,3 precision83,7 – 99,0 recall
Yale 48
Experimente zum Lernen mit Merkmalstransformation
Lernen des Methodenbaums für eine Aufgabe:Ergebnis diese Lernlaufs ist ein Yale-Experiment.
Durchführung des gelernten Yale-Experiments. Lernen der Analyseaufgabe mit den gelernten
Merkmalen.
Yale 49
Wertereihen
Yale 50
Lernen der Merkmalsextraktion
Yale 51
Lernverlauf
Yale 52
Lernergebnis
Methodenbäume in Yale
Yale 54
Allgemein: Funktionsapproximation
Approximiert wird die zu Grunde liegende Funktion.
Diese ist oft nichtlinear. Die Güte der Approximation
wird anhand neuer, vorher nicht gesehener Daten bewertet.
Multikriterielle Optimierung:– so einfach wie möglich– so korrekt wie möglich– Paretofront möglicher
Lösungen
Nemoz
NEtwork Media OrganiZer:
Collaborative clustering in P2P networks
Einbindung von Yale
Kopieren
Clustering
Klassifikation
Stöberngemäß eigener Präferen
zen
Yale 56
Ergebnisse
39 Taxonomien von Liedern. Alle Objekte einer Taxonomie
herausnehmen als Xq
Clustering durch– LACE,– K-means clustering,– Single link clustering
Wurst, Morik, Mierswa 2006
Method Correlation Absolute distance
Collabor. clustering
0.44 0.68
K-means 0.23 1.9
Single-link 0.1 10.8
random 0.09 1.8
Tatsächlich verbessern die Taxonomien der andern das Ergebnis.
Zusammenfassung Erzeugte Merkmale ermöglichen erst Lernerfolg in
vielen Anwendungen.– Telekommunikation– Versicherung
Musikdaten sind der Härtetest für Merkmalsextraktion– Merkmalsextraktion– Verschiedene Merkmalsextraktion je konkreter
Lernaufgabe– Komplizierte Ähnlichkeitsmaße
Lernen der Merkmalsextraktion– LLD dekomponieren zu einfachen Bausteinen– HLD als Methodenbaum
Credo
Vorverarbeitung ist entscheidend für die Qualität der Wissensentdeckung.
Vorverarbeitung ist aufwändig und schwierig, daher Wiederverwendung wichtig.– Abstraktion durch Metadaten (MiningMart) bzw.
Experimente (Yale)
Vielen Dank für Ihre Aufmerksamkeit!
top related