Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Seminarankündigung für das SS04
• Empfehlungssysteme in E-Commerce und E-Business: Methoden und Herausforderungen
• PD Dr. Oliver Wendt• Blockseminar 25.+26. Juni 2004
• Status quo der Verwendung von Recommender Systems und Einordnung in die Marketing-Theorie
• Darstellung der verwendeten Methoden: content based filtering, collaborative filtering, data mining, social network analysis etc.
• Architekturen für die Gestaltung von Datenschutz- und Anreiz-problemen
• Themenvorschläge und Anmeldung (bis zum 30.4.)• unter www.is-frankfurt.de
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Künstliche Neuronale Netze
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Künstliche Neuronale Netze
• Selbständige Entwicklung von („subsymbolischen“) IV-Fähigkeiten als adaptive Reaktion auf eine Informationsumgebung
– parallel– verteilt
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Definition
• Ein neuronales Netz ist ein gerichteter Graph mit folgenden Eigenschaften:– Jedem Punkt ist ein Speicher zugeordnet.– Jede Kante fungiert als unidirektionaler Signalpfad.– Die von einem Punkt ausgehenden Signale sind auf
allen Kanten identisch.– Jedem Punkt ist eine Transferfunktion zugeordnet.
Diese ordnet den Ausgangsknoten, abhängig vom Speicherinhalt und den eingehenden Signalen, ein Ausgangssignal zu.
– In der Lernphase kann eine Subfunktion einem Speicher, abhängig vom bisherigen Inhalt, abhängig von einem Präsentationswert sowie abhängig von den eingehenden Signalen, einen neuen Wert zuweisen.
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Das Neuron
Transferfunktion
Localmemory
“activate”X1 X2 Xn
y Output signal
Copies of output signal
Input signals
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Eigenschaften der KNN
• Lernfähigkeit• Verallgemeinerungsfähigkeit• Assoziationsfähigkeit• Robustheit• Massiv parallele
Informationsverarbeitung
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Anwendungsgebiete der KNN
• Mustererkennung• Spracherkennung• Signalverarbeitung• Maschinelles Lernen, Expertensysteme• Diagnose• Vorhersage• Optimierung• Steuerung, Regelung
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Bedeutung von “Lernen” in KNN
• die Gewichte der Verbindungen zwischen den Neuronen modifizieren
• ein neues Neuron kreieren• ein Neuron zerstören
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Lernmethoden in KNN
• Supervised Learning (Überwachtes Lernen)– Das vom KNN gelieferte Output wird mit dem
gewünschten Output verglichen;– das KNN wird anhand von diesem Unterschied trainiert.
• Reinforcement Learning (Kritiker Lernen)– Das vom KNN gelieferte Output erhält eine Bewertung;– das KNN wird anhand von dieser Bewertung trainiert.
• Unsupervised Learning– Dem Netz werden nur Inputs präsentiert. Während der
Trainingsphase werden die Gewichte der Neuronen– so geändert, dass die Trainingsbeispiele in korrelierten
Kategorien (Cluster) organisiert werden.
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Das Neuron(Begriffe)
Dendriten: Eingabeeinheit, Empfang der Signalimpulse
Zellkörper: Verarbeitungseinheit wird aktiviert, wenn Summealler Dendritensignale eine Schwelle überschreitet
Axon: Ausgabeeinheit - leitet Aktivierungsimpuls zu anderen NeuronenSynapse: Kontaktpunkt zwischen Axon und Dendrit des nächsten Neurons
Biologisches neuronales Netz := miteinander verbundene Nervenzellen (Neuronen)der Hirnrinde (Neocortex)kommunizieren per elektrischer Impulse
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
x1
x2
y1 = f (w1x1+w2x2+b1)
y1
w1
w2
Input Output
Künstliches Neuronales Netz
(schematisches Neuron)
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
y1
y2
z1
x1
x2
w‘1
w‘2
w11
w12
w21
w22
Output
w11 w12
w21 w22
Neuronales Netz(Multi-Layered-
Perceptron)
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
y1
y2
x1
x2
w‘1
w‘2
Diskrete Ergebnisse:
w11
w12
w21
w22
Output d ( x1, x2 )
y1 = F (w1x1+w2x2 +b1) { -1, 1}
Neuronales Netz(Feed Forward)
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Sigmoid Funktion
yj = arctan ( wijxi )
Neuronales Netz(Feed Forward)
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Lernregeln
Neuronales Netz(Feed Forward)
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
weight matrix 1
weight matrix 2
x1 x5x2 x3 x4 x10x7x6 x9x8
hidden layer
output layer
Ausgangssignal
input layer
Neuronales Netz(Feed Forward)
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Lerntheorie
• Neuron-Wichtungsvektor:
• Netzwerk-Wichtungsvektor:
• Netzwerk-Funktion:
w w wi i inT( , ... , )1 ; , ... ,i N1
w w wT T Tn 1 , ... ,
y G x w ( , )
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Lerntheorie
• Um eine Funktion A(x) zu approximieren, muß der quadratische Fehler F(w) auf dem von allen Inputparametern aufgespannten „Volumen“ V (also dem u.U. hochdimensionalen Parameterraum) unter Berücksichtigung der Dichte p minimiert werden:
• Unter Berücksichtigung dieses allgemeinen Lerngesetzes lassen sich topologie-spezifische Lernregeln aufstellen. Man unterscheidet:
F w A x G x w p x dV xA
( ) ( ) ( , ) ( ) ( ) min! 2
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Lerntheorie
• supervised learning– Netzwerk funktioniert als Input/Output-System (ggf.
interpolierend)– entweder: beim Lernen werden die korrekten
(gewünschten) Input/Output-Paare verwendet
– oder: die Anpassung des Gewichtungsvektors orientiert sich an einem Bewertungsmaß
• competitive learning(self organization, keine separate Lernphase)– bei jedem Lernschritt kommt es zu einem "Wettbewerb“
zwischen den Neuronen des Netzwerks– der "Gewinner" darf seinen Gewichtungsvektor anpassen
Entscheidungsunterstützungssysteme IWI Frankfurt 2004
Anwendungen
• Assoziative Netze– Assoziativspeicher– Klassifikator (z.B. Kreditwürdigkeitsprüfung)
• Abbildungsnetze– Transformation– Nicht-lineare Regression (KNN mit 1 hidden
layer können jeden funktionalen Zusammenhang abbilden!)
• Selbstorganisierende Netze zur Optimierung