engel gedan petersen tu darmstadt 1 vergleich von lernverfahren für netzstrukturen mit radialen...
TRANSCRIPT
![Page 1: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/1.jpg)
Engel Gedan PetersenTU Darmstadt 1
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen
![Page 2: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/2.jpg)
Engel Gedan PetersenTU Darmstadt 2
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Aufgabenstellung
Klassifikation und Regression mittels neuronaler Netze
– Vergleich verschiedener Verfahren• RBF-Netz• SVM (Support Vector Machines)• LOLIMOT
– Implementieren eines RBF-Netzes
– LIBSVM-Interface programmieren
– Entwicklung einer Matlab-GUI
– Auswertung der Resultate
![Page 3: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/3.jpg)
Engel Gedan PetersenTU Darmstadt 3
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Klopferkennung am Ottomotor
• Klopfen am Ottomotor– Tritt im Zylinder auf (Druckschwankungen)– Entsteht bei hohen Drücken und Temperaturen– Langfristig treten durch das Klopfen
mechanische Schäden auf– Die Motorsteuerung kann entsprechende
Gegenmaßnahmen einleiten
• Klopfdaten:– Körperschallmerkmale im Zeitbereich– Abgeleitete Merkmale im Frequenzbereich
![Page 4: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/4.jpg)
Engel Gedan PetersenTU Darmstadt 4
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Schätzung des Stickoxidgehalts
• NOx-Emission in Motorabgasen
– Stickoxide unerwünscht (Abgasverordnung)
• Maßnahmen zur NOx-Verminderung
– Optimierung des Verbrennungsprozesses
– Messwerte des NOx-Gehalts notwendig
– Lösung durch Berechnung des NOx-Werts mittels neuronaler Netze
• Vorhersage des NOx-Gehaltes mittels:
– Motordrehzahl– Luftmassenstrom– Drosselklappenstellung
![Page 5: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/5.jpg)
Engel Gedan PetersenTU Darmstadt 5
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Vergleich der Netze
SVM
LOLIMOT
RBF
GUI
- unterschiedliche Lernalgorithmen- gleiche Netzstrukturen
- unterschiedliche Lernalgorithmen
- unterschiedliche Netzstrukturen
- ähnliche Lernalgorithmen
- unterschiedliche Netzstrukturen
![Page 6: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/6.jpg)
Engel Gedan PetersenTU Darmstadt 6
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
• 3 Freie Parameter – Gewichtung – Position c– Sigma
• N-dimensional
• Netz: Summe vieler Gaußglocken
+
x1
x2
Radiale Basisfunktionen
,c
![Page 7: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/7.jpg)
Engel Gedan PetersenTU Darmstadt 7
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Orthogonal Least Squares
• Berechnung in zwei Schleifen• Innere Schleife:
Fehlerberechnung für verfeinerte Modelle (Strukturoptimierung)
• Problem: Gewichte sind voneinander abhängig!
• Lösung: orthogonalisieren (Transformation)
• Neue Gewichte sind voneinander unabhängig
• Fehlerberechnung mit neuen Gewichten möglich
• Äußere Schleife:– Rücktransformation– Abbruchkriterien
![Page 8: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/8.jpg)
Engel Gedan PetersenTU Darmstadt 8
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
SVM-Klassifikation • Separation von Daten in Klassen
– Berechnung trennender Hyperebenen
• Optimale Separation durch– Maximierung des Spaltabstands zu beiden Klassen
• Vektoren auf dem Spalt sind Stützpunkte der Ebene
Support-Vektoren
max
x1
x2
![Page 9: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/9.jpg)
Engel Gedan PetersenTU Darmstadt 9
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
SVM-Regression
• Unterschiede zu anderen Verfahren– Insensitivität ()– Toleranz von
Abweichungen ()
• Mathematisches Vorgehen– Abbildung in
hochdimensionalen Raum
– Dort linear lösbar
i
*i
+
-
![Page 10: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/10.jpg)
Engel Gedan PetersenTU Darmstadt 10
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
LIBSVM-Interface
• LIBSVM ist Open Source
• Bietet Kommandozeilentools für– Skalierung– Training – Ein-Schritt-Vorhersage
• Motivation für das Interface– C-Code ist in Matlab nicht direkt verwendbar– Verwendung auf der Kommandozeile umständlich
• Gewinn durch das Interface– Algorithmen jetzt in Matlab verfügbar– Simulation und graphische Darstellung möglich– Einfachere Bedienung
![Page 11: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/11.jpg)
Engel Gedan PetersenTU Darmstadt 11
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
LIBSVM-Interface
![Page 12: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/12.jpg)
Engel Gedan PetersenTU Darmstadt 12
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Kreuzvalidierung
• Eine Verfeinerung der Modelle führt ab einem gewissen Punkt zu Überanpassung
• Das Minimum lässt sich nicht vorhersagen, sondern muss per Kreuzvalidierung ermittelt werden
• Suche nach Minima des Validierungsfehlers in Abhängigkeit von freien Parametern
![Page 13: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/13.jpg)
Engel Gedan PetersenTU Darmstadt 14
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
GUI
![Page 14: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/14.jpg)
Engel Gedan PetersenTU Darmstadt 15
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Berechnungen
• Klassifikation– Variation der Datensätze
• Verschiedene Zylinder• Verschiedene Messreihen
– Variation der Merkmale• Zeitbereichsmerkmale• Frequenzbereichsmerkmale• Kombination
• Regression– Training mit Ein-Schritt-Prädiktion– Anschließende Überprüfung mit einer Simulation
![Page 15: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/15.jpg)
Engel Gedan PetersenTU Darmstadt 16
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
0
5
10
15
20
25
30
35
4 -> 4 t 4 -> 4SA
6 -> 4 t 6 -> 4SA
4 -> 6 t 4 -> 6SA
4 -> 6FRQ
SVMRBFLOLIMOT
Ergebnisse
• Erfolg schwach abhängig von der Wahl des Verfahrens
• Jedoch stark abhängig von der Wahl der Daten
Kla
ssif
ikat
ion
sfeh
ler
in %
![Page 16: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/16.jpg)
Engel Gedan PetersenTU Darmstadt 17
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Regression
![Page 17: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/17.jpg)
Engel Gedan PetersenTU Darmstadt 18
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Zusammenfassung und Ausblick
• Problemstellung mit gegebenen Verfahren gut lösbar
• Daten wichtiger als Verfahren (Messstrategien)
• Rechenzeit abhängig vom Verfahren
• Toolbox erfolgreich entwickelt
• Überprüfung der Praxistauglichkeit
• Ausbau der Toolbox möglich
• Weitere Anwendungen der Toolbox sinnvoll
![Page 18: Engel Gedan Petersen TU Darmstadt 1 Vergleich von Lernverfahren für Netzstrukturen mit radialen Basisfunktionen](https://reader036.vdocuments.mx/reader036/viewer/2022062512/55204d8149795902118d4b9f/html5/thumbnails/18.jpg)
Engel Gedan PetersenTU Darmstadt 19
Vergleich von Lernverfahren für Netzstrukturenmit radialen Basisfunktionen
Noch Fragen?