data mining zur prozessoptimierung - fraunhofer iosb · tion between sensor data and quality...
TRANSCRIPT
-
1
Data Mining zur Prozessoptimierung
VDI-Fachtagung Prfprozessmanagement im Fahrzeug- und Maschinenbau 2012 Leonberg, 24.10.2012
Dr. Michael HeizmannDipl.-Ing. Christian KhnertDr. Thomas Bernard
2 Fraunhofer IOSB 10/2012
Steigerung der Prozess-Effizienz und Produktqualitt mit Data-Mining-Methoden
Datengrab oder Goldgrube
Data Mining:aus einem Datenberg
etwas Wertvolles extrahieren
-
2
3 Fraunhofer IOSB 10/2012
Motivation: Wozu Data Mining im Produktionsumfeld?
Lsungskonzept:
Merkmalsgewinnung
Merkmalsselektion
Erstellung eines datengetriebenen Prozessmodells
Anwendungsbeispiel: Optimierung der Anfahrphase eines Batchprozesses
Weitere Anwendungsmglichkeiten
berblick
4 Fraunhofer IOSB 10/2012
Zunahme des Automatisierungs-grads und der Komplexitt von Produktionsprozessen
Dadurch fr den Anlagenfahrer nur noch schwer berschaubare Prozesse
Optimierung auch bei instationrenProzessphasen erforderlich
Bisher meist Prozessberwachung und -optimierung auf Grundlage physikalischerModelle und Expertenwissen:
Nicht immer mit hinreichender Gte mglich (z.B. bei nichtlinearen Prozessen oder Materialeigenschaften, zeitvariantem Systemverhalten)
Zeitaufwendig und kostenintensiv
Motivation: Wozu Data Mining im Produktionsumfeld?
-
3
5 Fraunhofer IOSB 10/2012
Zunahme der Verfgbarkeit von Produkt- und Prozessdaten (aufgrund des zunehmenden Automatisierungsgrades)
Sensor-, Qualitts- und Anlagendaten mssten eigentlich die interessierenden Informationen ber den Prozess enthalten
Sichtung und Interpretation der Daten durch den Menschen allerdings nur bei einfachen Zusammenhngen zuverlssig mglich
Erfahrung am IOSB: Gesammelte Daten werden im Produktionsumfeld nicht systematisch ausgewertet und zur Prozess- und Produktoptimierung genutzt momentan eher Datengrab statt Goldgrube
Motivation: Wozu Data Mining im Produktionsumfeld?
6 Fraunhofer IOSB 10/2012
... kann untersttzen bei:
Prozessfhrung und -optimierung
Prozessberwachung, Condition Monitoring
Qualittsberwachung und -management
Analyse von Key Performance Indices (KPIs)
Versuchsplanung
Produktdesign
Produktionsplanung und Fertigungssteuerung
Stammdatenmanagement
Instandhaltungsmanagement
Variantenmanagement
....
Data Mining im Produktionsumfeld
-
4
7 Fraunhofer IOSB 10/2012
Zusammenhang zwischen Prozessgren (z.B. Stell-, Regel-, Messgren, Materialparameter, Konfigurationen) und Produkteigenschaften bzw. Prozessgte ist in den verfgbaren Daten enthalten
Aufgabe des Data Mining: Einflsse von Prozessparametern auf Produkteigenschaften erkennen und modellieren
Ziel (Bsp. verfahrenstechnische Batch-Prozesse): Optimierung in Anfahrphase und bei Lastwechsel, Unterdrckung von Streinflssen
Produkt-Eigenschaften Qualitt Kosten Ressourcenverbrauch ...
Produktionsprozess
Prozess-Parameter Maschinenparameter Regelungsparameter Rezepte ...
Zusammenhang?
Grundgedanken
8 Fraunhofer IOSB 10/2012
State of the art:
Umfassende Sensorik
Anlagenberwachung
Regelungstechnik
Analytische Modelle
Data Mining dagegen bisher nur schwach verbreitet
Fraunhofer-Projekt ProDaMi Data Mining im Produktionsumfeld:
Methoden: Datenvorverarbeitung, Merkmalsgewinnung, Klassifikation, Visualisierung
Flexible Software-Module zu Sensordatengewinnung und -vorverarbeitung, Merkmalsgewinnung, Klassifikation, Modellgenerierung, Condition Monitoring
Einsatzszenarien: Stckgutprozesse, verfahrenstechnische Prozesse, Anlagen fr unterschiedliche Aufgaben (z.B. Windenergieanlagen)
Data Mining in der Automatisierungstechnik
ProProDaMiDaMiProProDaMiDaMiwww.prodami.de
-
5
9 Fraunhofer IOSB 10/2012
Fayyad 1996: Knowledge Discovery in Databases
Integration von Expertenwissen
Integration von physikalischem Wissen
Workflow im Data Mining
10 Fraunhofer IOSB 10/2012
Grundlage: archivierte Prozessgren (Zeitreihen) und Gteindizes fr den Prozess
Gteindizes: Bewertungsmae fr Produktqualitt und -quantitt, Ausschussrate, Material- und Rohstoffverbrauch, Kosten etc.
Vorverarbeitung der Prozessdaten und Merkmalserzeugung
Selektion relevanter (informationstragender) Merkmale: Reduktion der Datenmenge durch Beschrnkung auf signifikante Details
Generierung eines Prozessmodells: Zusammenhang zwischen relevanten Merkmalen und Gteindizes
Verwendung des Modells zur Optimierung der relevanten Merkmale und damit der Prozessgren
Optimierung offline und online
Data-Mining-Ansatz zur Prozessoptimierung
Vorverarbeitung undMerkmalsextraktionVorverarbeitung undMerkmalsextraktion
MerkmalsrankingMerkmalsranking
Datengetriebenes Modell
Datengetriebenes Modell
Optimierung der Gteindizes
Optimierung der Gteindizes
Prozessdaten, Zeitreihen
Merkmalspool
relevante Merkmale
Gteindizes
optimale Merkmalswerte
-
6
11 Fraunhofer IOSB 10/2012
Einlernphase: Generierung datengetriebener Modelle aus historischen Prozessdaten
Mehrere Modelle fr instationre Prozesse (z.B. An-/Abfahren, Dauerbetrieb, Phasen in einem Batchprozess, Zeitpunkte im Prozessablauf)
Nutzung dieser offline generierten Modelle zur Online-Prdiktion der Prozessgte:
Auswahl des passenden Modells (je nach Prozessphase)
Verarbeitung der Prozessdaten zu Merkmalen, Merkmalsreduktion
Frhzeitige Erkennung von Prozessvernderungen oder einer drohenden Prozessverschlechterung: Online-Monitoring
Lsungskonzept
Vorverarbeitung, Merkmalsextraktion, Selektion
Vorverarbeitung, Merkmalsextraktion, Selektion
aktuelle Prozessgren
ModellselektionModellselektion
Mo
del
l 1M
od
ell 1
Mo
del
l 2M
od
ell 2
Mo
del
l nM
od
ell n
relevante Merkmale
Prognose der Gteindizes
12 Fraunhofer IOSB 10/2012
Mer
kmal
sext
rakt
ion
Mer
kmal
sext
rakt
ion
Ziel: Gewinnung mglichst niederdimensionaler informationstragender Merkmale
Zeitreihen: hochdimensional, daher schon aufgrund der Datenmenge nicht direkt zur Prozessoptimierung verwendbar
Auswahl der Merkmale so, dass Information ber Prozess erhalten bleibt
Verwendung von Vorwissen: Sicherstellung, dass relevante Information in den Merkmalen enthalten ist
Im Zweifelsfall eher Merkmal zu viel verwenden, Elimination redundanter Information erfolgt spter (bei der Merkmalsselektion und Modellbildung)
Merkmalsgewinnung (I)
VorverarbeitungVorverarbeitung
Prozessdaten
Erzeugung zustzlicher Daten
Erzeugung zustzlicher Daten
SegmentierungSegmentierung
Merkmals-berechnungMerkmals-
berechnung
Ausreier-unterdrckung
Ausreier-unterdrckung
Merkmale
-
7
13 Fraunhofer IOSB 10/2012M
erkm
alse
xtra
ktio
nM
erkm
alse
xtra
ktio
n
Vorverarbeitung: Entfernen von offensichtlich fehlerhaften Daten und Ausreiern, Resampling
Erzeugung zustzlicher Daten: Ableitungen, Kombinationen, Transformationen, Bercksichtigung bekannter physikalischer Zusammenhnge
Segmentierung: zeitliche Gliederung, z.B. ausgehend von lokalen Extremwerten
Merkmalsberechnung: z.B. Extremwerte, Ableitungen, Wertekombinationen, Eigenschaften im Frequenzbereich/Skalenraum usw.
Ausreierunterdrckung: Elimination unplausiblerWerte
Merkmalsgewinnung (II)
VorverarbeitungVorverarbeitung
Prozessdaten
Erzeugung zustzlicher Daten
Erzeugung zustzlicher Daten
SegmentierungSegmentierung
Merkmals-berechnungMerkmals-
berechnung
Ausreier-unterdrckung
Ausreier-unterdrckung
Merkmale
14 Fraunhofer IOSB 10/2012
Nach Merkmalsgewinnung: mehrere Standard-Merkmale fr die einzelnen Prozessgren
Umfangreicher Merkmalsdatensatz mit redundanter Information
Daher Vorselektion der Merkmale vor der Modellerzeugung
Abschtzung der Relevanz der Merkmale durch informationstheoretische Mae: Kriterien zur Beurteilung von Wahrscheinlichkeitsverteilungen, hier verwendet zur Entscheidung, ob ein Merkmal zur Modellbildung verwendet werden soll
Bewertung der Relevanz eines Merkmals und der Redundanz zwischen Merkmalen: Transinformation zwischen Gren x1 und x2:
D.h. je mehr die Gren x1 und x2 miteinander zusammenhngen, desto grer ist I(x1;x2)
Merkmalsselektion (I)
1 2
1 2 1 2 21 2
,; : , log
p x xI x x p x x
p x p x
-
8
15 Fraunhofer IOSB 10/2012
Daraus Relevanz des Merkmals mi bzgl. des Gteindex gj:
Redundanz des Merkmals mi:
Selektion der relevanten Merkmale durch Definition von Grenzen fr minimale Relevanz und maximale Redundanz, ggf. Division oder Subtraktion von D und M
Merkmalsselektion (II)
; : ; maxi j i jD m g I m g
: max ; fr alle mini i jR m I m m i j
16 Fraunhofer IOSB 10/2012
Modellierung des Prozessverhaltens mittels Verfahren des maschinellen Lernens
Verfahren zur Modellierung linearen und nichtlinearen Prozessverhaltens
Beispiele fr lineare Verfahren: Diskriminanz- oder Varianz-Analyse (zur Findung und Bewertung passender linearer Merkmalskombinationen)
Reale Industrieprozesse: hufig nichtlinear (z.B. aufgrund Strahlung, Materialeigenschaften) oder zeitvariant (z.B. aufgrund Drift, bei Batchprozessen)
Hier: Anwendung von Support Vector Machines (SVMs) zur Modellbildung und Merkmalsselektion: Modellierung auch nichtlinearer Prozesse mittels Kernelfunktionen
Weitere Merkmalsreduktion whrend der Modellbildung: Herausgreifen einer Untermenge aus den verfgbaren Merkmalen, die den Prozess mglichst vollstndig, aber kompakt beschreibt
Merkmalsreduktion erfolgt bei SVMs implizit bei der Modellerstellung
Erstellung des Prozessmodells (I)
-
9
17 Fraunhofer IOSB 10/2012
Hier: Modellerstellung mittels Support Vector Machines zur Regression (SVR)
Ablauf:
Initialisierung:
Kernelfunktion: Gau-Kernel
Hyperparameter: eher unkritisch
Merkmalsranking und -selektion mittels Leave-one-out-Fehler und rckwrtsgerichtetem Greedy-Algorithmus
Erstellung des Prozessmodells (II)
InitialisierungInitialisierung
MerkmaleMerkmale
Prozessdaten
KernenfunktionKernenfunktion
HyperparameterHyperparameter
Mo
del
lers
tellu
ng
Mo
del
lers
tellu
ng
Optimierung Modellparameter
Optimierung Modellparameter
MerkmalsrankingMerkmalsranking
MerkmalsselektionMerkmalsselektion
SVR-Modell und Merkmale
18 Fraunhofer IOSB 10/2012
Optimierung der Modellparameter der SVR mit vollstndigem Merkmalssatz
Auslassen jeweils eines Merkmals und Bestimmung der Modellparameter der SVR
Bestimmung des Anteils dieses Merkmals am Ergebnis der Optimierung
Merkmalsranking: Sortierung der Merkmale entsprechend ihrer Signifikanz
Auswahl des optimalen Merkmalsraums
Iterative Optimierung (bis Modellparameter und Merkmalsraum sich nicht mehr signifikant ndern)
Zwar keine Garantie fr Finden des globalen Optimums, aber bewhrte Vorgehensweise mit praxistauglichen Ergebnissen
Erstellung des Prozessmodells (III)
InitialisierungInitialisierung
MerkmaleMerkmale
Prozessdaten
KernenfunktionKernenfunktion
HyperparameterHyperparameter
Mo
del
lers
tellu
ng
Mo
del
lers
tellu
ng
Optimierung Modellparameter
Optimierung Modellparameter
MerkmalsrankingMerkmalsranking
MerkmalsselektionMerkmalsselektion
SVR-Modell und Merkmale
-
10
19 Fraunhofer IOSB 10/2012
Fertigung von Quarzglasstben bzw. -rhren
Vorprodukt fr Lichtwellenleiter
Hohe Qualittsanforderungen
Physikalisch motivierte Modelle:
Modellbildung erschwert durch empirisch zu ermittelnde stark nichtlineare und variierende Materialeigenschaften, Zeitvarianz (z.B. durch Ablagerungen im Ofen)
Modelle liegen vor, bieten aber keine ausreichende Genauigkeit, v.a. nicht in transienten Zustnden (Anfahren, Schweistelle, Abfahren)
Datenbasierte Prozessoptimierung
Anwendungsbeispiel: Glasziehprozess
Ofen
Glas
20 Fraunhofer IOSB 10/2012
Problem in Anfahrphase: Strungen durch Schweistelle zwischen Gutmaterial und Ansatzstck, variierende Eigenschaften der Schweistelle fr jede Produktion
Ziel: Optimale Temperaturfhrung
Einfluss der Schweistelle minimieren
Schnelles Erreichen des Durchmesser-Sollwertes
Glasziehprozess: Optimierung der Anfahrphase
Ofen
Glas
Sollwert
Schweistellegezogene Masse
-
11
21 Fraunhofer IOSB 10/2012
Finden relevanter Merkmale in Zeitreihen durch automatisiertes Merkmalsranking
Beispiel:
Glasziehprozess: Merkmalsgewinnung und -ranking
22 Fraunhofer IOSB 10/2012
Relevante Merkmale: Zeitliche Ableitung und Fluktuation der Rohrtemperatur in einem bestimmten Zeitintervall whrend der Anfahrphase (Austritt Schweistelle aus dem Ofen)
Glasziehprozess: Optimale Temperaturfhrung
OptimumGte-kriterium
Sollwert schneller erreicht
-
12
23 Fraunhofer IOSB 10/2012
Ziel: Sofortige Erkennung von Strungen bzw. Anomalien
Operator sieht meist nur aktuelle Zeitverlufe
Lernen von Normalzustnden bzw. Prozessphasen aus Messdaten
Monitoring von kontinuierlichen Prozessen (I)
24 Fraunhofer IOSB 10/2012
Schnelle Erkennung von Strungen als Abweichungen vom Normalzustand
Industrielle Anwendungen u.a. in der verfahrenstechnischen Industrie
Monitoring von kontinuierlichen Prozessen (II)
Prozessdatenverlauf
Quantisierungsfehlerverlauf
Darstellung des Prozesszustands als Self-Organizing Map
Ausfall einer Komponente
-
13
25 Fraunhofer IOSB 10/2012
Ziel: Sichere Detektion toxischer Stoffe in Trinkwassernetzen bei geringer Falschalarmrate
Anlernen des Normalzustands aus Messdaten Schnelle Erkennung von Anomalien
Eingesetzt im Sensorsystem AquaBioTox
Monitoring der Qualitt von Trinkwasser
26 Fraunhofer IOSB 10/2012
Ziel: Frhzeitige Erkennung von Getriebeschden (sonst droht Totalausfall)
Anlernen des Normalzustands aus Messdaten der Anlage
Monitoring von Windkraftanlagen
-
14
27 Fraunhofer IOSB 10/2012
Beispiel: Automobil-Produktion
Kennwerte-Diagnose und -Prognose:
Findung der Ursachen fr eine Vernderung der Gteindizes
Vorhersage eines mglichen Kennwerteeinbruchs bei Variation von Eingangsgren
Fehlerkorrelation:
Ermittlung von Fehlerkombinationen und zeitlichen Relationen in komplexen Montageprozessen
Kennwerte-/Fehlerkorrelationen in Fertigungsprozessen
28 Fraunhofer IOSB 10/2012
Erstellung und Anwendung von datengetriebenen Modellen fr die Prozessoptimierung und -berwachung
Nutzung von Prozessdaten, die oft bereits fr die berwachung und Dokumentation erhoben werden
Hohes Potenzial besonders bei Prozessen, deren physikalische Modellierung schwierig ist
Sorgfalt erforderlich bei
Datengewinnung
Merkmalsextraktion
Modellerstellung
Aktuelle Forschung: Erlernen kausaler Zusammenhnge aus Messdaten
Zusammenfassung
Vielen Dank fr Ihr Interesse!
-
15
29 Fraunhofer IOSB 10/2012
Fertigungsstammdaten beschreiben Eigenschaften und Abhngigkeiten von Maschinen, Materialien, Personal, Werkzeugen, Produkten, Prozessen
Sind in der Praxis oftmals fehlerhaft Planung und Optimierung erschwert
Ziel: Generierung und Aktualisierung von Fertigungsstammdaten aus Produktionsdaten
Generierung und Aktualisierung von Fertigungsstammdaten
Beispiel: Platinenbestckung
Paper_VDI_Pruefprozessmanagement_DataMining.pdf -
Data Mining zur Prozessoptimierung Dr.-Ing. M. Heizmann, Dipl.-Ing. C. Khnert, Dr.-Ing. T. Bernard, Fraunhofer-Institut fr Optronik, Systemtechnik und Bildauswertung IOSB, Fraunhoferstrae 1, 76131 Karlsruhe
Kurzfassung Zur berwachung und Optimierung von Prozessen in der Verfahrens- und Fertigungsindust-
rie werden Sensordaten erfasst, die seit langem zur Anlagenberwachung und fr Rege-
lungsaufgaben verwendet werden. Die Optimierung von Produktionsprozessen erfordert je-
doch darber hinaus Prozess- und Anlagenwissen, das bislang mittels physikalisch motivier-
ter Prozessmodelle generiert wird oder als Expertenwissen des Anlagenpersonals vorliegt.
Datengetriebene Prozessmodelle stellen eine Ergnzung der blichen Prozessmodellierung
dar. Dabei wird der Zusammenhang zwischen Sensordaten und Gtemaen, die gewnsch-
te Anlagen- und Prozesszustnde sowie Produktmerkmale beschreiben, nachgebildet. Sol-
che Modelle lassen sich insbesondere auch dann erstellen, wenn die Prozesse komplex,
nichtlinear oder zeitvariant sind. Dieser Beitrag zeigt, wie datengetriebene Modelle aus Pro-
zessdaten und Gtekriterien erstellt werden knnen und stellt Anwendungen zur Prozess-
optimierung in der Verfahrenstechnik vor.
Abstract In order to supervise and to optimize processes in process and manufacturing industry, sen-
sor data has been acquired and used for plant monitoring and feedback control for a long
time. However, optimizing production processes requires additional knowledge about the
processes and plants, which is up to now generated by means of physically motivated pro-
cess models or exists as expert knowledge of the operating staff. Data driven process model-
ing constitutes an addition to the usual process modeling. Within these models, the connec-
tion between sensor data and quality criteria describing desired plant and process states as
well as product features is reproduced. Such models can especially be generated even if the
processes are complex, non-linear or time-variant. This contribution shows how data driven
models can be generated from process data and quality criteria and presents applications for
process optimization in process engineering.
-
Schlagworte: Datenanalyse, Merkmalsgewinnung, Klassifikation, Datengetriebene Optimie-rung von industriellen Prozessen
Keywords: Data analysis, feature extraction, classification, data driven optimization of indus-trial processes
1. Einfhrung
Moderne Produktionsprozesse z. B. in den Branchen Chemie, Stahl oder Glas zeichnen sich
durch einen hohen Automatisierungsgrad und zunehmende Komplexitt aus. Die Optimie-
rung insbesondere von instationren Prozessphasen wie z. B. beim An- oder Abfahren von
Batchprozessen, bei Last- oder Produktwechseln erfolgt bisher im Wesentlichen basierend
auf physikalischen Prozessmodellen und dem Expertenwissen der Anlageneinrichter und
-fahrer. Beide Anstze sind jedoch zunehmend problematisch, da zum einen die Erstellung
von physikalischen Prozessmodellen zeit- und damit kostenaufwendig ist und bei vielen Pro-
zessen aufgrund stark nichtlinearer Teilprozesse bzw. Materialeigenschaften oder zeitvarian-
tem Systemverhalten nur eine Modellbildung mit begrenzter Gte oder Gltigkeit mglich ist.
Zum anderen knnen Anlagenfahrer die komplexen Prozesse immer weniger berschauen,
so dass neue Anstze zur Optimierung komplexer Produktionsprozesse notwendig sind. In
modernen Anlagen sind aufgrund des zunehmenden Automatisierungsgrads die relevanten
Anlagen-, Prozess- und Qualittsdaten in steigendem Mae verfgbar. Obwohl in diesen
Daten eigentlich die interessierenden Informationen ber den Prozess enthalten sein sollten,
sind die Sichtung und die Interpretation der Daten durch die Anlagenfahrer nur bei sehr ein-
fachen Zusammenhngen und Aufflligkeiten hinreichend zuverlssig mglich. Nach Erfah-
rung des Fraunhofer IOSB werden bei vielen Prozessen die gesammelten Daten berhaupt
nicht systematisch ausgewertet und zur Prozess- und Produktoptimierung genutzt.
Hier bieten sich Data-Mining-Methoden an, mittels derer archivierte und aktuelle Prozessda-
ten systematisch ausgewertet und genutzt werden knnen [Mik11], [Ott04]. Der Grundge-
danke dabei ist, dass zwischen den Prozessgren (z. B. relevante Stell-, Regel- und
Messgren, Materialparameter, Anlagenkonfiguration; diese stellen die Eingangsgren
eines Prozessmodells dar) und den Produkteigenschaften bzw. der Gte des Prozesses
(den Ausgangsgren) ein Zusammenhang existiert, den es aus den verfgbaren Daten
ber den Prozess und das Produkt zu identifizieren und zu modellieren gilt (siehe Bild 1).
-
Bild 1: Die Suche nach Zusammenhngen zwischen Prozess-Parametern und Produkt-
Eigenschaften wird mit Data-Mining-Methoden untersttzt.
Data-Mining-Methoden besitzen in der Automatisierungstechnik allerdings noch eine relativ
kurze Geschichte. Sie werden im Produktionsumfeld noch recht zurckhaltend eingesetzt,
obwohl sie ein groes Potenzial hinsichtlich Prozess- und Produktoptimierung besitzen und
die klassischen Methoden der Prozessfhrung auf der Grundlage physikalischer Modelle
ergnzen knnen. In letzter Zeit wurde in Forschungsprojekten gezeigt, wie Data-Mining-
Methoden sinnvoll zur Prozessberwachung und -fhrung eingesetzt werden knnen, etwa
im Projekt ProDaMi [Kue09a], [Pro12].
Ein Ansatz zur datengetriebenen Prozessoptimierung besteht darin, aus archivierten Zeitrei-
hen der Prozessgren automatisiert relevante, informationstragende Merkmale zu extrahie-
ren [Mik09] und diese in Relation zu einem oder mehreren Gteindizes des Prozesses zu
stellen (siehe Bild 2, siehe auch [Fay96]). Bei den Gteindizes kann es sich um Bewer-
tungsmae fr die produzierte Menge, den generierten Ausschuss, die Produktqualitt, Ma-
terial- und Rohstoffverbrauch oder Produktionskosten handeln. Dadurch werden datenge-
triebene Modelle generiert, die den Zusammenhang zwischen einer mglichst geringen An-
zahl an aussagekrftigen Merkmalen, die aus den Prozessgren zu bestimmen sind, und
den zuvor definierten Gteindizes mglichst genau beschreiben. Mittels der relevanten
Merkmale und der erstellten Modelle lassen sich dann die optimalen Merkmalswerte der
Prozessgren und somit optimale Prozessfhrungsmuster extrahieren. Solche Analysen
lassen sich offline, d. h. auf Grundlage von historischen Anlagendaten, verwenden, um die
grundlegende Auslegung eines Prozesses zu optimieren, siehe z. B. [Kue09b]. Im vorliegen-
den Beitrag wird ein Ansatz vorgestellt, der es darber hinaus ermglicht, online whrend
-
einer Produktion bereits frhzeitig zu erkennen, ob der Prozess eine hohe Gte erzielen
wird, und ggf. frhzeitig gegenzusteuern.
Bild 2: Prinzipielle Vorgehensweise zur Generierung von Gteindizes aus den Prozessda-
ten.
2. Lsungskonzept
Das Lsungskonzept besteht darin, dass zunchst in einer Einlernphase aus historischen
Prozessdaten datengetriebene Modelle generiert werden. Da Prozesse oft instationr sind
und daher nicht durch ein einziges Modell vollstndig beschrieben werden knnen, werden
entsprechend dem Prozessverlauf (charakterisiert z. B. durch gesteuerte Phasen in einem
Batchprozess oder bestimmte Zeitpunkte im Prozessablauf) mehrere Modelle erzeugt. Mit
zunehmender Anzahl von Produktionen stehen aufgrund der wachsenden Anzahl an Mess-
daten immer genauere Modelle zur Prognose zur Verfgung.
Die offline generierten Modelle werden bei laufender Produktion herangezogen (siehe Bild 3)
und online zur Prdiktion der Prozessgte verwendet, indem nach einer Vorverarbeitung und
Merkmalsextraktion der aktuellen Prozessdaten das Modell der jeweiligen Prozessphase
ausgewhlt und fr die Prognose aktiviert wird. Eine drohende Verschlechterung der Pro-
zessgte lsst sich somit frhzeitig aus den Prozessdaten (und nicht erst aus den Produkt-
daten) erkennen, so dass zum frhestmglichen Zeitpunkt gegengesteuert werden kann. Die
hier vorgestellte Vorgehensweise stellt eine Erweiterung des in [Kue09b] vorgestellten Ver-
fahrens zur Offline-Analyse von instationren Prozessphasen hin zum Online-Monitoring und
zur Prdiktion der Prozessgte dar.
-
Bild 3: Auswahl des jeweiligen Modells zur Prognose der Prozessgte.
3. Merkmalsgewinnung
Aus den Prozessdaten mssen mglichst niederdimensionale informationstragende Merkma-
le extrahiert und spter mittels eines Rankings selektiert werden. Dieser Schritt ist notwen-
dig, da sich die Zeitreihen der Datenverlufe in einem zu hochdimensionalen Raum befin-
den, so dass anhand dieser Daten aufgrund der bloen Datenmenge keine sinnvollen Er-
gebnisse generiert werden knnen [Las04]. Die Auswahl der zu bercksichtigenden Merkma-
le muss allerdings besonders sorgfltig erfolgen, da eine schlechte Auswahl der Merkmale
dazu fhren kann, dass das daraus generierte Modell die jeweilige Prozessphase nur unzu-
reichend beschreibt. Daher ist es unerlsslich, Vorwissen in die Merkmalsauswahl mit ein-
flieen zu lassen, um sicherzustellen, dass alle relevanten Informationen ber den Prozess
in den Merkmalen enthalten sind. Im Zweifelsfall sollte zunchst eher ein Merkmal zu viel
verwendet werden; die Elimination redundanter Information ist Aufgabe der nachfolgenden
Schritte der Merkmalsselektion und Modellbildung.
Nach einer ersten Vorverarbeitung der Daten (Entfernen von offensichtlich fehlerhaften
Messdaten und Ausreien sowie Resampling, siehe z. B. [Pyl99]) erfolgt der in Bild 4 darge-
stellte prinzipielle Vorgang zur Extraktion von Merkmalen aus Prozessdaten. Da oftmals In-
formationen ber den Prozess nicht direkt in den originalen Messwertverlufen erkennbar
sind, werden zustzliche Daten erzeugt (beispielsweise durch Ableitungen, Kombinationen
von Messwertverlufen, Transformationen oder Bercksichtigung bekannter physikalischer
Zusammenhnge). Des Weiteren erfolgt eine zeitliche Segmentierung der Messreihen (z. B.
ausgehend von lokalen Extremwerten), da oft nur Teilbereiche der gesamten Verlufe infor-
mationstragend sind. Als eigentliche Merkmale, die aus den segmentierten Datenverlufen
bestimmt werden, lassen sich z. B. Extremwerte, Ableitungen, Wertekombinationen in unter-
schiedlichen Prozessgren, Eigenschaften im Frequenzbereich der Fourier-Transformation
oder Skalenraum der Wavelet-Transformation u. v. m. verwenden. Nach der Extraktion der
-
Merkmale wird nochmals eine Ausreierfilterung durchgefhrt, um unplausible Werte zu eli-
minieren. An dieser Stelle der Signalverarbeitung knnen die extrahierten Merkmale durch-
aus noch redundante Information enthalten, die erst in der nachfolgenden Merkmalsselektion
entfernt wird.
Bild 4: Vorgehensweise zur Erzeugung von Merkmalen aus Messdaten.
4. Merkmalsselektion
Da wie dargestellt in der Regel von jeder Prozessgre mehrere Standard-Merkmale (z. B.
Extrema, Trend- oder Mittelwerte) in einem relativ umfangreichen Merkmalsdatensatz erstellt
werden, der noch redundante Informationen enthalten kann, ist es zweckmig, vor der Mo-
dellbildung eine Vorselektion der Merkmale durchzufhren. Um abzuschtzen, ob ein Merk-
mal relevante Information zur Modellbildung trgt, lassen sich informationstheoretische Mae
verwenden. Solche Mae stellen Kriterien zur Beurteilung von Wahrscheinlichkeitsverteilun-
gen dar und dienen hier der Abschtzung, ob sich in einem Merkmal relevante Information
zur Modellbildung befindet oder ob es schon im Vorhinein von der Modellbildung ausge-
schlossen werden kann [Pyl99].
Informationstheoretische Mae werden im Folgenden verwendet, um eine erste Selektion
von informationstragenden Merkmalen mittels eines Rankings durchzufhren und damit re-
dundante und informationsarme Merkmale zu entfernen. Zur Analyse wird dazu als Ma die
Transinformation zwischen den Prozessgren x und den Gteindizes y verwendet [Pen05]:
; , log ,
Zur Selektion der Merkmale werden hnlich wie bei dem in [Pen05] vorgestellten Verfahren
die folgenden Gren verwendet:
; , max ; fralle
-
Dabei beschreiben D die Relevanz des Merkmals xibezglich der Gteindizes y und R die maximale Redundanz eines Merkmals xizu einem anderen Merkmal xj. Mittels dieser beiden Gren lsst sich eine Merkmalsselektion vornehmen, indem man Grenzen fr die minimale
Relevanz und die maximale Redundanz definiert. Zustzlich kann ein Merkmalsranking bei-
spielsweise durch Division oder Subtraktion der Kriterien D und R durchgefhrt werden.
5. Erstellung des datengetriebenen Prozessmodells
Zur Modellierung des Prozessverhaltens knnen prinzipiell unterschiedliche Methoden des
maschinellen Lernens eingesetzt werden. Beispiele fr lineare Verfahren sind etwa die
Diskriminanz- oder die Varianz-Analyse, die darauf abzielt, geeignete lineare Merkmalskom-
binationen zu finden und zu bewerten [Guy03]. Allerdings ist das Verhalten vieler Industrie-
prozesse nichtlinear (etwa aufgrund nichtlinearer Vorgnge wie Strahlung oder nichtlinearer
Materialeigenschaften) oder zeitvariant (etwa aufgrund von Drifteffekten oder bei Batchpro-
zessen), so dass in der Praxis nichtlineare Methoden zur Modellierung vorteilhaft sein kn-
nen. Auch nichtlineare Methoden zur Merkmalsselektion sind in den letzten Jahren erarbeitet
worden, siehe z. B. [Hal99], [Mik02], [Sax07].
Besonders vielversprechend erscheint der in der statistischen Lerntheorie verankerte Ansatz
der Support Vector Machines (SVM), der ebenfalls fr die Modellbildung und die Merkmals-
selektion geeignet ist, siehe z. B. [Agr03], [Guy00], [Rak07]. Fr die Modellbildung von nicht-
linearen Systemen ist die Eigenschaft der SVM hilfreich, dass Merkmale durch nichtlineare
Kernelfunktionen in einen hherdimensionalen Raum transformiert werden knnen, in dem
ursprnglich nichtlineare Zusammenhnge mittels linearer Analyse erkennbar werden
[Chr04], [Sch98].
Die extrahierten Merkmale bilden die Grundlage fr die Erstellung datengetriebener Modelle.
Dazu sollen jedoch nicht alle erzeugten Merkmale verwendet werden, da sie noch redundan-
te Informationen enthalten knnen. Die Auswahl informationstragender Merkmale erfolgt in
einer weiteren Merkmalsauswahl bei der Erstellung des Prozessmodells, bei der aus der
Gesamtmenge der verfgbaren Merkmale eine Untermenge herausgegriffen wird, die den
Prozess mglichst vollstndig, aber kompakt im Modell beschreibt.
Dazu lassen sich Methoden auf der Grundlage von SVMs verwenden, bei denen gleichzeitig
mit der Merkmalsauswahl die Modellparameter optimiert werden. Im Gegensatz zu Filter-
oder Wrapper-Methoden [Guy06] wird hierbei nicht zwischen Merkmalsauswahl und Modell-
-
bildung unterschieden, sondern beides in einem iterativen Verfahren gemeinsam durchge-
fhrt. Als zugrundeliegendes Modell werden Support Vector Machines zur Regression (SVR)
verwendet, siehe z. B. [Chr04], [Kue09b].
Der prinzipielle Ablauf der Modellbildung und Merkmalsauswahl ist in Bild 5 dargestellt. Die
SVR wird mit einer gewhlten Kernelfunktion sowie gewhlten Hyperparametern (d. h. De-
signparametern fr die SVR) initialisiert. Daraufhin erfolgen die Optimierung der Modellpa-
rameter, das Ranking der einzelnen Merkmale sowie daraus die Auswahl des optimalen
Merkmalsraums. Dieses Verfahren wird so lange wiederholt, bis sich die Modellparameter
und der Merkmalsraum nicht mehr signifikant ndern. Auf das Merkmalsranking und die Mo-
dellbildung wird im Folgenden detailliert eingegangen.
Bild 5: Vorgehensweise zur Modellbildung und Merkmalsselektion.
Um eine mglichst hohe Generalisierbarkeit der sich ergebenden Support Vector Machine zu
erreichen, wird zur Merkmals- und Modellselektion der Leave-one-out-(Loo-)Fehler verwen-
det. Dabei wird durch Auslassen jeweils eines Merkmals bei der Bestimmung der Modellpa-
rameter der SVR dessen Anteil am Ergebnis der Optimierung bestimmt. Durch Sortieren der
Merkmale entsprechend ihrem jeweiligen Anteil ergibt sich daraus ein Kriterium fr die Wich-
tigkeit eines Merkmals. In der Praxis lsst sich der Loo-Fehler durch eine obere Grenze an-
nhern, wodurch Rechenzeit gespart werden kann, siehe z. B. [Cha05], [Guy06], [Wit10]. In
der hier dargestellten Vorgehensweise wird diese Approximation durchgngig angewandt.
Zur Initialisierung der SVR mssen deren Designparameter gewhlt werden. Dies sind die
verwendete Kernelfunktion und Hyperparameter, siehe z. B. [Kue10]. Im vorliegenden Fall
haben sich zur Modellbildung Gau-Kernel bewhrt, die Initialisierung der Hyperparameter
der SVR hat sich als unkritisch erwiesen. Mittels einer Rastersuche werden nun diejenigen
-
Parameterwerte bestimmt, die den Anpassungsfehler der SVR minimieren. Diese Parame-
terwerte werden ebenfalls verwendet, um im nchsten Schritt das Merkmalsranking durchzu-
fhren.
Zum Merkmalsranking wird ein rckwrtsgerichteter Greedy-Algorithmus eingesetzt [Rak07].
Dazu werden zunchst die Modellparameter fr eine SVR unter Bercksichtigung aller
Merkmale bestimmt. In den nachfolgenden Schritten wird je ein Merkmal entfernt, fr alle
verbliebenen Merkmale werden jeweils die Modellparameter berechnet. Die sich ergebende
Differenz zwischen den Anpassungen unter Bercksichtigung aller Merkmale und bei Elimi-
nation eines Merkmals wird dann als Kriterium fr das Merkmalsranking eingesetzt. Das
Merkmal, fr das die Differenz maximal wird, liefert den grten Beitrag am Optimierungser-
gebnis und verursacht den grten Loo-Fehler, wenn es weggelassen wird.
Mittels des Merkmalsrankings wird daraufhin ein reduzierter Merkmalssatz bestimmt, bei
dem weniger relevante Merkmale weggelassen werden. In einem iterativen Prozess werden
im reduzierten Merkmalsraum die Modellparameter der SVR optimiert und ein Merkmalsran-
king durchgefhrt. Dies erfolgt so lange, bis das Verfahren gegen eine feste Anzahl an
Merkmalen und die gewnschten Modellparameter der SVR konvergiert. Auch wenn auf-
grund des rckwrtsgerichteten Greedy-Algorithmus nicht sichergestellt ist, dass das globale
Optimum der Merkmalsauswahl sicher erreicht werden kann, hat sich diese Vorgehensweise
bewhrt und liefert praxistaugliche Ergebnisse.
Zur Online-Anwendung des Verfahrens werden die zum jeweiligen Zeitpunkt verfgbaren
und zur Prozessphase passenden Merkmale verwendet. Durch Anwendung des jeweiligen
Modells ergibt sich das gewnschte Gtekriterium. Im folgenden Beispiel wird dieses Verfah-
ren dazu eingesetzt, die Betriebsfhrung eines rheologischen Glasziehprozesses whrend
der Anfahrphase zu berwachen.
6. Anwendungsbeispiel: Optimierung der Anfahrphase eines Batchprozesses
Die entwickelte Methodik und die dafr notwendigen Data-Mining-Werkzeuge wurden zur
Optimierung der Startphase eines industriellen Glaszieh-Prozesses [Saw09] angewandt. Bei
diesem Batchprozess wird ein Glaszylinder aus hochwertigen Quarzglas langsam in einen
Ofen eingefahren, dort auf Erweichungstemperatur erhitzt (ca. 2000 C) und mit erhhter
Abzugsgeschwindigkeit zu einem dnneren Stab verformt (siehe Bild 6). Die dabei produzier-
ten Glasstbe sind Vorprodukte fr Lichtwellenleiter und mssen daher hchsten Qualitts-
-
anforderungen gengen. Die primre Zielstellung der Anfahrphase besteht darin, den
Durchmesser des produzierten Stabes in mglichst kurzer Zeit auf den geforderten Sollwert
zu bringen und dadurch den Ausschuss zu Beginn der Batchproduktion zu minimieren.
Bild 6: Optimierung der Anfahrphase eines Glaszieh-Batchprozesses.
Fr den Prozess liegen zwar physikalisch motivierte Modelle vor (z. B. [Saw09]), jedoch lsst
sich das transiente Verhalten der Anfahrphase bisher noch nicht mit ausreichender Genauig-
keit basierend auf rigorosen Modellen simulieren. Wesentlicher Grund dafr ist eine
Schweistelle zwischen dem Zylinder und einem sogenannten Ansatzstck, welches beim
Anfahren zunchst durch den Ofen gefahren wird. Die physikalischen Eigenschaften der
Schweistelle variieren von Produktion zu Produktion, so dass eine physikalisch motivierte
Modellierung praktisch nicht mglich ist. Daher bietet sich fr diesen Prozess eine datenge-
triebene Optimierung der Anfahrphase an.
Bei der Data-Mining-Analyse wurden die in Bild 6 gezeigten Prozessgren sowie weitere
Prozessparameter bercksichtigt. Das Merkmalsranking ergab, dass die zwei signifikantes-
ten Merkmale mit dem dynamischen Verhalten der Glastemperatur in einem sehr engen Zeit-
fenster in der Anfahrphase verknpft sind. Die relevanten Merkmale beschreiben zum einen
die zeitliche Ableitung, zum anderen die Fluktuation der Glastemperatur in dem in Bild 7
(rechts unten) mit vertikalen Linien gekennzeichneten Zeitintervall. Der Graph des gewhlten
Gtekriteriums als Funktion der beiden signifikantesten Merkmale ist in Bild 7 (links) darge-
stellt. Aus der in Bild 7 (rechts oben) gezeigten Auswertung von ca. 500 Produktionen ist
-
ersichtlich, dass in denjenigen Produktionen, bei denen die optimalen Merkmalswerte einge-
halten worden waren, der nominale Durchmesser deutlich schneller erreicht wurde als in den
Produktionen, in denen die optimalen Merkmalswerte nicht eingehalten worden waren. Die
anhand der Data-Mining-Analyse erlangten neuen Erkenntnise wurden mittlerweile in die
Prozessfhrung integriert. Die Prozessgte in der Anfahrphase konnte hierdurch deutlich
verbessert werden.
Bild 7: Gtekriterium als Funktion der beiden signifikantesten Merkmale (links), Ergebnisse
von Produktionen, bei denen die optimalen Merkmalswerte eingehalten bzw. nicht
eingehalten wurden (rechts oben) und zugehrige Verlufe der Rohrtemperatur
(rechts unten).
7. Fazit
Methoden des Data-Mining lassen sich im industriellen Umfeld sinnvoll einsetzen, um Pro-
duktionsprozesse zu analysieren, zu modellieren und zu optimieren. Dabei werden Prozess-
daten, die in den meisten Anlagen ohnehin erfasst werden, mit zuvor definierten Gtemaen
in Beziehung gesetzt. Data Mining bedeutet in diesem Zusammenhang, dass aus der Viel-
zahl von Daten durch eine Merkmalsgewinnung und -selektion relevante Information ber
den Prozess und die erzielte Qualitt extrahiert wird und der Zusammenhang zu den Gte-
maen in ein datengetriebenen Modell mittels Methoden des maschinellen Lernens abgebil-
det wird. Dieses Modell lsst sich anschlieend fr die Prozessberwachung oder die Opti-
mierung der Prozessfhrung nutzen.
Eine Herausforderung in der datengetriebenen Prozessanalyse besteht noch in der automa-
tischen Erkennung von Ursache-Wirkungs-Zusammenhngen in realen Prozessdaten: Ob
-
zwei Prozessgren kausal voneinander abhngen, kann mit der oben dargestellten Vorge-
hensweise nicht erfasst werden. Anstze zur Erkennung von kausalen Strukturen basieren
etwa auf einer Kreuzkovarianzanalyse, der Analyse der Granger-Kausalitt oder der Trans-
fer-Entropie, siehe z. B. [Kue11], [Kue12], und sind Gegenstand der aktuellen Forschung. Mit
solchen Verfahren wird es etwa mglich sein, Fehlerursachen zu diagnostizieren oder zahl-
reiche gemeinsam auftretende Fehlermeldungen auf eine oder wenige urschliche Prozess-
gren zu reduzieren.
Literatur
[Agr03] K. Agrawal, A. Jade, V. Jayaraman, B. Kulkarni: Support vector machines: A
usefull tool for process engineering. Chemical engineering progress 99 (1), S. 57-
62, 2003
[Cha05] M. Chang, C. Lin: Leave-one-out bounds for support vector regression model se-
lection. Neural Computation 17 (5), S. 1188-1222, 2005
[Chr04] N. Cristianini, J. Shawe-Taylor: Support Vector Machines. Cambridge University
Press, 2004
[Fay96] U. Fayyad, G. Piatetsky-Shapiro, P. Smyth: From Data-Mining to Knowledge Dis-
covery: An Overview. Advances in Knowledge Discovery and Data-Mining,
AAAI/MIT Press, S. 1-35, 1996
[Guy00] I. Guyon, J. Weston, S. Barnhill, V. Vapnik: Gene selection for cancer classification
using support vector machines. Machine Learning, 46, S. 389-422, 2000
[Guy03] I. Guyon, A. Elisseff: An introduction to variable and feature selection. Journal of
Machine Learning Research 3, S. 1157-1182, 2003
[Guy06] I. Guyon: Feature extraction: foundations and applications. Springer, Berlin, 2006
[Hal99] M. Hall: Correlation based feature selection for machine learning. Dissertation,
University of Waikato, New Zealand, 1999
[Kue09a] C. Khnert, T. Bernard: Optimization and online-monitoring in industrial batch pro-
cesses using data-mining-methods. Proceedings 19. Workshop Computational In-
telligence, KIT Scientific Publishing, S. 170-180, 2009
[Kue09b] C. Khnert, T. Bernard: Extraction of optimal control patterns in industrial batch
proccesses based on support vector machines. IEEE Multi-Conference on systems
and control, S. 481-486, 2009
-
[Kue10] C. Khnert, T. Bernard: Online-Monitoring und Prdiktion der Prozessgte
komplexer Batchprozesse. Verteilte Messsysteme, F. Puente Len. K.-D. Sommer,
M. Heizmann (Hrsg.), KIT Scientific Publishing, S. 13-24, 2010
[Kue11] C. Khnert, L. Grll, M. Heizmann, R. Mikut: Anstze zur datengetriebenen Formu-
lierung von Strukturhypothesen fr dynamische Systeme. Proceedings 21. Work-
shop Computational Intelligence, F. Hoffmann, E. Hllermeier (Hrsg.), KIT Scien-
tific Publishing, S. 15-29, 2011
[Kue12] C. Khnert, L. Grll, M. Heizmann, M. Reischl, R. Mikut: Methoden zur datenge-
triebenen Formulierung und Visualisierung von Kausalittshypothesen. at Auto-
matisierungstechnik, erscheint voraussichtlich im Heft 60 (11), 2012
[Las04] M. Last, K. Abraham, Data Mining in time series databases. World Scientific, 2004
[Mik02] S. Mika: Kernel Fisher Discriminants. Dissertation, Technische Universitt Berlin,
2002
[Mik09] R. Mikut: Data Mining in der Medizin und Medizintechnik. Universittsverlag Karls-
ruhe, 2009
[Mik11] R. Mikit: Data mining tools. Wiley Interdisciplinary Reviews: Data Mining and
Knowledge Discovery 1 (5), S. 431-443, 2011
[Ott04] R. Otte, V. Otte: Data Mining fr die industrielle Praxis. Hanser, 2004
[Pen05] H. Peng, F. Long: Feature Selection Based on Mutual Information: Criteria of Max-
Dependency, Max-Relevance, Min-Redundancy. IEEE Transaction on Pattern
Analysis and Machine Intelligence 27 (8), S. 1226-1238, 2005
[Pro12] http://www.prodami.de (verfgbar am 03.08.2012)
[Pyl99] D. Pyle, Data preparation for data-mining. Morgan Kaufmann, 1999
[Rak07] A. Rakotomamonjy: Analysis of SVM regression bounds for variable ranking.
Neurocomputing 70 (7-9), S. 1489-1501, 2007
[Saw09] F. Sawo, T. Bernard: Finite Element Model of a Complex Glass Forming Process
as a Tool for Control Optimization. European COMSOL Conference, Milano, 2009
[Sax07] H. Saxen, F. Petersson: A Data Mining method applied to a Metallurgical process.
IEEE Symposium on Computational Intelligence and Data Mining, S. 368-375,
2007
-
[Sch98] A. Smola, B. Schlkopf: A Tutorial on Support Vector Regression. NeuroCOLT2
Technical Report Series, 1998
[Wit05] I. Witten and E. Frank, Data Mining Practical Machine Learning tools and tech-
niques. Elsevier, 2005