stochastische prozesse i 1.zeitreihen 2.modellierung 3.analyse 4.beispiel: kalmanfilter...

35
Stochastische Prozesse I 1. Zeitreihen 2. Modellierung 3. Analyse 4. Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Upload: gertrud-andrle

Post on 05-Apr-2015

103 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Stochastische Prozesse I

1. Zeitreihen

2. Modellierung

3. Analyse

4. Beispiel: Kalmanfilter

Seminarvortrag von Elias Kellner 14.06.2007

Page 2: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

1. Zeitreihen

Zeitreihe: zeitabhängige Folge von Datenpunkten

i.d.R. nicht stochastisch unabhängig

Page 3: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007
Page 4: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Handschriftanalyse, Zeitreihe der vertikalen Geschwindigkeit

Page 5: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Zeitreihe (Daten)

Modellbildung

TrendkomponentenSaisonale Komponenten

Vorhersage (Simulation) Tiefere Einsichten

Page 6: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Wir brauchen: Geeignete Werkzeuge zur Datenenanalyse

Fitfunktionen zur TrendbereinigungSpektralanalyseKorrelationsanalyse

mathematische Beschreibung zur Modellbildung

Page 7: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Stochastischer Prozess „Rauschen“

Betrachte zeitdiskrete Prozesse, um Rauschen zu simulieren

2 Klassen dynamischer Systeme-nichtvergeßliche (klassische)

-vergeßliche (stochastische) (chaotische)

Page 8: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

)( tx

)( tX Prozess ( Verteilungen bekannt)

Realisation

Stationarität

)( tXEine Zeitreihe heißt stark stationär, wenn die Verteilung von nicht vom Index abhängt.

)( stX

)( tXEine Zeitreihe heißt schwach stationär, wenn

1.

2.

consttX t )(

)(),(),( Xrtrttt CovXXCovXXCov

))((),( YX YXYXCov

Autokovarianz

Page 9: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Ergodizität

Ergodisch in klass. Mechanik: System kommt erlaubten Systemzuständen beliebig nahe

Für ergodische Systeme gilt: „Scharmittel = Zeitmittel“

),( xfx Jeder Prozess induziert eine Dichte im Phasenraum.

Mittelwerte müssen bezüglich dieser Dichte gebildet werden

)(x

)()( xGxdxG

))(())(()()( itxGtxdtGxGxdxG

Page 10: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Simulation des Rauschens:

Summe von vielen stochastischen Einflüssen Zentraler GWS Rauschen gaußverteilt

Weißes Rauschen (WN): Folge von unabhängigen Realisationen einer gaußverteilten Zufallsvariablen

),0( 2 Nt

Page 11: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Nehme an, xt sei linear durch die N vorherigen Datenpunkte bestimmt (Autoregession)

N

jjtjt xax

1

Addiere zu jeden xt eine kleine Störung (Zufallsvariable, z.B. weisses Rauschen)

N

jjtjtt xax

1

AR(N) – Prozess:

Betrachte „vergesslichen“ Prozess

Modellierung durch AR-Prozesse

Page 12: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007
Page 13: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

lineare DGL n‘ter Ordnung

0 )( ... )( )()(2

2

21 txdt

datx

dt

datx

dt

datx

n

n

n

Rückführung von DGL n‘ter Ordnung auf System von DGL 1‘ter Ordnung

0)( )( txAtxdt

d

0m

k10

v

x

v

x

dt

d)()( txmtxk

z.B harmonischer Oszillator:

N

yjtjtt xax

1

Differenzengleichungen.

Differenzengleichung = „diskretisierte“ DifferentialgleichungAnsatz macht Sinn, da Natur i.a. durch Differentialgleichungen beschrieben wird.

Page 14: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Analog läßt sich jeder univariate AR(N)-Prozess auf einen n-variaten AR(1) Prozess reduzieren.

ttt xAx 1

N

jjtjtt xax

1

Page 15: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Eigenschaften eines AR(1) Prozesses

zentriertstationärergodisch

2

12 )( ttt axx

Varianz:

2

22

1

axt

ttt axx 1

a<1

2

)CF(t

tt

x

xxA aA )CF(

Page 16: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

a=1 Random Walk (Brownian Motion)ttt xx 1

Page 17: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

MA(N) – Prozess:(gleitendes Mittel)

1

0

N

jjtjt mx

AR(N) – Prozess:

N

jjtjtt xax

1

ARMA(p,q)

q

jjtj

p

jjtjtt mxax

11

Page 18: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Spektralanaylse

Gegeben sei eine Zeitreihe. Welche Frequenzen sind enthalten?

Fouriertrafo (ohne Normierung) )(

t

tti Xef

Unterscheide wie immer FT einer Realisation und eines ProzessesFT ist komplexe Größe

Page 19: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Aliasing Zeitreihe = gesampelter, kontinuierlicher Prozess!Sample z.B. einen Sinus mit Samplingfrequenz f

SamplingNyquist fff2

1max

Vor dem sampeln muss gefiltert werden!!

Page 20: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Spektrum

2|)(|)( fS

Faltung im Ortsraum enspricht Multiplikation im Frequenzraum.Multiplikation mit sich selbst ist | |2

)()(

ACFeS i

2)Var(

),Cov( )CF(

t

tt

t

tt

X

XX

x

xxA

Definiere Spektrum

ACF einer Zeitreihe entspricht einer Faltung der Reihe mit sich selbst

Definition über ACF mathematisch korrekt, aber über FT leichter zu schätzen!

)(

t

tti Xef

Page 21: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

1. Spektrum als Erwartungswert definiert. Meist aber nur eine Zeitreihe vorhanden!

Problem: Periodogramm „zappelt“ mit Chi2 - Verteilung

2|)(|)( fS

2|)(| )( fPer Suche Schätzer für Spektrum z.B Periodogramm:

222 )])((Im[)])(Re[( |)(| )( fffPer

Var(Per) ist unabhängig von N nicht konsistent

Schätzung des Spektrums: 2 Probleme

)(

2

1)( SPer 4)(

Var

Page 22: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

2. Problem: Endliche Zeitreihe = unendliche Reihe mit Fenster multipliziert

Im Frequenzraum zusätzlich Faltung mit dem Sinc des Fensters! leaking Power von Peaks in Täler Periodogramm ist sogar verzerrter Schätzer

Lösung: „Tapering“: kein eckiges Rechteckfenster, sondern Dreick- oder Gaussfensteroptimalstes Fenster : Hamming

Page 23: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Schätzung des Spektrums durch Zerschneiden der Zeitreihe, TapernUnd Mittelwertbildung der einzelnen Periodogramme Methode nach Welch

Zeitreihe

Zerschneiden

Tapern

|FFT|2

Frequenzweise mitteln

Page 24: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007
Page 25: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007
Page 26: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007
Page 27: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007
Page 28: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007
Page 29: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007
Page 30: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007
Page 31: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Filter allgemein:

X(t) Filter y(t)

Wichtige Filterklasse: linear und zeitinvariant (LTI-Filter)

N

jjtjt xmy

0

Filtersystem ist durch seine Impulsantwort bestimmt (FIR, IIR )

MA – Prozess ohne Rauschen = FIR Filter

ARMA – Prozess ohne Rauschen = IIR Filter

q

jjtj

p

jjtjt xmyay

01

X-Pass-Filter, Bildbearbeitung…

Page 32: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Das Kálmán-Filter

Gegeben Sei dynamisches System, z.B. ein multivariater AR(1) Prozess

)()1( )( ttxAtx

)()( )( ttxBty

Systemgleichung

Beobachtungsgleichung

Wir haben nur Zugriff auf yt !

y(t) Filter x(t)

Gesucht: Filter, das uns die wahren Werte xt schätzt

Page 33: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

)()( )( ttbxty

Systemgleichung

Beobachtungsgleichung

Einfache Schätzung: Rückrechnen auf xt durch B-1

Große Fehler wegen Beobachtungsrauschen

Man kann ausnutzen, dass man die Dynamik A des Systems kennt

)()1( )( ttaxtx

1. Prädiktionsschritt: )1|1( )1|( ttaxttx

2. Korrektur )1|()()(()1|( )|( ttytytKttxttx

)1|1( )1|( ttbxtty

Beobachte y(t), berechne daraus Fehler y(t|t-1) - y(t)

Page 34: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Bsp: Kalman Filter, AR-1 Prozess a=0.89, Beobachtug stark verrauscht

Page 35: Stochastische Prozesse I 1.Zeitreihen 2.Modellierung 3.Analyse 4.Beispiel: Kalmanfilter Seminarvortrag von Elias Kellner 14.06.2007

Zusammenfassung

ttt xAx 1 AR-Prozesse

2|)(|)( fS )()(

ACFeS iSpektrum

Spektrum schätzen: Schneiden - Tapern – Periodogramme mitteln

2|)(| )( fPer