stochastische prozesse i 1.zeitreihen 2.modellierung 3.analyse 4.beispiel: kalmanfilter...

Stochastische Prozesse I

1. Zeitreihen

2. Modellierung

3. Analyse

4. Beispiel: Kalmanfilter

Seminarvortrag von Elias Kellner 14.06.2007

1. Zeitreihen

Zeitreihe: zeitabhängige Folge von Datenpunkten

i.d.R. nicht stochastisch unabhängig

Handschriftanalyse, Zeitreihe der vertikalen Geschwindigkeit

Zeitreihe (Daten)

Modellbildung

TrendkomponentenSaisonale Komponenten

Vorhersage (Simulation) Tiefere Einsichten

Wir brauchen: Geeignete Werkzeuge zur Datenenanalyse

Fitfunktionen zur TrendbereinigungSpektralanalyseKorrelationsanalyse

mathematische Beschreibung zur Modellbildung

Stochastischer Prozess „Rauschen“

Betrachte zeitdiskrete Prozesse, um Rauschen zu simulieren

2 Klassen dynamischer Systeme-nichtvergeßliche (klassische)

-vergeßliche (stochastische) (chaotische)

)( tx

)( tX Prozess ( Verteilungen bekannt)

Realisation

Stationarität

)( tXEine Zeitreihe heißt stark stationär, wenn die Verteilung von nicht vom Index abhängt.

)( stX

)( tXEine Zeitreihe heißt schwach stationär, wenn

1.

2.

consttX t )(

)(),(),( Xrtrttt CovXXCovXXCov

))((),( YX YXYXCov

Autokovarianz

Ergodizität

Ergodisch in klass. Mechanik: System kommt erlaubten Systemzuständen beliebig nahe

Für ergodische Systeme gilt: „Scharmittel = Zeitmittel“

),( xfx Jeder Prozess induziert eine Dichte im Phasenraum.

Mittelwerte müssen bezüglich dieser Dichte gebildet werden

)(x

)()( xGxdxG

))(())(()()( itxGtxdtGxGxdxG

Simulation des Rauschens:

Summe von vielen stochastischen Einflüssen Zentraler GWS Rauschen gaußverteilt

Weißes Rauschen (WN): Folge von unabhängigen Realisationen einer gaußverteilten Zufallsvariablen

),0( 2 Nt

Nehme an, xt sei linear durch die N vorherigen Datenpunkte bestimmt (Autoregession)

N

jjtjt xax

1

Addiere zu jeden xt eine kleine Störung (Zufallsvariable, z.B. weisses Rauschen)

N

jjtjtt xax

1

AR(N) – Prozess:

Betrachte „vergesslichen“ Prozess

Modellierung durch AR-Prozesse

lineare DGL n‘ter Ordnung

0 )( ... )( )()(2

2

21 txdt

datx

dt

datx

dt

datx

n

n

n

Rückführung von DGL n‘ter Ordnung auf System von DGL 1‘ter Ordnung

0)( )( txAtxdt

d

0m

k10

v

x

v

x

dt

d)()( txmtxk

z.B harmonischer Oszillator:

N

yjtjtt xax

1

Differenzengleichungen.

Differenzengleichung = „diskretisierte“ DifferentialgleichungAnsatz macht Sinn, da Natur i.a. durch Differentialgleichungen beschrieben wird.

Analog läßt sich jeder univariate AR(N)-Prozess auf einen n-variaten AR(1) Prozess reduzieren.

ttt xAx 1

N

jjtjtt xax

1

Eigenschaften eines AR(1) Prozesses

zentriertstationärergodisch

2

12 )( ttt axx

Varianz:

2

22

1

axt

ttt axx 1

a<1

2

)CF(t

tt

x

xxA aA )CF(

a=1 Random Walk (Brownian Motion)ttt xx 1

MA(N) – Prozess:(gleitendes Mittel)

1

0

N

jjtjt mx

AR(N) – Prozess:

N

jjtjtt xax

1

ARMA(p,q)

q

jjtj

p

jjtjtt mxax

11

Spektralanaylse

Gegeben sei eine Zeitreihe. Welche Frequenzen sind enthalten?

Fouriertrafo (ohne Normierung) )(

t

tti Xef

Unterscheide wie immer FT einer Realisation und eines ProzessesFT ist komplexe Größe

Aliasing Zeitreihe = gesampelter, kontinuierlicher Prozess!Sample z.B. einen Sinus mit Samplingfrequenz f

SamplingNyquist fff2

1max

Vor dem sampeln muss gefiltert werden!!

Spektrum

2|)(|)( fS

Faltung im Ortsraum enspricht Multiplikation im Frequenzraum.Multiplikation mit sich selbst ist | |2

)()(

ACFeS i

2)Var(

),Cov( )CF(

t

tt

t

tt

X

XX

x

xxA

Definiere Spektrum

ACF einer Zeitreihe entspricht einer Faltung der Reihe mit sich selbst

Definition über ACF mathematisch korrekt, aber über FT leichter zu schätzen!

)(

t

tti Xef

1. Spektrum als Erwartungswert definiert. Meist aber nur eine Zeitreihe vorhanden!

Problem: Periodogramm „zappelt“ mit Chi2 - Verteilung

2|)(|)( fS

2|)(| )( fPer Suche Schätzer für Spektrum z.B Periodogramm:

222 )])((Im[)])(Re[( |)(| )( fffPer

Var(Per) ist unabhängig von N nicht konsistent

Schätzung des Spektrums: 2 Probleme

)(

2

1)( SPer 4)(

Var

2. Problem: Endliche Zeitreihe = unendliche Reihe mit Fenster multipliziert

Im Frequenzraum zusätzlich Faltung mit dem Sinc des Fensters! leaking Power von Peaks in Täler Periodogramm ist sogar verzerrter Schätzer

Lösung: „Tapering“: kein eckiges Rechteckfenster, sondern Dreick- oder Gaussfensteroptimalstes Fenster : Hamming

Schätzung des Spektrums durch Zerschneiden der Zeitreihe, TapernUnd Mittelwertbildung der einzelnen Periodogramme Methode nach Welch

Zeitreihe

Zerschneiden

Tapern

|FFT|2

Frequenzweise mitteln

Filter allgemein:

X(t) Filter y(t)

Wichtige Filterklasse: linear und zeitinvariant (LTI-Filter)

N

jjtjt xmy

0

Filtersystem ist durch seine Impulsantwort bestimmt (FIR, IIR )

MA – Prozess ohne Rauschen = FIR Filter

ARMA – Prozess ohne Rauschen = IIR Filter

q

jjtj

p

jjtjt xmyay

01

X-Pass-Filter, Bildbearbeitung…

Das Kálmán-Filter

Gegeben Sei dynamisches System, z.B. ein multivariater AR(1) Prozess

)()1( )( ttxAtx

)()( )( ttxBty

Systemgleichung

Beobachtungsgleichung

Wir haben nur Zugriff auf yt !

y(t) Filter x(t)

Gesucht: Filter, das uns die wahren Werte xt schätzt

)()( )( ttbxty

Systemgleichung

Beobachtungsgleichung

Einfache Schätzung: Rückrechnen auf xt durch B-1

Große Fehler wegen Beobachtungsrauschen

Man kann ausnutzen, dass man die Dynamik A des Systems kennt

)()1( )( ttaxtx

1. Prädiktionsschritt: )1|1( )1|( ttaxttx

2. Korrektur )1|()()(()1|( )|( ttytytKttxttx

)1|1( )1|( ttbxtty

Beobachte y(t), berechne daraus Fehler y(t|t-1) - y(t)

Bsp: Kalman Filter, AR-1 Prozess a=0.89, Beobachtug stark verrauscht

Zusammenfassung

ttt xAx 1 AR-Prozesse

2|)(|)( fS )()(

ACFeS iSpektrum

Spektrum schätzen: Schneiden - Tapern – Periodogramme mitteln

2|)(| )( fPer