Kurs 9.3: Forschungsmethoden II

Zeitreihenanalyse

Lernsequenz 04: Regression zwischen Zeitreihen / ARMA-Modelle

November 2014

Prof. Dr. Jürg Schwarz

MSc Banking & Finance

Folie 2

Inhalt

Ziele ___________________________________________________________________________________________________ 5

Regression zwischen Zeitreihen ____________________________________________________________________________ 6

Modellierung von ARMA(p,q)-Prozessen ____________________________________________________________________ 23

Beispiel zur Modellbildung ________________________________________________________________________________ 39

Folie 3

Inhaltsverzeichnis

Ziele ___________________________________________________________________________________________________ 5

Ziele der Lernsequenz 04 ............................................................................................................................................................................................................ 5

Regression zwischen Zeitreihen ____________________________________________________________________________ 6

Regressionsmodell für Zeitreihen ........................................................................................................................................................................... 6

Beispiel Prognos / Bundesamt für Energie .................................................................................................................................................................................. 7

Beispiel Prognos / Bundesamt für Energie – Variante mit zeitverzögerten Variablen ................................................................................................................ 8

Beispiel Prognos / Bundesamt für Energie – Variante mit zeitverzögerten Variablen ................................................................................................................ 9

Autokorrelierte Residuen ...................................................................................................................................................................................... 10

Aufdecken von Autokorrelation.................................................................................................................................................................................................. 11

Massnahmen ............................................................................................................................................................................................................................. 11

Beispiel mit simulierten Daten ................................................................................................................................................................................................... 12

Schätzung ohne und mit Berücksichtigung der korrelierten Fehler (Cochrane-Orcutt) ............................................................................................................ 13

Tests auf Autokorrelation der Fehlerterme ............................................................................................................................................................ 15

Durbin-Watson-Test .................................................................................................................................................................................................................. 15

Durbin-Watson-Test am Beispiel der simulierten Daten ........................................................................................................................................................... 16

Breusch-Godfrey-Test (siehe auch Tests von Box-Pierce und Ljung-Box) .............................................................................................................................. 17

Cochrane-Orcutt-Methode für autokorrelierte Fehlerterme ................................................................................................................................... 18

Spezialfall AR(1)-Modell für den Fehler .................................................................................................................................................................................... 18

Hinweise zu EViews .................................................................................................................................................................................................................. 19

Breusch-Godfrey-Test und Cochrane-Orcutt-Methode am Beispiel der Verkehrsdaten ........................................................................................................... 20

Folie 4

Modellierung von ARMA(p,q)-Prozessen ____________________________________________________________________ 23

Deutsches BIP zwischen 1970:Q1 und 2008:Q2 ...................................................................................................................................................................... 23

Zum Vergleich: Simulierter ARMA(2,3)-Prozess zwischen 1970:Q1 und 2008:Q2 .................................................................................................................. 24

Eigenschaften von ARMA-Prozessen ................................................................................................................................................................... 25

Korrelogramm: Simulierter AR(1)-Prozess ................................................................................................................................................................................ 26

Theoretische ACF und PACF verschiedener ARMA(1,1)-Prozesse ......................................................................................................................................... 29

Theoretische und empirische ACF und PACF eines simulierten AR (2)-Prozesses ................................................................................................................. 30

Stationarität eines AR(p)-Prozesses ......................................................................................................................................................................................... 31

Beispiel mit EViews mit drei simulierten AR(2)-Prozessen ....................................................................................................................................................... 32

Invertierbarkeit eines MA(q)-Prozesses .................................................................................................................................................................................... 33

Zusammenfassung: Charakterisierung des ARMA(p,q)-Prozesses.......................................................................................................................................... 34

Phasen der Modellbildung (nach Box-Jenkins 1970 / 1994) ................................................................................................................................. 35

Anmerkungen zur Modellidentifikation und Modellspezifikation ................................................................................................................................................ 36

Beispiel zur Modellbildung ________________________________________________________________________________ 39

Datengrundlage: Deutsches BIP zwischen 1970:Q1 und 2008:Q2 .......................................................................................................................................... 39

Korrelogramm und Ordnung p und q ......................................................................................................................................................................................... 42

Bestimmung der Ordnungen p und q mit Informationskriterien ................................................................................................................................................. 43

Schätzung der Modelle .............................................................................................................................................................................................................. 44

"Equation Diagnostics": Wurzeln der charakteristischen Polynome ......................................................................................................................................... 45

"Equation Diagnostics": Vergleich von theoretischem und empirischem Korrelogram ............................................................................................................. 46

Residualanalyse ........................................................................................................................................................................................................................ 47

Schlussmodell und Prognose .................................................................................................................................................................................................... 48

Folie 5

Ziele

Ziele der Lernsequenz 04

Regression zwischen Zeitreihen / ARMA-Modelle (4 Lektionen mit EViews-Anwendung)

◦ Sie kennen das Problem der Autokorrelation bei der Regression zwischen Zeitreihen.

◦ Sie können autokorrelierte Fehlerterme detektieren

◦ Sie können Verfahren anwenden, um autokorrelierte Fehlerterme auszuschalten.

◦ Sie kennen die wesentlichen Eigenschafteen von ARMA(p,q)-Prozessen.

◦ Sie können Korrelogramme beurteilen.

◦ Sie können eine ARMA(p,q)-Modell mit EViews schätzen.

Folie 6

Regression zwischen Zeitreihen

Regressionsmodell für Zeitreihen

Die Zeitreihe Yt werde durch q weitere Zeitreihen X t(1), X t

(2), ... X t(q) beeinflusst

Regressionsmodell

T,...,1t alle für 1X mit ,EX

EX...XXY

)0(tt

q

0j

)j(tj

t)q(

tq)2(

t2)1(

t10t

==+β=

+β++β+β+β=

∑=

Beispiel Prognos / Bundesamt für Energie (2008 und 2010)*

Einfluss der Tagestemperatur auf den Fernwärmebedarf der Stadt Bern

Erster Ansatz: Fernwärmet = β0 + β1 ⋅ Mittlere Tagestemperaturt

t = 1,2,...365 Tage im Jahr

*Temperatur- und Strahlungsabhängigkeit des Energieverbrauchs im Wärmemarkt

*www.bfe.admin.ch/themen/00526/00541/00542/02794/index.html?lang=de&dossier_id=02795 (Stand: November 2014)

Folie 7

Beispiel Prognos / Bundesamt für Energie

Tägliche Einspeisung ins Fernwärmenetz, in Abhängigkeit der mittleren Tagestemperatur.

Indexierte Werte (1 = durchschnittliche Tages-Einspeisung)

Folie 8

Beispiel Prognos / Bundesamt für Energie – Variante mit zeitverzögerten Variablen

Erster Ansatz Prognos / Bundesamt für Energie

Fernwärmet = β0 + β1 ⋅ Mittlere Tagestemperaturt

Die mittlere Tagestemperatur wirkt sich nur simultan auf den Wärmeverbrauch aus.

Hier: Zeitverschobene Temperaturen wirken sich aus physikalischen Gründen ebenfalls aus.

Zusätzlich Einfluss von Temperatur des Vortages und Vorvortages (zusätzlich: Strahlung)

Vollständiges Modell: Fernwärmet = β0 + β1⋅Tt + β2⋅Tt-1 + β3⋅Tt-2 + β4 ⋅ Strahlungt + ut

LS 03

Folie 9

Beispiel Prognos / Bundesamt für Energie – Variante mit zeitverzögerten Variablen

Tägliche Einspeisung ins Fernwärmenetz an Januartagen (2000 bis 2008): Effektive Einspeisung (blau ) und geschätzte Einspeisung (rot ) Indexierte Werte (1 = durchschnittliche Tages-Einspeisung im Januar)

Standardisierte Parameter

:

Achtung: x-Achse ist nicht Zeitachse sondern Nummer der Messung

Ein

speis

ung in

s F

ern

wärm

en

etz

Folie 10

Autokorrelierte Residuen

Im Gegensatz zu Modellen ohne Zeitreihencharakter haben Zeitreihenmodelle häufig autokorrelierte Residuen.

Gründe

Lagstruktur der Variablen nicht richtig spezifiziert (Beispiel Fernwärme: Temperatur der Vortage)

Variable bei der Modellbildung nicht berücksichtigt (Beispiel Fernwärme: Strahlung)

◦ Wenn aufeinanderfolgende Werte der fehlenden Variablen korreliert sind, dann sind die Residuen im Modell, das diese Variable nicht berücksichtigt, korreliert.

Auswirkungen autokorrelierter Residuen

◦ Gewöhnliche OLS-Schätzer bleiben erwartungstreu ( ) Sie haben aber nicht minimale Varianz. Es gibt genauere Schätzer.

◦ Die Standardfehler (s.e.) der Koeffizienten βi werden verzerrt geschätzt.

◦ Dadurch werden t-Tests und Konfidenzintervalle ungenau.

)ˆ.(e.s

ˆt

i

i

β

β= Die Schätzfehler können zu Missspezifikation des Modells führen.

� ��� β = β

Folie 11

Aufdecken von Autokorrelation

◦ Grafische Residualanalyse (Scatterplot)

◦ Analyse von Autokorrelationsfunktion (AC) und partieller Autokorrelationsfunktion (PAC)

◦ Durbin-Watson (Lag 1) / Breusch-Godfrey (Lag p)

◦ Box-Pierce / Ljung-Box (Lag p) – auch als Portmanteau-Tests bezeichnet

Massnahmen

1. Hinzunahme zusätzlicher, erklärender Variablen

Beispiel: Strahlung im Beispiel Fernwärme, Saisondummys

2. Berücksichtigung der Lagstruktur der erklärenden Variablen

Beispiel: Temperatur der Vortage im Beispiel Fernwärme

3. Generalized Least Squares Estimator (GLS) => Korrektur der Standardfehler

Beispiel: Prais-Winsten-Schätzer

4. Modellierung und Einbezug der korrelierten Fehler als AR(p)-Modell

Beispiel: Cochrane-Orcutt-Verfahren

Anwendung von GLS respektive Einbezug von korrelierten Fehlern erst dann, wenn - Alle wichtigen Variablen im Modell vorhanden sind. - Die Lagstruktur der erklärenden Variablen im Modell genügend berücksichtigt wurde.

Folie 12

Beispiel mit simulierten Daten

Ein Regressionsmodell für simulierte Zeitreihen wird geschätzt

2t 0 t t t

2t 0 t t t t

y x x E

y x x E x t / 50 t {1,100}

= β + + +

= β + ⋅ + ⋅ + = ∈

1 2β β

1 2

Et sei ein AR(1)-Prozess <=> Fehlerterme sind forciert autokorreliert, im Gegensatz zu i.i.d.

1.0uVar

uEE

t

t1tt

=

+⋅−= −0.65

Simulation mit EViews (100 zufällig erzeugte Zeitreihen {yt} t=1,Y,n mit n = 100)

Eine der zufällig erzeugten Zeitreihen yt

Et

xt

2xt2

yt

Folie 13

Schätzung ohne und mit Berücksichtigung der korrelierten Fehler (Cochrane-Orcutt)

Beispiel: Koeffizient ββββ1 (Modellwert ≡ 1) Standardfehler (s.e.) des Koeffizienten ββββ1

Werte der Schätzungen von 100 zufällig erzeugten Zeitreihen

0.85

0.90

0.95

1.00

1.05

1.10

1.15

.02

.04

.06

.08

.10

.12

Ohne Mit Ohne Mit

Folie 14

Schätzung ohne und mit Berücksichtigung der korrelierten Fehler (Cochrane-Orcutt)

Koeffizient β1 => Werte sind vergleichbar

Schätzer sind erwartungstreu

Standardfehler => Werte sind deutlich verschieden

Die Berücksichtigung der korrelierten Fehler (Hier: Cochrane-Orcutt)

liefert kleinere Standardfehler (se) (ca. Faktor ½)

Tabelle: Schätzung des Koeffizienten ββββ1 (Modellwert ≡ 1)

Mittelwert aus den 100 zufällig erzeugten Zeitreihen

Koeffizient β1 se Koeffizient β1 se Koeffizient β1 se

Mean 1.0010 0.0925 0.9915 0.0427 99.1% 46.2% Median 0.9988 0.0920 0.9953 0.0427 99.6% 46.4% Maximum 1.0898 0.1096 1.1135 0.0547 102.2% 49.9% Minimum 0.8941 0.0674 0.8683 0.0355 97.1% 52.6%

Kleinste Quadrate Cochrane-Orcuttmit/ohneohne mit

Folie 15

Tests auf Autokorrelation der Fehlerterme Durbin-Watson-Test

Modell Et = ρ ⋅ Et-1 + ut (AR(1)-Prozess der Fehlerterme <=> Autokorrelation)

Nullhypothese H0: ρ = 0, Alternativhypothese HA: ρ ≠ 0

Teststatistik

∑

∑

=

=

−−

=N

2t

2t

N

2t

21tt

R

)RR(

D, t Zeitpunkt zum Residuum yyR mit ttt −=

Approximativer Zusammenhang zwischen Durbin-Watson-Statistik und Autokorrelation

t t-1 t t-1ˆ ˆD 2(1 ) Werte schwanken zwischen 0 (R R ) und 4 (R -R )≈ − ρ => = =

Werte nahe bei 2 deuten auf Unkorreliertheit der Fehlerterme hin (siehe auch Hackl 2013)

Nachteil

Durbin-Watson testet nur die erste Autokorrelation (p = 1)

Wenn Fehlerterme einem AR(p)-Prozess mit p > 1 folgen, versagt der Test.

Folie 16

Durbin-Watson-Test am Beispiel der simulierten Daten

1.6

2.0

2.4

2.8

3.2

3.6

Ohne Mit

Ohne Korrektur: DW ≈ 3.3 => deutliches Zeichen für autokorrelierte Fehlerterme

Kritische Grenzen Hackl (2013: Seite 490)

Online (Zugriff: November 2014): www.stanford.edu/~clint/bench/dwcrit.htm

n = 100, α = 0.05, k = 3 => dL = 2.29, dH = 2.37 n = 100, a = 0.05, k = 2 => 3.3 signifikant verschieden von 2

Mit Korrektur (Cochrane-Orcutt): DW ≈ 2.0 => keine autokorrelierten Fehlerterme

Folie 17

Breusch-Godfrey-Test (siehe auch Tests von Box-Pierce und Ljung-Box)

Modell Et = ϕ1⋅Et-1 +...+ ϕp⋅Et-p + ut (AR(p)-Prozess der Fehlerterme <=> Autokorrelation)

Nullhypothese H0: ϕi = 0, i = 1,...p, Alternativhypothese HA: ϕi ≠ 0 für mindestens ein i

Teststatistik: Bestimmtheitsmasse der Hilfsregression der Residuen aufeinander

Eigenschaften

Breusch-Godfrey-Test ist allgemeiner als Durbin-Watson-Test

Der Wert von p muss vor dem Test bestimmt werden (Korrelogramm)

Anwendung in EViews am Beispiel von einer der zufällig erzeugten Zeitreihen

Im Output View�Residual Tests�Serial Correlation LM test... wählen. Hier: p = 2

Modellwert ≡ -0.65 Modellwert ≡ -0.00

Nullhypothese verwerfen

ϕi ≠ 0

Folie 18

Cochrane-Orcutt-Methode für autokorrelierte Fehlerterme Spezialfall AR(1)-Modell für den Fehler

Modell für die Fehler: Et = ϕ ⋅ Et-1 + ut, wobei ut weisses Rauschen

Regressionsmodell einer Zeitreihe, beispielsweise: Yt = β0 + β1X t(1) + β2X t

(2) + Et

Bilden der Differenz

*t t t 1 t t-1

(1) (2) (1) (2)0 1 t 2 t t 0 1 t 1 2 t 1 t 1

(1) (1) (2) (2)0 1 t t 1 2 t t 1 t t 1 t t 1 t

*0 1

Y Y Y / Modell für Y und Y einsetzen

X X E ( X X E )

(1 ) (X X ) (X X ) E E wobei gilt E E u

−

− − −

− − − −

= − ϕ

= β + β + β + − ϕ β + β + β +

= β − ϕ + β − ϕ + β − ϕ + − ϕ − ϕ =

= β + β *(1) *(2)t 2 t tX X u+ β +

Wobei gilt

* *(1) (1) (1) *(2) (2) (2)0 0 t t t 1 t t t 1(1 ), X X X , X X X− −β = β − ϕ = − ϕ = − ϕ

Das transformierte Modell ist frei von Autokorrelation.

Das transformierte Modell erfüllt die Voraussetzungen des allgemeinen Regressionsmodells.

Nachteil: Um das transformierte Modell zu berechnen, muss ϕ bekannt sein.

Folie 19

Hinweise zu EViews

Tests auf Autokorrelation

◦ Durbin-Watson-Test wird standardmässig im Output eines Modells angezeigt

◦ Breusch-Godfrey-Test kann im Output unter View�Residual Diagnostics�Serial Correlation LM Test... gewählt werden

HAC-Schätzer für die Varianz (heteroskedasticity and autocorrelation consistent)

◦ Schätzer nach Newey und West (1987) (korrigiert die Varianz der OLS Schätzung) kann bei der Spezifikation der Gleichung unter Options gewählt werden.

Cochrane-Orcutt-Methode bei Autokorrelation der Fehlerterme

◦ Das Modell für die Fehlerterme muss bekannt sein. Beispielsweise ein AR(1)-Prozess.

◦ Bei der Spezifikation der Regression werden die Lags der Fehlerterme angegeben.

Folie 20

Breusch-Godfrey-Test und Cochrane-Orcutt-Methode am Beispiel der Verkehrsdaten

-40000

-20000

0

20000

40000

180,000

200,000

220,000

240,000

260,000

97 98 99 00 01 02 03 04

Residual Actual Fitted

EViews: Method Least Squares

Lineare Trendfunktion

Ft = β0 + β1⋅t + ut t ∈ {1,32}

Ft = 207'143.3 + 1133.867 ⋅ t

Die verbleibende Zeitreihe ("Residual") enthält nur noch Saisonalität und Restterm.

DW ist ok, aber nur für Lag 1

Folie 21

Breusch-Godfrey-Test mit p = 4

Cochrane-Orcutt-Modell mit Lag 2

Die Residuen sind autokorreliert mit Lag 2

Folie 22

Cochrane-Orcutt-Methode Dummy-Variablen (gemäss LS 02)

-10000

-5000

0

5000

10000

180,000

200,000

220,000

240,000

260,000

280,000

1998 1999 2000 2001 2002 2003 2004

Residual Actual Fitted

-10000

-5000

0

5000

10000

180,000

200,000

220,000

240,000

260,000

280,000

1998 1999 2000 2001 2002 2003 2004

Residual Actual Fitted

Folie 23

Modellierung von ARMA(p,q)-Prozessen

Deutsches BIP zwischen 1970:Q1 und 2008:Q2

Bruttoinlandsprodukt der BRD. Preisbereinigte Quartalsdaten. Quelle: www.bundesbank.de

40

60

80

100

120

1970 1975 1980 1985 1990 1995 2000 2005

BIP

(In

dex:

20

00 =

100)

Folie 24

Zum Vergleich: Simulierter ARMA(2,3)-Prozess zwischen 1970:Q1 und 2008:Q2

3t2t1tt2t1tt u1.0u3.0u5.0uY4.0Y6.07.0Y −−−−− +−++++=

(Excel-Tool "ARMA(p,q).xls")

0

10

20

30

40

50

60

70

1970 1975 1980 1985 1990 1995 2000 2005

Folie 25

Eigenschaften von ARMA-Prozessen

Aus den Eigenschaften von AR(p)- und MA(q)-Prozessen aus LS 03 folgt:

Jeder stationäre AR(p)-Prozess lässt sich als MA(∞)-Prozess schreiben

Jeder invertierbare MA(q)-Prozess lässt sich als AR(∞)-Prozess schreiben

=> Jeder stationäre Prozess lässt sich beliebig genau durch einen ARMA-Prozess annähern.

ARMA(p,q) Prozesse sind in der Regel nicht eindeutig. Der gleiche Prozess kann mit verschiedenen Kombinationen von p und q dargestellt werden.

Grundsätzlich gilt:

◦ Modellierung mit kleinen p und q vereinfachen die Analyse.

◦ AR-Repräsentation eignet sich besser für die Schätzung, da die OLS Annahmen erfüllt sind.

◦ MA-Darstellung eignet sich besser für die Berechnung von Varianzen und Kovarianzen.

Folie 26

Korrelogramm: Simulierter AR(1)-Prozess

AR(1)-Prozess Yt = 0.3 + 0.6Yt-1 mit und ohne überlagertem, deterministischem Trend 0.1⋅t

Mit Trend

Ohne Trend

0

4

8

12

16

20

1975 1980 1985 1990 1995 2000 2005

-0.8

-0.4

0.0

0.4

0.8

1.2

1.6

2.0

2.4

1975 1980 1985 1990 1995 2000 2005

Folie 27

EViews-Schätzung zum Prozess Yt = 0.3 + 0.6Yt-1 mit und ohne Trend

Mit Trend

Ohne Trend

Zeitreihe ist stationär

Modell OK

Schätzung der Parameter OK

Zeitreihe ist nicht stationär (Trend)

Modell nicht OK

Schätzung der Parameter fehlerbehaftet

Folie 28

Eigenschaften der AC- und PAC-Funktion von ARMA(p,q)-Prozessen

Modell AR(p)-Prozess: MA(q)-Prozess:

p = q = 1 kk ϕ=ρ 1k für 0

2

1

1 k21 >=ρ<θ+

θ=ρ

p,q > 1 ik

p

1iik −

=

ρϕ=ρ ∑ qk für 0 1

kq

1i

2i

kq

1i kii

k >=ρθ+

θθ=ρ

∑∑

=

−

= +

p = q = 1 11 ϕ=φ Nicht abbrechende, gedämpfte Exponentialfunktion oder Sinusfunktion.

Wurzel des charakteristischen Polynoms reell => Exponentialfunktion

Wurzeln des charakteristischen Polynoms komplex => Sinusfunktion

p,q > 1 kk 0 für k pφ = >

Die Bestimmung des grössten Lags k, für den alle nachfolgenden partiellen Autokorrelationen 0 sind, ergibt die Ordnung des AR(p)-Prozesses

Siehe auch Zusammenstellung für p + q ≤ 2 im Appendix der Practice zu LS 04.

AC

F

PA

CF

t t(L)YΦ = ε t tY (L)= Θ ε

Folie 29

Theoretische ACF und PACF verschiedener ARMA(1,1)-Prozesse

Quelle: Vorlesungsunterlagen der TU Ilmenau Quelle: (www.tu-ilmenau.de, November 2010 / Stand November 2014 => nicht mehr zugänglich)

ϕ1 = 0.8 θ1 = 0.3

ϕ1 = 0.3 θ1 = 0.8

ϕ1 = -0.8 θ1 = 0.3

Folie 30

Theoretische und empirische ACF und PACF eines simulierten AR (2)-Prozesses

Quelle: Vorlesungsunterlagen der TU Ilmenau Quelle: (www.tu-ilmenau.de, November 2010 / Stand November 2014 => nicht mehr zugänglich)

Folie 31

Stationarität eines AR(p)-Prozesses

AR(p)-Modell in der Schreibweise mit Lag-Operator

ttp

p2

21 uY)L...LL1( +α=ϕ−−ϕ−ϕ−

Charakteristisches Polynom

)L...LL1()L( pp

221 ϕ−−ϕ−ϕ−=Φ

t t(L)Y u=> Φ = α +

Ein AR(p)-Prozess ist genau dann stationär, wenn alle (komplexen) Nullstellen zi des

charakteristischen Polynoms ausserhalb des Einheitskreises (|z| = 1) liegen. |z| > 1.

Daraus folgt für die Kehrwerte (invertet roots): 1/|z| < 1

Beispiel AR(2): Yt = 0.5 ⋅Yt-1 + 0.5 ⋅Yt-2 + Et => Φ(L) = (1 – ϕ1L – ϕ2L2) = (1 – 0.5L – 0.5L2)

Nullstellen von Φ(z): 1 – 0.5z – 0.5z2 = 0 => z1 = 1.0, z2 = -2.0

Da z1 nicht ausserhalb des Einheitskreises liegt, ist Yt nicht stationär.

Folie 32

Beispiel mit EViews mit drei simulierten AR(2)-Prozessen

Yt = 0.5 ⋅Yt-1 + 0.5 ⋅Yt-2 + Et => z1 = 1.0, z2 = -2.0

Die Inverted AR Roots nahe bei 1 deuten auf den nichtstationären Charakter hin.

Achtung: Die Scatterplots ARMA1 und ARMA3 lassen vermuten, dass es sich um stationäre Zeitreihen handelt. Das ist aber nicht so!

-25

-20

-15

-10

-5

0

5

10

1970 1975 1980 1985 1990 1995 2000 2005

ARMA1 ARMA2 ARMA3

Folie 33

Invertierbarkeit eines MA(q)-Prozesses

Ein MA(q)-Prozess

qtq2t21t1tt u...uuuY −−− θ++θ+θ++α=

ist immer stationär, unabhängig von den Parametern α und θi.

Damit der MA(q)-Prozess in einen AR(∞) überführt werden kann (Invertierung), muss gelten

Ein MA(q)-Prozess ist genau dann invertierbar, wenn alle (komplexen) Nullstellen zi des charakteristischen Polynoms ausserhalb des Einheitskreises (|z| = 1) liegen. |z| > 1.

Daraus folgt für die Kehrwerte (invertet roots): 1/|z| < 1

Bedeutung der Invertierbarkeit: Eindeutigkeit eines MA(q)-Prozesses

Verschiedene MA(q)-Prozesse können zu identischen ACF und damit auch PACF führen.

Ein Rückschluss von der Autokorrelationsfunktion auf den erzeugenden Prozess ist nur dann

eindeutig möglich, wenn der MA(q)-Prozesse invertierbar ist.

Folie 34

Zusammenfassung: Charakterisierung des ARMA(p,q)-Prozesses

Modell AR(p)-Prozess

ttY)L( ε=Φ

MA(q)-Prozess

tt )L(Y εΘ=

ARMA(p,q)-Prozess

tt )L(Y)L( εΘ=Φ

Bedingung für

Stationarität Wurzeln zi von 1z :0)z( i >=Φ

immer stationär Wurzeln zi von 1z :0)z( i >=Φ

Invertierbarkeit immer invertierbar Wurzeln zi von 1z :0)z( i >=Θ

Wurzeln zi von 1z :0)z( i >=Θ

Eigenschaften

ACF unendlich: exponentiell

fallend, gedämpfter Sinus

endlich: ρk = 0 für k > q Wie AR(p) ab k > q

PACF endlich: φkk = 0 für k > p unendlich: exponentiell

fallend, gedämpfter Sinus Wie MA(q) ab k > p

Anmerkung zur Darstellung der Modelle ohne Intercept α: Durch die Transformation Yt' = Yt - α wird der Intercept α eines ARMA-Prozesses entfernt.

Folie 35

Phasen der Modellbildung (nach Box-Jenkins 1970 / 1994)

Parameter schätzer nicht signifikant

Überprüfung der Zeitreihe auf Stationarität

Bestimmung der Ordnungen p und q

Signifikante Autokorre- lationen

OLS-Schätzung

Maximum-Likelihood Schätzung

Überprüfung, ob Autokorrelation in den

Residuen des geschätzten Modells vorliegt

Anwendung des spezifizierten Modells

für verschiedene Zwecke

Modellidentifikationund Modellspezifikation

Modellschätzung(Schätzung der Parameter)

Modelldiagnose

Modellanwendung(Deskription, Prognose,

Diagnose, Kontrolle)

Folie 36

Anmerkungen zur Modellidentifikation und Modellspezifikation

Überprüfung der Zeitreihe auf Stationarität

◦ Inspektion der Zeitreihenplots

◦ Autokorrelationsfunktion und partielle Autokorrelationsfunktion (Korrelogramm)

◦ Unit-Root-Test (mehr in in LS 05)

Bestimmung der Ordnungen p und q

Wie sollen die Ordnungen p und q des anzupassenden ARMA-Modells gewählt werden?

Es gibt 2 Fehlermöglichkeiten:

◦ p oder q werden zu gross gewählt => Overfitting

◦ p oder q werden zu klein gewählt => Underfitting

Sowohl beim Overfitting als auch beim Underfitting ist der ML-Schätzer nicht mehr konsistent.

Korrekte Bestimmung der Ordnungen p und q ist deshalb von Bedeutung.

Prämisse der Box-Jenkins-Modellierung: So wenige Parameter wie möglich benutzen.

Folie 37

Methoden zur Bestimmung der Ordnungen p und q

Visuelle Inspektion der empirischen ACF und PACF (schwierig ...)

◦ ACF: Die Autokorrelationen sollten sich gemäss Theorie wie eine fallende Exponentialfunkti-on oder eine gedämpfte Sinuswelle verhalten.

Falls dies nicht erfüllt ist, liegt ein komplizierteres Modell vor, wie z.B. ein ARMA-Modell.

◦ PACF: Die Bestimmung des "cut-offs" bei den partiellen Autokorrelationen, d.h. ab welchem Lag die folgenden partiellen Autokorrelationen 0 sein können, gibt eine mögliche Schätzung der Ordnung p.

Die Ordnungen p und q werden in der Regel eher überschätzt.

Folie 38

Bestimmung der Ordnungen p und q mit Informationskriterien

Grundidee: Minimierung eines Informationskriteriums

◦ Mit steigender Ordnung von p und q wird die Anpassung des ARMA-Modells besser. Die geschätzte Varianz der Residuen σ2

p,q ist eine Masszahl für die Anpassung des Modells. Mit steigender Ordnung von p und q nimmt σ2

p,q ab.

◦ Als Korrektur gegen das Overfitting, wird das Anpassungsmass σ2p,q um einen Term ergänzt,

der höhere Wahlen von p und q bestraft.

Am meisten benutzte Informationskriterien

◦ AIC (Akaike-Informationskriterium) T

2)qp()ˆlog()q,p(AIC 2

q,p ++σ=

◦ SIC (Schwarz-Informationskriterium) T

)Tlog()qp()ˆlog()q,p(SIC 2

q,p ++σ=

◦ HQIC (Hannan-Quinn-Informationskriterium) T

)]Tlog[log(2)qp()ˆlog()q,p(HQIC 2

q,p ++σ=

In der Praxis werden p und q so gewählt, dass nur eines der Informationskriterien minimal wird. Meistens wird das AIC-Kriterium gewählt, obwohl es eher zu Overfitting führt.

Folie 39

Beispiel zur Modellbildung

Datengrundlage: Deutsches BIP zwischen 1970:Q1 und 2008:Q2

Bruttoinlandsprodukt der BRD. Preisbereinigte Quartalsdaten. Quelle: www.bundesbank.de

40

60

80

100

120

1970 1975 1980 1985 1990 1995 2000 2005

BIP

(In

dex:

20

00 =

100

Folie 40

BIP Wachstumsrate (Prozentuale Veränderung gegenüber Vorjahresquartal)

Strukturbrüche?

1973:1 <=> Ölschock 1973

1980:1 <=> Zweite Ölkrise (Revolution im Iran und Iran-Irak-Krieg)

1991:2 <=> Wiedervereinigung 1989

2000:2 <=> Dotcom-Blase

("Deutschland - deine Rezessionen", www.sueddeutsche.de, Mai 2010, Zugriff: November 2014)

-.04

-.02

.00

.02

.04

.06

.08

1970 1975 1980 1985 1990 1995 2000 2005

BIP

[%

]

Folie 41

Eigenschaften und Vorbereitung für Modellierung

Überprüfung der Zeitreihe auf Stationarität und Saisonalität

◦ Bruttoinlandsprodukt weist offensichtlich einen Trend auf.

◦ Bruttoinlandsprodukt weist offensichtlich ein Saisonmuster auf (Quartalsmuster).

Transformation zu saisonalen Differenzen in Logarithmen EViews: gdp_log = log(gdp) - log(gdp(-4))

Yt = (1 – L4)log(BIPt)

= log(BIPt) – log(BIPt-4)

Yt = Wachstumsrate gegenüber dem Vorjahresquartal

Entspricht ungefähr prozentualer Veränderung gegenüber Vorjahresquartal

Folie 42

Korrelogramm und Ordnung p und q

Anmerkung: Allgemein ist die Interpretation eines signifikanten PACF bei k = 4 eher nicht realis-tisch. Um nicht nur mit dem einfachsten Modell, das heisst AR(1), weiter zu fahren, wird davon ausgegangen, dass die PACF bei k = 4 signifikant ist.

ACF: langsam, monoton abklingend

=> AR-Modell

PACF: signifikante Werte bis k = 4

=> AR(4)-Modell

Folie 43

Bestimmung der Ordnungen p und q mit Informationskriterien

AIC (Akaike-Informationskriterium)

=> ARMA(4,4)- oder ARMA(4,3)-Modell

SIC (Schwarz-Informationskriterium)

=> ARMA(1,3)- oder ARMA(0,3)-Modell

p / q q = 0 q = 1 q = 2 q = 3 q = 4p = 0 -5.6146 -5.6517 -5.9208 -5.9186p = 1 -5.8273 -5.8157 -5.8121 -5.9522 -5.9436p = 2 -5.8318 -5.8828 -5.8855 -5.9438 -5.9335p = 3 -5.8115 -5.8922 -5.8878 -5.9242 -5.9236p = 4 -5.8523 -5.8946 -5.8978 -6.0001 -6.0128

p = 5 -5.9000 -5.8876 -5.9218 -5.9650 -5.9981

p / q q = 0 q = 1 q = 2 q = 3 q = 4p = 0 -5.5744 -5.5915 -5.8405 -5.8183p = 1 -5.7869 -5.7552 -5.7314 -5.8514 -5.8226p = 2 -5.7711 -5.8018 -5.7842 -5.8223 -5.7918p = 3 -5.7301 -5.7905 -5.7657 -5.7818 -5.7608p = 4 -5.7502 -5.7720 -5.7547 -5.8366 -5.8288p = 5 -5.7769 -5.7439 -5.7576 -5.7802 -5.7928

Folie 44

Schätzung der Modelle

ARMA(4,0)-Modell ( AR(4)-Modell) ARMA(1,3)-Modell

Varianz der Residuen Varianz der Residuen

σ2 = (0.012754)2 = 0.000162 σ2 = (0.012137)2 = 0.000147 Bessere Anpassung als AR(4)-Modell

Schlussmodell ARMA(0,3)-Modell (da AR(1) nicht signifikant)

σ2 = (0.012370)2 = 0.000153

Folie 45

"Equation Diagnostics": Wurzeln der charakteristischen Polynome

Die Kehrwerte der Nullstellen (Inverted Roots) der charakteristischen Polynome für AR(p)- und MA(q)-Prozesse sollten innerhalb des Einheitskreises liegen.

Kehrwerte der Nullstellen des MA-Polynoms innerhalb des Einheitskreises => invertierbar

-1.5

-1.0

-0.5

0.0

0.5

1.0

1.5

-1.5 -1.0 -0.5 0.0 0.5 1.0 1.5

MA

roots

Inverse Roots of AR/MA Polynomial(s)

Folie 46

"Equation Diagnostics": Vergleich von theoretischem und empirischem Korrelogram

Falls das Modell richtig spezifiziert ist, sollten die beiden Kurven "nahe" sein ( "...should be 'close'.")

-.4

.0

.4

.8

2 4 6 8 10 12 14 16 18 20

Actual Theoretical

Auto

corr

ela

tio

n

-.4

.0

.4

.8

2 4 6 8 10 12 14 16 18 20

Actual Theoretical

Part

ial a

uto

corr

ela

tion

Theoretisches und empirisches Korrelogram liegen nahe und die Vorzeichen der Autokorrelationen und partiellen Autokorrelationen stimmen überein.

=> ARMA(0,3)-Struktur wird bestätigt

Folie 47

Residualanalyse

Keine signifikanten Autokorrelationen der Residuen bis zum Lag k = 20.

Die Residuen verhalten sich wie Weisses Rauschen.

Folie 48

Schlussmodell und Prognose

Intervall für die Modellschätzung

1. Quartal 1971 bis 2. Quartal 2006

Intervall für die Prognose

2. Quartal 2006 bis 2. Quartal 2008

-.04

-.02

.00

.02

.04

.06

.08

1970 1975 1980 1985 1990 1995 2000 2005

Prognoseintervall

Prognoseintervall