estad´ıstica miguel angel chong r.´ … · diremos que un proceso {xt} t2t es un autorregresivo...

Series de tiempo

Estadıstica

Miguel Angel Chong [email protected]

2 de abril del 2013

Miguel Chong Series de tiempo

Autorregresivos

Diremos que un proceso {Xt}t2T es un autorregresivo de orden p, ylo denotaremos como AR(p), si para p � 1 un entero y �

1

, . . . ,�pconstantes reales tenemos que

Xt =�1Xt�1

+ . . .+ �pXt�p + ✏t

donde {✏t} es un proceso de ruido blanco.

En terminos de operadores de retraso tenemos

Xt � �1

Xt�1

� . . .� �pXt�p =✏t

(1� �1

B � . . .� �pBp)Xt =✏t

�p (B)Xt =✏t ,

a �p (B) se le conoce como el polinomio autorregresivo.


Un proceso AR(p) puede ser estacionario o no estacionario, esodependera de los valor es de �

1

, . . . ,�p, por ejemplo

Para un AR(1) Xt = �Xt�1

+ ✏t con |�| < 1, ya habıamoscalculado que

E (Xt) = 0, �(h) =�2�h

1� �2y ⇢(h) =

�(h)

�(0)= �h.

Notemos que de lo anterior concluimos que la funcion deautocorrelacion decrece de forma exponencial y ademas queira alternado el signo si � < 0.


Ahora introduciremos el concepto de causalidad para los procesoAR(p). Este concepto es casi identico a la definicion de un procesoestocastico lineal, y recordemos que para ese tipo de procesosabemos que condiciones pedir para que sean estacionarios desegundo orden. En otras palabras, si tenemos un proceso AR(p)causal entonces este sera estacionario.

DefinicionUn proceso AR(p), {Xt} definido por �p (B) = 1��

1

B�. . .��pBp

se llama causal o funcion causal de {✏t} si se puede expresar como

un MA(1), es decir Xt =1X

j=0

j✏t�j =1X

j=0

jBj✏t = (B) ✏t para

toda t 2 T , donde1X

j=0

| j | < 1 y 0

= 1.


El siguiete teorema nos da condiciones necesarias para saber si unproceso AR(p) es causal o no.

TeoremaUn proceso AR(p), definido por �p (B)Xt = ✏, donde �p (B) =1��

1

B� . . .��pBp es causal si solo si las soluciones de la ecuacion

�p (B) = 1� �1

B � . . .� �pBp = 0,

son en modulo mayores que la unidad.


Para un AR(2) la region de causalidad es la que se muestra acontinuacion


Lema

Supongamos que {Xt}t es proceso causal, Xt =P1

j=0

j✏t�j , donde{✏t}t2T es ruido blanco. Entonces

E [Xt�k✏t ] =

(�2✏ si k = 0,

0 si k > 0.


Demostracion

Caso k = 0

E [Xt✏t ] = E

2

4

0

@1X

j=0

j✏t�j

1

A ✏t

3

5

=1X

j=0

jE [✏t✏t�j ]

= 0

E [✏t✏t ] = 1 · �2

✏ = �2

✏ .

Caso k > 0

E [Xt�k✏t ] = E

2

4

0

@1X

j=0

j✏t�k�j

1

A ✏t

3

5

=1X

j=0

jE [✏t✏t�k�j ] =1X

j=0

j · 0 = 0⌅


Veamos una forma de calcular analıticamente las funcion deautocovarianza y autocorrelacion de un AR(2) suponiedo que escausal y ademas si perdida de generalidad E (Xt) = 0. Primerotenemos que un AR(2) se escribe como

Xt =�1Xt�1

+ �2

Xt�2

+ ✏t

donde {✏t} es ruido blando con varianza �2✏ . Si multiplicamos estaultima ecuacion por Xt�k tenemos y tomamos esperanza de amboslados tenemos que

E [XtXt�k ] =�1E [Xt�1

Xt�k ] + �2

E [Xt�2

Xt�k ] + E [✏tXt�k ] .

Que es equivalente a

�k =�1

�k�1

+ �2

�k�2

+ E [✏tXt�k ] .


Usando el Lema anterior al evaluar para distintas k 0s tenemos que

�k =�1

�k�1

+ �2

�k�2

, k � 1

�0

=�1

�1

+ �2

�2

+ �2✏ .

Dividiendo estas expresiones por �0

tenemos que

⇢k =�1

⇢k�1

+ �2

⇢k�2

, k � 1 (1)

1 =�1

⇢1

+ �2

⇢2

+�2✏�0

. (2)

Evaluando (1) en k = 1 y 2 tenemos que

k = 1, ⇢1

=�1

+ �2

⇢1

,) ⇢1

=�1

1� �2

k = 2, ⇢2

=�1

⇢1

+ �2

,) ⇢2

=�21

1� �2

+ �2

.


Ahora si evaluamos (1) con k = 3 y usando los resultadosanteriores obtenemos ⇢

3

, y de manera recursiva usando la ecuacion(1) podemos obtener ⇢u para u � 4.

En general para un proceso AR(p) con p � 3 decrece a cero enformas sinusoidales, pero no se anulan a partir de algun lag comosucede en los procesos MA(q).


Supongamos que {Xt}t es proceso AR(p) causal,

Xt � �1

Xt�1

� . . .� �pXt�p = ✏t ,

donde E [Xt ] = 0, 8t y {✏t}t2T es ruido blanco. Si a la ecuacionanterior la multiplicamos por Xt�k con k � 0 y tomamosesperanza de ambos lados obtenemos

�k � �1

�k�1

� . . .� �p�k�p = E [Xt�k✏t ] .


De la ecuacion anterior si evaluamos para distintas k y usamos ellema anterior podemos obtener el siguiente sistema de ecuaciones

�0

� �1

�1

� �2

�2

. . .� �p�p = �2✏ , para k = 0�1

� �1

�0

� �2

�1

. . .� �p�p�1

= 0, para k = 1�2

� �1

�1

� �2

�0

. . .� �p�p�2

= 0, para k = 2...

...�p � �

1

�p�1

� �2

�p�2

. . .� �p�0 = 0, para k = p.


O visto matricialmente

�0

� �0p�p = �2✏ (3)

�p = �p�p, (4)

donde �p =

0

BBB@

�1

�2

...�p

1

CCCA�p =

0

BBB@

�0

�1

. . . �p�1

�1

�0

. . . �p�2

......

. . ....

�p�1

�p�2

. . . �0

1

CCCA

�p =

0

BBB@

�1

�2

...�p

1

CCCA. A (4) se le conoce como las ecuaciones de

Yule-Walker.


Si tenemos una realizacion {Xj}nj=1

de tamano n entoncespodemos calcular

�p =

0

BBB@

�1

�2

...�p

1

CCCA, �p =

0

BBB@

�0

�1

. . . �p�1

�1

�0

. . . �p�2

......

. . ....

�p�1

�p�2

. . . �0

1

CCCA,

y de esta forma tenemos una manera inicial de estimar �p y �2✏ enel caso de un AR(p) causal usando las ecuaciones de Yule-Walker.Si pedimos que b�

0

> 0 entonces b�p es invertible y entonces de (4)tenemos que

b�p = b�

�1

p b�p.


Por ultimo, sustituyendo b�p = b�

�1

p b�p en (3) tenemos

�2✏ = b�0

�⇣b�

�1

p b�p

⌘0b�p

= b�0

� b� 0p

⇣b�

�1

p

⌘0b�p

= b�0

� b� 0pb�

�1

p b�p.


Funcion de autocorrelacion parcial

La funcion de autocorrelacion parcial (PACF) es una herramientaque nos ayudara a identificar de forma sencilla el orden p de unproceso AR, puesto que en general no es facil detectar el orden p,usando solo la funcion de autocorrelacion (muestral).

Primero notemos que para un AR(1), donde el efecto de Xt�2

sobre Xt no es directo si no a traves de Xt�1

, en otras palabras, siconocemos Xt�1

, el valor que tome Xt�2

es irrelevante para Xt .

A continuacion vamos a definir el cociente de correlacion parcial deorden k, que denotaremos �k k , como una medida de relacionlineal entre observaciones separas k periodos, eliminando el efectode las variables intermedias.


En general se puede demostrar que para un proceso AR(p) causal, �k k = 0

para k � p + 1. Por lo tanto la PACF es un buen indidador para saber que

orden de retraso debe tener el proceso si suponemos que es una autorregresivo.

La anterior forma de calcular la PACF no es muy sencilla, afortunadamente hay

una forma equivalente de calcular la PACF de la siguiente forma: �1 1

= ⇢1

, y

para k � 2 tenemos que

�2 2

=

��1 ⇢

1

⇢1

⇢2

��

1 ⇢1

⇢1

1

��

, �2 2

=

��

1 ⇢1

⇢1

⇢1

1 ⇢2

⇢2

⇢1

⇢3

��

1 ⇢1

⇢2

⇢1

1 ⇢1

⇢2

⇢1

1

��

, . . . ,�k k =

��

1 ⇢1

. . . ⇢k�2

⇢1

⇢1

1 . . . ⇢k�3

⇢2

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

⇢k�2

⇢k�3

. . . 1 ⇢k�1

⇢k�1

⇢k�2

. . . ⇢1

⇢k

��

1 ⇢1

. . . ⇢k�2

⇢k�1

⇢1

1 . . . ⇢k�3

⇢k�2

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

⇢k�2

⇢k�3

. . . 1 ⇢1

⇢k�1

⇢k�2

. . . ⇢1

1

��

.


Ejemplo 1

Para un AR(1) con |�| < 1 tenemos que ⇢h = �h parah 2 {0, 1, 2, 3, . . .}. Ahora para este proceso obtengamos su funcion deautocorrelacion parcial.

Por definicion tenemos que �1 1

= ⇢1

= �.

�2 2

=

��1 ⇢

1

⇢1

⇢2

��

1 ⇢1

⇢1

1

��=

��1 �� 2

��1 �� 1

��=�2 � �2

1� �2= 0.

�3 3

=

��

1 ⇢1

⇢1

⇢1

1 ⇢2

⇢2

⇢1

⇢3

��

1 ⇢1

⇢2

⇢1

1 ⇢1

⇢2

⇢1

1

��

=

��

1 � �� 1 �2

�2 � �3

��

1 � �2

� 1 ��2 � 1

��

= 0.

Es facil notar que para un AR(1) con |�| < 1, �k k = 0 para k � 2.Miguel Chong Series de tiempo

Ejemplo 2

Para un AR(2) causal habiamos visto que: ⇢1

=

�1

1��2

, ⇢2

=

�2

1

1��2

+ �2

y

usando la formula recursiva ⇢3

= �1

⇣�2

1

+�2

(2��2

)

1��2

⌘

Por definicion tenemos que �1 1

= ⇢1

=

�1

1��2

.

�2 2

=

��1 ⇢

1

⇢1

⇢2

��

1 ⇢1

⇢1

1

��

=

�2

1

1��2

+ �2

�⇣

�1

1��2

⌘2

1�⇣

�1

1��2

⌘2

=

�2

1

(1� �2

) + �2

(1� �2

)

2 � �2

1

(1� �2

)

2 � �2

1

.

�3 3

=

��

1 ⇢1

⇢1

⇢1

1 ⇢2

⇢2

⇢1

⇢3

��

1 ⇢1

⇢2

⇢1

1 ⇢1

⇢2

⇢1

1

��

= 0, (pruebalo)

Se puede probar que para un AR(2) causal, �k k = 0 para k � 3.


En general se puede demostrar que para un proceso AR(p) causal,�k k = 0 para k � p + 1. Por lo tanto la PACF es un buen

indidador para saber que orden de retraso debe tener el proceso si

suponemos que es una autorregresivo.


PACF muestral

Supongamos que tenemos un proceso estacionario {Xt}t2T , conPACF {�k k : k = 1, 2, 3, . . .}. Por otro lado, supongamos que laserie observada {X

1

,X2

, . . . ,Xn} proviene de dicho proceso. Elestimador �k k de �k k , lo obtendremos de la siguiente manera:

�1 1

= ⇢1

, y �k k =

��

1 ⇢1

. . . ⇢k�2

⇢1

⇢1

1 . . . ⇢k�3

⇢2

......

. . ....

...⇢k�2

⇢k�3

. . . 1 ⇢k�1

⇢k�1

⇢k�2

. . . ⇢1

⇢k

��

1 ⇢1

. . . ⇢k�2

⇢k�1

⇢1

1 . . . ⇢k�3

⇢k�2

......

. . ....

...⇢k�2

⇢k�3

. . . 1 ⇢1

⇢k�1

⇢k�2

. . . ⇢1

1

��

, para k � 2.


TeoremaSea {Xt}t2T un proceso AR(p) estacionario con {✏t}t2T una suce-sion de v.a.i.i.d. con E (✏t) = 0 y Var (✏t) = �2✏ constante. Parak > p,

pn�k k

d! N (0, 1) .


Procesos ARMA

Una vez definidos los procesos AR y MA y que conocemos algunas de sus

caracterısticas ahora vamos a combinarlos para obtener una

generalizacion de los procesos anteriores, a estos procesos se les conoce

como modelos autorregresivos de promedios moviles. La idea de hacer

esta combinacion es que en la practica tendremos series de tiempo que

tienen caracterısticas tanto de AR como de MA.

Diremos que {Xt}t2T es un proceso autorregresivo de medias moviles deorden (p, q), y lo denotamosARMA(p, q) donde p, q � 0 son enteros y�1

, . . . ,�p, ✓1, . . . , ✓q. son reales tales que

Xt = �1

Xt�1

+ . . .+ �pXt�p +✏t + ✓1

✏t�1

+ . . .+ ✓q✏t�q,

o equivalentemente

Xt � �1

Xt�1

� . . .� �pXt�p = ✏t + ✓1

✏t�1

+ . . .+ ✓q✏t�q

�p(B)Xt = ✓q(B)✏t .

donde {✏t}t es ruido blanco y los polinomios de retraso �p(·) y ✓q(·) no

tienen ceros en comun.


Ademas para que el proceso ARMA (p, q), �p(B)Xt = ✓q(B)✏t , seacausal e invertible necesitamos que las raıces de los polinomios�p(z) y ✓q(B) sean en modulo mayores a la unidad.

Ejemplo

La region donde un ARMA (1, 1), Xt � �Xt�1

= ✏t + ✓✏t�1

, esinvertible y causal es el interior del cuadrado (sin la orilla) que sepresenta a continuacion

−1.0 −0.5 0.0 0.5 1.0

−1.0

−0.5

0.0

0.5

1.0

theta

phi

Continuando con un proceso ARMA (1, 1), veamos que esteproceso es causal.


estad´ıstica miguel angel chong r.´ … · diremos que un proceso {xt} t2t es un autorregresivo...

Documents