boots_tutorial_2013.pdf

7/23/2019 BOOTS_Tutorial_2013.pdf

http://slidepdf.com/reader/full/bootstutorial2013pdf 1/46

Fundamentos del Método Bootstrap

Ing° Jorge Paolini Ruiz

Grupo de Investigación en Simulación, Optimización y MuestreoUNEG

Universidad Nacional Experimental de GuayanaCoordinación General de Investigación y Postgrado

Ciudad Guayana, febrero 2013 Venezuela



AGENDA TUTORIAL BOOTSTRAP Clasificación de Problemas de Fisher.

Muestreo. Estadísticos. Teorema Central del Límite.

Distribuciones Muestrales y el Bootstrap. Muestras B . Algoritmo Bootstrap.

Determinación de la Distribución Gs.

Lema de Glivenko-Cantelli.

Métodos de Estimación B y Bt.

Programación Orientada a Objetos y Bootstrap.

Conclusiones.

BOOTSTRAP



FENÓMENOS ALEATORIOS

¿Qué es azar?Fenómeno Determinístico

El resultado está definido por las condiciones en las cualesse realiza el experimento.

Fenómeno AleatorioLas condiciones experimentales sólo determinan el

comportamiento de la distribución de probabilidades.

“... La idea de azar es la de suceso imprevisible”.

Barto loméJódar.



PROBLEMAS EN ESTADÍSTICA

Definición de Estadística

La principal tarea de la Estadística es la

reducción de datos sobre una población

infinita hipotética, en la que los datos

actuales se consideran una muestra.Ronald Fisher.



PROBLEMAS EN ESTADÍSTICA

Clasificación de Fisher

Fisher divide los problemas de estadística en tres

tipos:

1. Problemas de Especificación.

2. Problemas de Estimación.3. Problemas de Distribución.



El Problema de Especificación

Supóngase que tenemos una muestra aleatoria detamaño n. Existen un conjunto de pruebas (test o

dócimas) para determinar si el conjunto X1, X2, ..., Xn

puede ser ajustada mediante distribución particularF(x,q).

Prueba de Kolmogorov-Smirnov Pruebas de Promedios y Varianzas.

Pruebas de Homogeneidad v.g. Bartlett



El Problema de Estimación

Tenemos una muestra aleatoria de tamaño n. Existenuna gran cantidad de reglas para determinarestimaciones a partir de la información contenida enla muestra X

1

, X2

, ..., Xn .

Estimación Puntual.

Métodos Analíticos de Estimación.

Estimación por Intervalos. Estimaciones Bootstrap B, BC, Bz y Bt

Violaciones al supuesto de Normalidad en la Estimación



El Problema de Distribución

Se quiere determinar la Distribución Muestral de unEstadístico q( X1, X2, ..., Xn ) v.g. la Distribución del

Promedio o del Coeficiente de Variación k.¿ Cómo se distribuye la cantidad q(X) cuando la

variable X no es Normal ?.

Distribuciones Muestrales Distribuciones derivadas de la Normal

Distribuciones Bootstrap.



MUESTREO

Concepto

El proceso de obtener datos o resultados de varias

realizaciones de un experimento aleatorio es

llamado muestreo.

Muestreo Aleatorio:

Una muestra aleatoria proveniente de una variable

aleatoria X es un conjunto de variables aleatoriasX1, X2,..., Xn independientes e idénticamente

distribuidas, cada una con la distribución de X.



ESTADÍSTICO

Un estadístico q es una función de las

observaciones en un muestra, que no depende de

alguna característica poblacional desconocida.

Si x1, x2, ..., xn es una realización de una muestra X1,

X2, ..., Xn el estadístico q evaluado en X produce unatransformación del espacio de puntos X al espacio de

los valores de q



ESTADÍSTICO

Está transformación induce una función de

probabilidad en el espacio de q y por ello define

una variable aleatoria.

El estadístico q visto como una función de las

observaciones muestrales (que son variables

aleatorias) es también una variable aleatoria.

q( X1, X2, ..., Xn ) = q( X )



DISTRIBUCIÓN MUESTRAL

Si se realiza un número considerable de muestras X1,

X2, ..., Xn y se evalúa para cada una de ellas el

estadístico q, estos valores de q(X) variarán de muestra

en muestra.

La distribución de los valores de q(X) se denomina

DISTRIBUCIÓN MUESTRAL de q.

Está distribución es el modelo del patrón de variaciónde los valores q(X).



DISTRIBUCIÓN MUESTRAL

Caso Normal

Si es es la media de una muestra aleatoria

X1, X2, ..., Xn tomada de una población Normal conmedia y varianza 2, la distribución del

estadístico q (X) = (1/n) xi es Normal con media

y varianza 2

/n

X



El Teorema Central del Límite es usado para

una variedad de resultados acerca delcomportamiento de la suma de variablesaleatorias o elementos aleatorios que tomanvalores en diferentes espacios.

¿Qué es el Teorema Central delLímite ?



Si las variables X1, X2, ..., Xn constituyen unamuestra aleatoria de tamaño n de unadistribución con media y varianza finita 2

(

0 <

2

< ) entonces para cualquier número fijo x

Teorema Central del Límite

Lindeberg y Lévy

)()(

x x xn

P Lim n

n

)( xdonde es la distribución Normal Estándar.



La importancia del TCL es doble:

1. Nos explica porque algunas mediciones tienden aposeer -aproximadamente- una distribuciónNormal.

2. Muchos estadísticos que se usan para hacerinferencias acerca de parámetros de unapoblación, podemos esperar que se distribuyande acuerdo a una Normal.

Importancia del Teorema Central delLímite



Si se selecciona una muestra aleatoria grande decualquier distribución con media y varianza finita 2,independientemente de si la distribución es discreta o

continua, entonces la distribución límite de la variablealeatoria

Interpretación del TeoremaCentral del Límite

)( n xn

está distribuida aproximadamente según una NormalEstándar.



El Teorema Central del Límite permite tomarmuestras a partir de poblaciones con

distribuciones no normales y garantizar quese obtengan aproximadamente los mismosresultados que si la población tuviera unadistribución Normal, siempre que se tome una

muestra considerablemente grande.

¿Qué resultados se obtienenal utilizar el TCL ?



Caracterización de Poblaciones

Población k (C.V.) P(Normal) P(No Normal)Mecate de Asbesto 0.3819 0.3385 0.6615

Consumo Alquitrán 0.4797 0.1978 0.8022

Celdas en Operación 0.0740 0.0063 0.9337

Prueba Kolmogorov- Smirnov (1-a)=0,95.Número de muestreos 100.000.



El Supuesto de Normalidad

“Utilizando la teoría normal en casos en losque no está justificada la normalidad, se

llega a resultados poco fiables ...”

Es razonable construir un “cuerpo demétodos estadísticos que presupongan

poco acerca de la distribución de lapoblación muestreada”.

Susan Milton.



BOOTSTRAP

El Bootstrap es un método simple y directo para

calcular sesgo, desviaciones y otras cantidades de

manera aproximada.

Fue introducido por Bradley Efron (1979) y tiene

como objetivo la sustitución de suposiciones

teóricas y análisis estadístico por cálculos sobredatos provenientes de experimentos estadísticos.



BOOTSTRAP

Planteamiento del Problema:

Estamos interesados en una medida q = q(F),

donde la función F(.) es desconocida.

Tenemos una muestra X1, X2, ..., Xn de la función

de distribución F(.).

¿Cómo podemos estimar q(F)?



BOOTSTRAP

¿ Por qué el Bootstrap ?

El Bootstrap se considera como una alternativa

efectiva cuando se quiere determinar la distribución

muestral de un estadístico que proviene de una

muestra cuya distribución de probabilidades es

desconocida.



BOOTSTRAP

¿ Cómo funciona el Método ?

El Bootstrap reemplaza las técnicas analíticas

convencionales por análisis empírico basado encálculos intensivos sobre muestras generadas por

simulación (muestras B).

Para generar las muestras B se utiliza el método

de Monte Carlo.



BOOTSTRAP

Método de Monte Carlo

Un computador puede ser programado para generar

muestras haciendo extracciones independientes de unamuestra X proveniente de un experimento aleatorio.

Cada “muestra” producida será una muestra extraída de

la función F n , donde X ~ F . Fn es el estimador máximoverosímil no paramétrico de F.



BOOTSTRAP

Muestra B

Una muestra Bootstrap o muestra B

y* = (x1*, x2*, ..., xn*) es una muestra extraída con

reemplazo de

es la distribución empírica que asigna 1/n acada valor observado Xi de X.

X = (X1, X2, ..., Xn)

F ˆ

.ˆ F



1. Determinar . Asignando probabilidad 1/n a

cada Xi de X = { X1, X2, ..., Xn }.

2. Generar n nuevos datos y* con reemplazo de . A la

muestra y* = { x1*, x2*, ..., xn* } se le denomina muestra

B.

3. Calcular el estadístico q* en la muestra Bootstrap.

4. Repetir los pasos 2 y 3 B veces.

BOOTSTRAP

Algoritmo

F ˆ

F ˆ



BOOTSTRAP

Función de Distribución G(s)

La serie de valores generadadeterminan la distribución Bootstrap

El objeto del Método Bootstrap es hacer

inferencias con la Distribucion

).(ˆ sG

***

2

*

1 ...,,...,, Bb q q q q

).(ˆ sG



BOOTSTRAP

Función de Distribución G(s)

La función de Distribución Muestral para

(Distribución Bootstrap)

*

q

}{)()(ˆ s P d g sGb

s

q q q

}{ * s P b

q se obtiene empíricamente así:

B sb

/ }{ *

q

donde



Si el conjunto q1, q2, ..., qB esta constituido por Brealizaciones del estadístico q y G

B

(q) es laDistribución Muestral de q, GB(q) convergerá aG(q) uniformemente para todos los valores de q .Sea DB como se define a continuación

BOOTSTRAP

)()(sup q q q GG D B B

entonces 0

B B

D Lim

Lema de Glivenko-Cantelli



Distribución Bootstrap para el Promedio.Consumo Mensual Alquitrán (B=2500).

x g

G

18.09 0 0.0000

18.72 4 0.0016

19.35 7 0.0044

19.97 7 0.0072

20.60 35 0.0212

21.23 67 0.0480

21.86 118 0.0952

22.48 168 0.1624

23.11 269 0.2700

23.74 315 0.3960

24.37 328 0.5272

24.99 340 0.6632

25.62 282 0.7760

26.25 204 0.8576

26.88 143 0.914827.50 88 0.9500

28.13 56 0.9724

28.76 33 0.9856

29.39 23 0.9948

30.01 13 1.0000

30.64 0 1.0000

0

50

100

150

200

250

300

350

1 8 .

0 9

1 9 .

3 5

2 0 .

6 0

2 1 .

8 6

2 3 .

1 1

2 4 .

3 7

2 5 .

6 2

2 6 .

8 8

2 8 .

1 3

2 9 .

3 9

3 0 .

6 4

Consumo Promedio de Alquitran (TM)

0

500

1000

1500

2000

2500



INTERVALO CONFIDENCIAL

Definición

Es un mecanismo para determinar la estimación de

un parámetro utilizando la información contenida enla muestra.

Se obtienen dos números [a,b] que forman los

extremos del intervalo con una probabilidad (1-a) de

que el parámetro objetivo pertenezca al Intervalo.



INTERVALO CONFIDENCIAL

Bootstrap

Se pueden obtener al menos tres maneras de

obtener Intervalos Confidenciales (I.C.) a partir

del Bootstrap.

1. Intervalo Confidencia B

2. I.C. Bootstrap Corregido Bc.

3. I.C. Combinados Bz y Bt.



BOOTSTRAP

Intervalo Confidencial B

El intervalo aproximado del (1-a) 100% se

determina tomando

)]2

1(ˆ),2

(ˆ[ 11 a a q GG

Método de Percentil

Donde es la función de Distribución Muestral

para el estadístico q G



Intervalos Confidencial B.

B a b B L=b-a

250 20.72 28.39 24.60 7.67

500 20.91 28.47 24.60 7.56

1000 20.97 28.56 24.59 7.59

2000 21.11 28.54 24.58 7.43

5000 21.13 28.53 24.59 7.40

Consumo Promedio Alquitrán.(1-

)=0.95.



BOOTSTRAP

Intervalo Confidencial Bz

Un intervalo Bootstrap Combinado del (1-a) 100%se determina sustituyendo en la estructura de unintervalo Normal o estándar las estimaciones

generadas por el Bootstrap.

Un intervalo Bz es de la forma

][ *

.2/

*

q q a

z B donde

B

bb B

B 1

** 1q q 2

1

1

2***

])(1

1

B

b Bb

Bq q y



Intervalos Confidencial Bz.Consumo Promedio Alquitrán.

(1- ) = 0,95.

B a b B L=b-a

250 20.64 28.57 24.60 7.93

500 20.87 28.33 24.60 7.46

1000 20.88 28.30 24.59 7.42

1500 20.91 28.27 24.59 7.36

2000 20.93 28.24 24.58 7.312500 20.94 28.24 24.59 7.30



BOOTSTRAP

Intervalo Confidencial Bt

La estimación Combinada Bootstrap del (1-a) 100%para muestras pequeñas se determinasustituyendo en la estructura de un intervalo

t-Student los valores generados por el Bootstrap.Un intervalo Bt es de la forma:

][ *

.2/

* q q a t

B

21

1 1

2*****

])(1

1[

1

B

b

B

b Bbb B

B y

Bq q q q



Intervalos Combinado Bt.

B a b B L=b-a

100 0.99 2.08 1.54 1.09

250 0.98 2.14 1.56 1.16

500 0.99 2.09 1.54 1.10

1000 0.99 2.09 1.54 1.10

2500 0.99 2.08 1.54 1.09

Consumo Promedio Mecate Asbesto.(1-a) = 0,95.



Error Estándar B.

B B

50 1.53 0.2251

100 1.55 0.2306

500 1.55 0.2185

1000 1.54 0.2230

2500 1.54 0.2199

Consumo Promedio Mecate de Asbesto

ú



Número de Iteraciones paradeterminar Intervalos B.

n B=200*Log( nn )

5 700

6 900

7 1200

8 1400

9 1700

10 2000

11 2300

12 2600

13 2900

14 3200

15 3500

B= 200*Log( nn )

100

1000

10000

n 5 6 7 8 9 10 11 12 13 14

Tamaño de la Muestra

T a m a ñ o d e l M u e s t r e

o B



PROGRAMACIÓN ORIENTADA A OBJETOS

Definición

Es un modelo conceptual utilizado en el desarrollode programas.

La programación orientada a objetos permite

diseñar modelos de sistemas utilizando un diseño yuna metodología consistentes.



BOOTSTRAPProgramación Orientada a Objetos

La Programación Orientada a Objetos se considera

como la alternativa metodológica para la

implantación computacional del Bootstrap.

Un Objeto natural que resulta del Método Bootstrap

es la función de Distribución Muestral ).(ˆ sG

Ó



BOOTSTRAP y PROGRAMACIÓN

Método Procedimiento

GnB.Intervalo_Confidencial (muestra,a,b,a);

Método Función

a := GnB.Intervalo_Confidencial (muestra1,a/2)

b := GnB.Intervalo_Confidencial(muestra1,1-a/2)



CONCLUSIONES

Resulta ventajoso el uso del Método Bootstrap

cuando:

1. Se desconoce la distribución de los datos.

2. La distribución es Asimétrica.

3. El supuesto de Normalidad no se satisface.



CONCLUSIONES

El Método Bootstrap se considera un paradigma

en la Computación Estadística.

El Bootstrap permite mostrar paso a paso la

construcción de una Distribución Muestral y el

efecto de numero de muestreos B sobre las

estimaciones.

boots_tutorial_2013.pdf

Documents