estimaciÓn en Áreas pequeÑas en el instituto galego de estatÍstica esther lópez vizcaíno...
TRANSCRIPT
ESTIMACIÓN EN ÁREAS PEQUEÑAS EN EL INSTITUTO
GALEGO DE ESTATÍSTICA
Esther López Vizcaíno
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
• Introducción
• Ejemplo para la discusión
• Ejemplo de aplicación de modelos con datos agregados
• Ejemplo de aplicación de modelos con datos a nivel de individuo
• Conclusiones
• Futuro
• Bibliografía
Contenido
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Necesidades de los usuarios
La información derivada de operaciones censales es costosa y se limita a una serie de variables cuya referencia temporal no tiene la actualización necesaria
Los registros administrativos, con un enorme potencial de información, no se explotan lo suficiente
Las encuestas por muestreo, dado su elevado coste, raramente aportan datos representativos para territorios infra-municipales
Qué?falla
Demanda de datos estadísticos en áreas pequeñas
No está totalmente satisfecha
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Demanda creciente
Administraciones locales
Investigadores
Usuarios privados
Por sus propias competencias, requieren información desagregada para el diseño y evaluación de sus políticas en sus respectivos ámbitos geográficos
Políticas de marketing a poblaciones o segmentos muy concretos
Las decisiones de inversión en una región se basan en el conocimiento de sus características: población activa, costes de producción, …
Necesitan datos suficientemente desagregados con el objeto de construír, contrastar y validar modelos
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Tendencia hacia una mayor demanda de datos desagregados
Productores públicos
Los productores públicos de estadísticas deben enfrentarse a este reto en cumplimiento de su misión
MISIÓNProporcionar información
relevante, fiable y de forma neutral
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Problema
Nº de observaciones escaso en el dominio de interés
Estimaciones directas con poca precisión
Aumento de costes Mayor carga de respuesta a los informantes
> Errores ajenos al muestreo
Aumento de muestra
Empleo de técnicas indirectas de estimación
Información auxiliarDe la encuestaDe muestras complementariasDe fuentes administrativas
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Antecedentes
Informe elaborado por un grupo de expertos al Comité Interterritorial de Estadísticas (CITE) sobre La organización de la estadística pública en España. Situación actual y propuestas de mejora
“... las ventajas de las encuestas por muestreo como técnica de recogida de información disminuyen a medida que se reduce el tamaño de la población, de modo que en poblaciones pequeñas es preferible acudir a otras fuentes de información, como los registros administrativos, o profundizar en las técnicas de estimación en áreas pequeñas.”
Proyecto EURAREAProyecto financiado parcialmente por la Unión Europea dentro del 5º programa de I+D
Desarrollado por un Consorcio formado por las oficinas de estadística y las universidades de 7 países europeos: U.K., Finlandia, España, Noruega, Suecia, Polonia, Italia, U. Of Southampton, U. Of Jyvaskyla, U. Miguel Hernández, Poznan U. Of Economics, U. Degli Studi di Roma.
Objetivo: evaluar la eficiencia de los estimadores estándar para áreas pequeñas
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Antecedentes
Grupo de trabajo áreas pequeñas INE-CCAA Objetivo: establecer procedimientos para elaborar estimaciones en áreas pequeñas de las variables más significativas de la Encuesta de Población Activa (EPA), teniendo en cuenta la experiencia del INE en el proyecto EURAREA de la Unión Europea
Instituto Vasco de Estadística (EUSTAT) Estimación de áreas pequeñas en la encuesta industrial de la Comunidad Autónoma de Euskadi
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Antecedentes
Programa estatístico anual 2007 Galicia
Actividad estadística 704.- Investigación y desarrollo de métodos de estimación en áreas pequeñas
Objetivo.- Mejorar las predicciones o estimaciones de variables o parámetros de interés en las encuestas realizadas por el IGE considerando un nivel de desagregación mayor de aquel para el que se diseñó la encuesta
Convenio de colaboración IGE-USC
Recopilar y divulgar los métodos de ‘inferencia estadística en áreas pequenas’ ya existentesRealización de una jornada de carácter internacional que reuna a expertos en el tema
Otros objetivos
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Encuesta de condiciones de vida (IGE)
Trabajos a realizar
Variables objetivo: nº de parados, tasa de paro
Desagregación geográfica: 53 comarcas (NUTS IV), 14 agrupaciones de comarcas
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Encuesta de condiciones de vida (IGE)
Trabajos a realizar
Encuesta anual dirigida a hogares
Objetivo: obtener información de las características socioeconómicas de los hogares gallegos
Muestreo: bietápico con estratificación previa de las unidades de primera etapa
Muestras independientes en cada área (agrupaciones de comarcas)
Unidades de primera etapa: secciones censales
Unidades de segunda etapa: vivienda familiar principal
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Trabajos a realizar
Encuesta de condiciones de vida (IGE)
En la primera etapa las secciones se seleccionan con probabilidad proporcional a su tamaño
En la segunda etapa las viviendas se seleccionan con muestreo sistemático con arranque aleatorio. Se entrevistan a todos los individuos de las viviendas seleccionadas
Estimadores: estimadores de expansión corregidos con información proporcionada por fuentes externas (calibrado)
Se obtiene información a nivel de Galicia, provincias y de agrupaciones de comarcas
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
• Estimación del nº de parados y la tasa de paro en 14 agrupaciones comarcales:
– Estimador directo– Estimador sintético básico– Estimador compuesto
Ejemplo
• Cálculo de los coeficientes de variación de los estimadores empleando Jackknife
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Estimadores• Estimador directo
– Total
– Media
• Estimador postestratificado
ˆ ˆpost dird dg dg
g
Y y N
ˆd
dird j j
j s
Y w y
ˆ d
d
j jj sdir
dj
j s
w y
Yw
g: grupo de edadNdg:población en el área d y grupo de edad g
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Estimadores• Estimador sintético básico
– Se construyeron grupos de comarcas (grup) que presentan un comportamiento homogéneo en cuanto a las variables a estudiar (Censo 2001)
– Se construyeron grupos en función del sexo y si la variable es parado o ocupado
,sin,
,
ˆ ˆj j
j Grup gt dird grup g dg dg
g g jj Grup g
w y
Y y N Nw
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Ocupados Parados
Estimador sintético básico. Grupos
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Mujeres ocupadas Mujeres paradas
Estimador sintético básico. Grupos
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
sinˆ ˆ ˆ(1 )comp post td d d dY Y y
ˆ1d d dsiN N ˆ
ˆdd d d
d
NsiN N
N
2, 1, 1.5, 23
Estimadores• Estimador compuesto
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Cálculo de los errores de muestreo
Método Jackknife
Estimador de la varianza
ˆ sJY
2
1 1
1ˆ ˆ ˆ( ) ( )hsL
shd J Jh
h sh
sV Y Y Y
s
L: nº de estratosSh: total de secciones muestrales en el estrato h : estimador obtenido despues de suprimir de la muestra la sección s en el estrato hYJh : media de los estimadores correspondientes al estrato h
ˆ sJY
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Cálculo de los errores de muestreo
Método Jackknife
Estimador del sesgo
ˆ sJY
1
ˆ ˆ ˆ( 1) ( )L
d h Jh dh
B s Y Y
L: nº de estratosSh: total de secciones muestrales en el estrato h : estimador obtenido despues de suprimir de la muestra la sección s en el estrato hYJh : media de los estimadores correspondientes al estrato h
ˆ sJY
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Cálculo de los errores de muestreo
Método Jackknife
Estimador del coeficiente de variación:
2ˆ ˆ ˆ( )ˆ (%)ˆ ˆ
d d dd
d d
ECM B V YCV
Y Y
Deberían ser inferiores al 20%-25% para indicar que existe fiabilidad
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Tasa de paro
Estimación directa
2002 2003 2004 2005A Coruña Oriental 4,81 6,52 6,92 5,90A Coruña Occidental 6,74 8,8 9,96 9,27Santiago comarca 7,21 8,25 7,98 7,80A Coruña comarca 13,68 12,13 10,05 9,57Ferrol comarca 11,96 10,47 13,22 13,28Lugo Sur 11,03 6,87 9,88 7,31Lugo comarca 8,44 4,18 8,52 3,78Lugo Norte 4,83 8,44 6,03 5,63Resto de Ourense 10,04 8,00 11,67 6,63Ourense comarca 10,84 11,55 12,27 4,49Pontevedra Occidental 12,29 10,85 10,94 8,90Pontevedra Oriental 8,10 14,31 6,57 8,62Pontevedra comarca 9,48 7,66 8,12 9,45Vigo comarca 13,48 11,47 13,06 10,27
Resultados con mucha variabilidad
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Estimación sintética
Tasa de paro2002 2003 2004 2005
A Coruña Oriental 11,78 10,53 9,17 8,06A Coruña Occidental 10,08 9,60 10,46 8,19Santiago comarca 10,09 9,73 10,44 8,92A Coruña comarca 11,86 10,66 9,21 8,02Ferrol comarca 9,95 9,55 10,31 9,38Lugo Sur 9,71 8,80 8,96 9,24Lugo comarca 10,21 9,21 9,49 8,01Lugo Norte 10,05 9,09 9,32 7,62Resto de Ourense 9,75 8,84 8,99 8,93Ourense comarca 10,30 9,29 9,55 7,77Pontevedra Occidental 10,34 9,80 10,63 9,46Pontevedra Oriental 10,22 9,26 9,55 8,12Pontevedra comarca 13,34 11,15 11,99 8,37Vigo comarca 13,26 11,13 11,96 9,31
Los resultados se estabilizan
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Estimador compuesto (α=2)
Tasa de paro
Los resultados no son tan estables como en el sintético
2002 2003 2004 2005
A Coruña Oriental 7,27 7,88 6,93 6,71A Coruña Occidental 8,41 8,97 9,97 8,97Santiago comarca 8,39 9,05 8,00 8,28A Coruña comarca 13,60 11,71 10,07 9,11Ferrol comarca 11,24 9,94 13,24 11,97Lugo Sur 10,92 7,64 9,88 7,92Lugo comarca 9,93 6,11 8,54 5,46Lugo Norte 6,70 8,52 6,04 6,37Resto de Ourense 10,33 8,31 11,75 7,46Ourense comarca 11,11 11,03 12,40 5,77Pontevedra Occidental 12,24 10,57 10,98 9,19Pontevedra Oriental 11,07 12,34 6,59 8,44Pontevedra comarca 11,52 9,35 8,17 9,28Vigo comarca 13,80 11,62 13,10 10,03
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Situación. Año 2005
Número reducido de personas paradas en la muestra
area muestra Total parados Parados. Mujeres poblacion1 1130 29 17 135.4252 1875 77 46 240.3883 983 45 21 128.1334 1787 78 44 325.3765 974 46 26 142.6716 723 22 13 100.8477 680 10 4 98.2138 926 25 12 112.3279 1040 20 11 173.851
10 888 21 15 122.41511 1476 64 38 228.06812 833 32 17 114.75813 721 32 17 97.87614 2210 112 63 346.173
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Estimación directa
Tasa de paro. Coeficientes de variación 2005
Taxa de paro Varianza CV%A Coruña Oriental 5,90 4,07 34,20A Coruña Occidental 9,27 1,71 14,08Santiago comarca 7,80 1,78 17,09A Coruña comarca 9,57 0,78 9,22Ferrol comarca 13,28 8,68 22,19Lugo Sur 7,31 2,85 23,08Lugo comarca 3,78 3,46 49,16Lugo Norte 5,63 2,00 25,11Resto de Ourense 6,63 3,24 27,15Ourense comarca 4,49 2,39 34,48Pontevedra Occidental 8,90 1,32 12,90Pontevedra Oriental 8,62 3,33 21,15Pontevedra comarca 9,45 6,26 26,49Vigo comarca 10,27 1,11 10,25
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Estimación sintética
Tasa de paro. Coeficientes de variación 2005
Taxa de paro Varianza SESGO CV(%)A Coruña Oriental 8,06 0,12 0,07 4,43%A Coruña Occidental 8,19 0,12 0,09 4,41%Santiago comarca 8,92 0,13 0,06 4,11%A Coruña comarca 8,02 0,18 0,04 5,37%Ferrol comarca 9,38 0,35 -0,01 6,34%Lugo Sur 9,24 0,10 -0,01 3,43%Lugo comarca 8,01 0,05 0,02 2,89%Lugo Norte 7,62 0,05 0,01 2,81%Resto de Ourense 8,93 0,27 -0,07 5,87%Ourense comarca 7,77 0,06 0,02 3,15%Pontevedra Occidental 9,46 0,13 0,01 3,80%Pontevedra Oriental 8,12 0,05 0,02 2,84%Pontevedra comarca 8,37 0,16 -0,11 4,96%Vigo comarca 9,31 0,26 0,03 5,51%
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Taxa de paro Varianza SESGO CV(%)A Coruña Oriental 6,71 1,59 0,23 19,07%A Coruña Occidental 8,45 0,62 0,20 9,58%Santiago comarca 8,66 0,53 0,14 8,55%A Coruña comarca 9,42 0,32 0,06 6,05%Ferrol comarca 11,08 2,21 -0,07 13,43%Lugo Sur 7,24 0,76 -0,12 12,14%Lugo comarca 5,83 0,89 -0,05 16,18%Lugo Norte 6,55 0,68 0,02 12,60%Resto de Ourense 7,34 1,13 -0,16 14,64%Ourense comarca 7,03 0,70 0,07 11,91%Pontevedra Occidental 9,33 0,44 0,02 7,11%Pontevedra Oriental 8,05 0,96 0,09 12,19%Pontevedra comarca 8,68 1,85 -0,37 16,23%Vigo comarca 9,91 0,44 0,04 6,69%
Estimador compuesto (α=2)
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Estimación directa
Parados. Coeficientes de variación 2005
Parados Varianza CV%A Coruña Oriental 4419,9 2533810,1 36,5%A Coruña Occidental 10735,9 2427897,9 15,0%Santiago comarca 5725,4 1002827,8 17,8%A Coruña comarca 18044,7 2793679,8 9,3%Ferrol comarca 8217,6 3662157,6 23,3%Lugo Sur 3067,3 550879,4 24,5%Lugo comarca 1781,9 804166,5 50,5%Lugo Norte 3315,2 647868,9 24,4%Resto de Ourense 4392,6 1474903,6 27,8%Ourense comarca 2771,7 953861,1 35,4%Pontevedra Occidental 10709,2 1893853,7 12,9%Pontevedra Oriental 4776,9 868684,5 19,6%Pontevedra comarca 5093,9 2102421,9 29,2%Vigo comarca 19274,1 4410552,3 10,9%
Los mayor parte de los estimadores tienen muy poca precisión
Parados Varianza CV%A Coruña Oriental 4419,9 2533810,1 36,5%A Coruña Occidental 10735,9 2427897,9 15,0%Santiago comarca 5725,4 1002827,8 17,8%A Coruña comarca 18044,7 2793679,8 9,3%Ferrol comarca 8217,6 3662157,6 23,3%Lugo Sur 3067,3 550879,4 24,5%Lugo comarca 1781,9 804166,5 50,5%Lugo Norte 3315,2 647868,9 24,4%Resto de Ourense 4392,6 1474903,6 27,8%Ourense comarca 2771,7 953861,1 35,4%Pontevedra Occidental 10709,2 1893853,7 12,9%Pontevedra Oriental 4776,9 868684,5 19,6%Pontevedra comarca 5093,9 2102421,9 29,2%Vigo comarca 19274,1 4410552,3 10,9%
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Estimación sintética
Parados. Coeficientes de variación 2005
Parados Varianza SESGO CV(%)A Coruña Oriental 5618,4 68993,0 45,9 4,75%A Coruña Occidental 10553,1 208437,2 122,1 4,48%Santiago comarca 6850,9 37724,0 36,4 2,88%A Coruña comarca 14359,6 618737,3 87,5 5,51%Ferrol comarca 6197,1 113903,9 -17,0 5,45%Lugo Sur 3595,6 5605,7 -13,9 2,12%Lugo comarca 4169,1 14018,5 -9,5 2,85%Lugo Norte 4290,8 12442,2 -9,4 2,61%Resto de Ourense 6208,4 46030,0 -28,0 3,49%Ourense comarca 5172,4 28256,6 11,2 3,26%Pontevedra Occidental 12066,6 218985,5 11,5 3,88%Pontevedra Oriental 4787,2 14233,7 11,9 2,50%Pontevedra comarca 4621,8 44954,6 -53,9 4,73%Vigo comarca 18622,3 1197653,3 45,9 5,88%
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Parados Varianza Sesgo CV%A Coruña Oriental 4797,3 913733,6 173,4 20,25%A Coruña Occidental 10240,5 953586,7 261,4 9,87%Santiago comarca 6509,4 312652,0 111,7 8,76%A Coruña comarca 17641,3 1141851,5 132,2 6,10%Ferrol comarca 7698,9 1153128,7 -49,2 13,96%Lugo Sur 3152,6 157812,6 -60,8 12,75%Lugo comarca 2950,1 256441,1 -41,4 17,22%Lugo Norte 3749,3 202450,9 -30,1 12,03%Resto de Ourense 5012,1 493780,2 -91,4 14,14%Ourense comarca 4557,6 313266,5 38,2 12,31%Pontevedra Occidental 11772,5 697045,5 21,1 7,09%Pontevedra Oriental 4539,6 255579,7 45,5 11,18%Pontevedra comarca 4882,0 659825,2 -205,1 17,16%Vigo comarca 19592,3 1919087,7 58,9 7,08%
Estimador compuesto (α=2)
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Estimación directa
Tasa de paro mujeres. Coeficientes de variación 2005
Taxa de paro Varianza CV%A Coruña Oriental 7,88 0,32 24,9%A Coruña Occidental 13,80 0,15 15,0%Santiago comarca 8,93 0,41 21,0%A Coruña comarca 12,35 0,05 14,7%Ferrol comarca 19,89 0,13 28,4%Lugo Sur 10,03 -0,56 33,4%Lugo comarca 2,05 -0,04 58,5%Lugo Norte 4,81 0,40 35,5%Resto de Ourense 9,65 -0,48 34,8%Ourense comarca 7,62 0,20 31,8%Pontevedra Occidental 13,55 0,16 15,5%Pontevedra Oriental 11,57 0,77 26,6%Pontevedra comarca 10,46 -0,01 30,9%Vigo comarca 13,09 0,09 12,7%
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Estimación sintética
Tasa de paro mujeres. Coeficientes de variación 2005
Taxa de paro Varianza SESGO CV(%)A Coruña Oriental 12,55 0,36 0,12 4,86%A Coruña Occidental 12,89 0,34 0,05 4,52%Santiago comarca 12,93 0,13 0,07 2,81%A Coruña comarca 12,88 2,03 0,04 11,07%Ferrol comarca 12,49 0,69 0,01 6,66%Lugo Sur 7,86 0,17 -0,07 5,36%Lugo comarca 8,07 0,03 0,02 2,29%Lugo Norte 6,02 0,25 0,22 9,12%Resto de Ourense 7,38 0,36 -0,09 8,26%Ourense comarca 7,70 0,28 0,04 6,86%Pontevedra Occidental 13,99 0,96 0,05 7,01%Pontevedra Oriental 8,04 0,25 0,11 6,39%Pontevedra comarca 11,83 0,71 -0,04 7,14%Vigo comarca 12,48 1,50 0,05 9,81%
Los CV del estimador sintético no tienen una relación directa con el tamaño de muestra
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Encuesta de condiciones de vida (IGE)
Trabajos a realizar
Variable OBJETIVO: ingreso medio mensual por hogar, ingreso equivalente del hogar
Desagregación geográfica: 53 comarcas (NUTS IV)
Información auxiliar a nivel de área:
-Impuesto de la renta de las personas físicas: renta imponible, nº de declarantes, rendimiento medio, porcentaje de rendimientos procedentes del trabajo (AEAT)
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Informacion muestral:
Encuesta de condiciones de vida de las familias (ECV).Informacion a nivel de individuo.
Informacion auxiliar:
Impuesto sobre la renta de las personas físicas (IRPF).Información a nivel de municipio.
INFORMACIÓN DISPONIBLE
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTIMADORES
Estimador basado en el diseño: Horvitz-Thompson
Para un área d
Estimadores asistidos por el diseño: postestratificado sintético
Estimadores compuestos
ˆd
dird j j
j s
Y w y
ˆ ˆ ˆ(1 )comp dir postd d d d dY Y y
1
1 ˆˆH
post dird dh h
hd
Y N YN
2, 1, 23
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Estimadores basados en el modelo: Fay-HerriotModelo de regresión lineal mixto para datos agregados
Basado en el modelo
Para un área d el estimador de Fay-Herriot es:
ESTIMADORES
2
2 2
ˆˆ ˆ ˆˆ ˆ ˆ(1 ) ;ˆ ˆ
FH t ud d d d d d
u d
Y Y X
2 2
ˆ
(0, ) (0, )
td d d d
d u d d
Y X u e
u N e N
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Cálculo de los errores de muestreo
• Fórmulas analíticas
• Bootstrap Naive (estimador de HT)Se extraen B muestras con reemplazamiento a partir de la muestra original, utilizando el mismo diseño muestral
Sea el estimador obtenido a partir de la b-ésima muestra bootstrap. Entonces el estimador de la varianza es:
*d̂bY
* * 2 * *
1 1
1 1ˆ ˆ ˆ ˆ ˆ( ) ( ) ;1
B B
d db d d dbb b
V Y Y Y Y YB B
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Cálculo de los errores de muestreo
• Bootstrap paramétrico (Fay-Herriot)
Para estimar el MSE del estimador de Fay-Herriot se aplicará un método Bootstrap paramétrico (González-Manteiga et al. 2008)
1.- Se construye un modelo Bootstrap a partir de los parámetros estimados con la muestra original
2.- A partir de este modelo se generan B vectores Bootstrap de los cuales se calcula el MSE
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
De todas las variables auxiliares disponibles nos quedamos con:
Rendi Medio:
Rendimiento medio =Renta Imponible/Número Declarantes
Buscamos variables que tengan correlación con nuestra variable objetivo.
ESTIMADORES
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓNGeneración de una población de 943991 hogares a partir de los datos de la
muestra. Las variables generadas son:
comarca:Comarca a la que pertenece el hogar.estrato:Estrato al que pertenece el hogar.ingreso:Ingreso mensual del hogar.pers hogar:Numero de miembros del hogar.ingreso equiv:Ingreso equivalente mensual del hogar.
Procedemos a la simulación tomando 10000 muestras de la poblaciongenerada y analizamos los posibles estimadores
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓN
Indicadores de evaluaciónSesgo relativo en valor absoluto %
Error cuadrático medio: MSE
Raíz cuadrada del error cuadrático medio relativo %
( )
1
ˆ1ˆ( ) 100iterITER
d dd
iter d
Y YSRA Y
ITER Y
2( )
1
100 1ˆ ˆ( )ITER
iterd d d
iterd
RECMR Y Y YY ITER
2( )
1
1ˆ ˆ( )ITER
iterd d d
iter
MSE Y Y YITER
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓNIngreso medio mensual por hogar
SRA ingreso medio en %
0
5
10
15
20
25
30
15 17 19 31 32 34 36 42 46 48 49 49 64 73 78 83 85 104 117 128 148 179 256 352 416 864
Tamaño muestral
HT
POST s int
COMP P2
FH REML
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓNIngreso medio mensual por hogar
RECM R ingreso medio en %
0
5
10
15
20
25
30
15 17 19 31 32 34 36 42 46 48 49 49 64 73 78 83 85 104 117 128 148 179 256 352 416 864
Tamaño muestral
HT
POST s int
COMP P2
FH REML
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
RECMR %
0
5
10
15
20
25
30
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51
RECMR HT RECMR FH REML
ESTUDIO DE SIMULACIÓNIngreso medio mensual por hogar
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓNIngreso medio equivalente por hogar
SRA ingreso equivalente en %
0
5
10
15
20
25
30
35
15 17 19 31 32 34 36 42 46 48 49 49 64 73 78 83 85 104 117 128 148 179 256 352 416 864
Tamaño muestral
HT
POST sint
COMP P2
FH REML
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓNIngreso medio equivalente por hogar
RECMR ingreso equivalente en %
0
5
10
15
20
25
30
35
15 17 19 31 32 34 36 42 46 48 49 49 64 73 78 83 85 104 117 128 148 179 256 352 416 864
Tamaño muestral
HT
POST s int
COMP P2
FH REML
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓNIngreso medio equivalente por hogar
RECMR ingreso equivalente en %
0
5
10
15
20
25
30
15 17 19 31 32 34 36 42 46 48 49 49 64 73 78 83 85 104 117 128 148 179 256 352 416 864
Tamaño muestral
HT
FH REML
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓN
Para las comarcas con tamaño muestral grande (>100) los resultados son similares para todos los estimadores
Para las comarcas con tamaño muestral pequeño el estimador de Fay-Herriot es el que mejor se aproxima a la variable objetivo
Hay suficiente razón para incluir el estimador Fay-Herriot como competidor serio de los estimadores basados en el diseño.
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
RESULTADOS
Ingreso medio
800
1000
1200
1400
1600
1800
2000
Mur
osT
erra
de
Mel
ide
Qui
roga
Alla
riz-M
aced
aV
iana
A B
arca
laF
iste
rra
O S
arO
s A
ncar
esM
eira
O R
ibei
roT
. de
Cal
dela
sA
Par
adan
taO
rteg
alT
erra
de
Son
eira
Xal
las
Cha
ntad
aA
Mar
iña
Sar
riaA
Ullo
aO
Car
balliñ
oT
. de
Cel
anov
aV
alde
orra
sA
rzúa
Bai
xa L
imia
Ver
ínB
etan
zos
Eum
eA
Mar
iña
Cen
tral
A M
ariñ
aO
Bai
xo M
iño
Cal
das
O C
onda
doT
abei
rós-
Mon
tes
Ter
ra d
e Le
mos
Ter
ra C
háA
Lim
iaO
rdes
Dez
aB
arba
nza
Noi
aO
Mor
razo
Ber
gant
iños
O S
alné
sLu
goP
onte
vedr
aS
antia
goO
uren
seF
erro
lA
Cor
uña
Vig
o
HT REML
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
RESULTADOS
Coeficiente variación
0
5
10
15
20
25
30
35
40
45M
uros
Ter
ra d
e M
elid
eQ
uiro
gaA
llariz
-Mac
eda
Via
naA
Bar
cala
Fis
terr
aO
Sar
Os
Anc
ares
Mei
raO
Rib
eiro
T. d
e C
alde
las
A P
arad
anta
Ort
egal
Ter
ra d
e S
onei
raX
alla
sC
hant
ada
A M
ariñ
aS
arria
A U
lloa
O C
arba
lliño
T. d
e C
elan
ova
Val
deor
ras
Arz
úaB
aixa
Lim
iaV
erín
Bet
anzo
sE
ume
A M
ariñ
a C
entr
alA
Mar
iña
O B
aixo
Miñ
oC
alda
sO
Con
dado
Tab
eiró
s-M
onte
sT
erra
de
Lem
osT
erra
Chá
A L
imia
Ord
esD
eza
Bar
banz
aN
oia
O M
orra
zoB
erga
ntiñ
osO
Sal
nés
Lugo
Pon
teve
dra
San
tiago
Our
ense
Fer
rol
A C
oruñ
aV
igo
cv HT analítico cv HT Bootstrap cv REML analítico cv REML Bootstrap
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
RESULTADOS
Ingreso equivalente
600
700
800
900
1000
1100
1200
Mur
osT
erra
de
Mel
ide
Qui
roga
Alla
riz-M
aced
aV
iana
A B
arca
laF
iste
rra
O S
arO
s A
ncar
esM
eira
O R
ibei
roT
. de
Cal
dela
sA
Par
adan
taO
rteg
alT
erra
de
Son
eira
Xal
las
Cha
ntad
aA
Mar
iña
Sar
riaA
Ullo
aO
Car
balliñ
oT
. de
Cel
anov
aV
alde
orra
sA
rzúa
Bai
xa L
imia
Ver
ínB
etan
zos
Eum
eA
Mar
iña
Cen
tral
A M
ariñ
aO
Bai
xo M
iño
Cal
das
O C
onda
doT
abei
rós-
Mon
tes
Ter
ra d
e Le
mos
Ter
ra C
háA
Lim
iaO
rdes
Dez
aB
arba
nza
Noi
aO
Mor
razo
Ber
gant
iños
O S
alné
sLu
goP
onte
vedr
aS
antia
goO
uren
seF
erro
lA
Cor
uña
Vig
o
HT
FH REML
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
RESULTADOS
Coeficiente de variación ingreso equivalente en %
0
5
10
15
20
25
30
35
40
Mur
osT
erra
de
Mel
ide
Qui
roga
Alla
riz-M
aced
aV
iana
A B
arca
laF
iste
rra
O S
arO
s A
ncar
esM
eira
O R
ibei
roT
. de
Cal
dela
sA
Par
adan
taO
rteg
alT
erra
de
Son
eira
Xal
las
Cha
ntad
aA
Mar
iña
Sar
riaA
Ullo
aO
Car
balliñ
oT
. de
Cel
anov
aV
alde
orra
sA
rzúa
Bai
xa L
imia
Ver
ínB
etan
zos
Eum
eA
Mar
iña
Cen
tral
A M
ariñ
aO
Bai
xo M
iño
Cal
das
O C
onda
doT
abei
rós-
Mon
tes
Ter
ra d
e Le
mos
Ter
ra C
háA
Lim
iaO
rdes
Dez
aB
arba
nza
Noi
aO
Mor
razo
Ber
gant
iños
O S
alné
sLu
goP
onte
vedr
aS
antia
goO
uren
seF
erro
lA
Cor
uña
Vig
o
HT analítico
HT B
FH REML analítico
FH REML B
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
RESULTADOS
El estimador Fay-Herriot es el estimador con menor coeficiente de variación.
Hay poca diferencia entre la estimación analítica y la estimación por Bootstrap del error del estimador Fay-Herriot.
Es recomendable usar el estimador Fay-Herriot para este problema,sobre todo en las comarcas con poca muestra ( 48 hogares).
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Trabajos a realizar
Encuesta industrial de empresas (INE)
Variable objetivo: Importe neto de la cifra de negocios en las empresas de menos de 20 empleados
Desagregación geográfica: 53 comarcas (NUTS IV)
Información auxiliar a nivel de individuo:
-Directorio de empresas: nº de empleados todos los establecimientos industriales gallegos
-Encuesta: nº de empleados, importe neto de la cifra de negocios en el año anterior, horas trabajadas en el año, nº medio de personas ocupadas en el año anterior y nº de personas ocupadas.
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Objetivo: Estimación del importe neto de la cifra de negocios del sector industrial en los establecimientos con menos de 20 personas ocupadas remuneradas en las comarcas gallegas.
Informacion auxiliar. (Encuesta Industrial del INE(2005)).B13=importe neto de la cifra de negociosB10= ventas netas de productosB141=importe neto de la cifra de negocios en el año anteriorA3=personas ocupadas remuneradas (Información poblacional)A140=nº medio de personas ocupadas en el año anteriorA4= horas trabajadas en el año por el personal remunerado
Población: los establecimientos industriales con menos de 20 personas ocupadas remuneradas. N = 9235
Muestra: m.a.s, de tamaño n = 1152
Áreas pequeñas: comarcas gallegas.
Trabajos a realizar
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTIMADORES
Sin información auxiliar: Horvitz-Thompson
Con información auxiliar específica de las áreas pequeñas: estimador de regresión generalizado directo o estimador GREG
ˆHTd j dj d d
j s
NY w y n y
n
Estimadores directos
ˆ ˆ ˆ( )direct HT HTdGR d d d dY Y X X
1
HTd j dj d d
j s
d j dj dj j dj djs s
NX w x n x
n
w x x w x y
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTIMADORES
Estimador sintético
Estimadores compuestos
ˆˆ
ˆ
HT
dRS dHT
YY X
X
Estimadores indirectos
1 2
1
2
ˆ ˆ ˆ(1 ) ; 0 1
ˆ :
ˆ sin
dC d d d d d
d
d
Y Y Y
Y estimador directo GREG
Y estimador tético
ˆ1d d dsiN N ˆ
ˆdd d d
d
NsiN N
N
2, 23
1 2,dC dCY Y
Drew, Singh y Choudry (1982)
3ˆd
d dCd
nY
N
ˆ1d d dsiN N 1ˆ
ˆh
dd d d
d
NsiN N
N
4ˆ2 dCh Y
Sarndal y Hidiroglou (1989)
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTIMADORES
Modelo tipo individuo sin información poblacional
Modelo tipo individuo con información poblacional
2
2 2
ˆ ˆ ˆˆ ˆ ˆ ˆ( ) ( )
ˆˆ
ˆ ˆ /
t t tdEBLUPP d d d d d d d d d d d
ud
u e d
Y N X y x N y X x
n
Estimadores EBLUP
2
2 2
ˆˆ ˆ ˆ(1 )
ˆˆ
ˆ ˆ /
tdEBLUP d d d d d
ud
u e d
Y N y x
n
Basados en el modelo ; 1,...,tdj dj d djy x u e d D
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Cálculo de los errores de muestreo
Fórmulas analíticasJackknifeLas muestras Jackknife se obtienen suprimiendo una unidad de la muestra original
( ) ( ) 2
1 1
2 ( )
1
1 1ˆ ˆ ˆ( ) ( )
1ˆ ˆ ˆ ˆ ˆ ˆ( ) ( ) ; ( 1)
d d
d
n nJ j jd
d dJ dJj jd d
nJS j j jd
d dJ d dJ d d d dJj d
nV Y Y Y
n n
nV Y Y Y Y n Y n Y
n
( )
1
1ˆ ˆ ˆ( 1) ( )dn
jd d dJ d
jd
B n Y Yn
Sesgo
Estimador obtenido de suprimir la unidad (j)
de la muestra
Pseudovalores Jackknife
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Cálculo de los errores de muestreo
Bootstrap: 2 tipos
En todos los estimadores que empleen información poblacional de una variable auxiliar, se aplicará un método de remuestreo bootstrap en el que se construye una población artificial a partir de la cual se extraen muestras, González-Manteiga et al (2008)
Cuando se usa solo información muestral se aplicará el bootstrap consistente en seleccionar B muestras aleatorias simples con reemplazamiento de la muestra original
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓN
Generación de una población que se ajusta a un modelo tipo individuo con cuatro variables auxiliares (p=4)
m=8 áreas con tamaños poblacionales Ni i=1, …, 8
Las 8 áreas tienen tamaños muestrales ni i=1,…, 8 (similares al problema real)
Procedemos a la simulación tomando 1500 muestras de la poblacióngenerada y analizamos los posibles estimadores
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓN
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓN
Los estimadores basados en el modelo con información poblacional son los que tienen un mayor MSE
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓN
El estimador compuesto 3 sigue el comportamiento del sintéticoLos estimadores compuestos 1 y 4 siguen el comportamiento del GREG directoEn los estimadores basados en modelos apenas hay diferencia en estimar las componentes de por ML o REML
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓN
cv_SINT es el cv realcv_SINT1 y cv_SINT2 usan estimadores analíticoscv_SINTJ y cv_SINTJS usan estimadores Jackknife
cv_SINTB usan estimadores bootstrap
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓN
Parece que el que mejor funciona es el bootstrap
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓN
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓN
Los estimadores Jackknife y la fórmula analítica de Prasad y Rao infraestiman el verdadero coeficiente de variación
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓN
El estimador del cv con fórmulas analíticas dá buenos resultados
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
ESTUDIO DE SIMULACIÓN
Mal comportamiento de los estimadores basados en el modelo cuando se usa información poblacional de una única variable
Los estimadores que mejor funcionan, en cuanto a que su MSE es bajo, son el estimador GREG, el estimador compuesto 2, el estimador sintético y por último los basados en el modelo
Los estimadores analíticos del MSE no funcionan bien, es necesario emplear técnicas de remuestreo como el Jackknife o el Bootstrap
Para el estimador sintético y el compuesto 2 los estimadores Jackknife y Bootstrap para la estimación del MSE funcionan mucho mejor que el analítico
Para el estimador EBLUP los resultados obtenidos a partir del estimador Jackknife del MSE infraestiman el verdadero valor del coeficiente de variación (CV)
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Estimación del ln(importe de la cifra de negocios)
0
5000
10000
15000
20000
25000
Arzúa
A Bar
cala
Betan
zos
Eume
Fister
raNoi
a
Orte
gal
O S
ar
Terra
de
Sonei
ra
Os A
ncare
s
A Fon
sagr
ada
A Mar
iña
Centra
l
A Mar
iña
Orie
ntal
Quir
oga
Terra
Chá
A Ullo
a
O C
arball
iño
Our
ense
Terra
de
Caldelas
Valde
orra
sVia
na
Calda
sDez
a
A Par
adan
ta
O sa
lnés
Vigo
est_HT est_GREG_direct est_SINT est_COMP1 est_COMP2
est_COMP3 est_COMP4 eblupREML eblupPREML
RESULTADOS
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Coeficiente de variación estimado para el estimador sintético
0,0%
100,0%
200,0%
300,0%
400,0%
500,0%
600,0%
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51
cv_SINTJ cv_SINTJS cv_sintB
RESULTADOS
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Coeficiente de variación estimado para Compuesto 2
0,0%
50,0%
100,0%
150,0%
200,0%
250,0%
300,0%
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51
cv_COMP2J cv_COMP2JS cv_COMP2B
RESULTADOS
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
Coeficiente de variación estimado para el estimador EBLUP sin información poblacional
0,0%
1,0%
2,0%
3,0%
4,0%
5,0%
6,0%
7,0%
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51
cv_REML cv_REMLJ cv_REMLJS cv_REMLB cv_REMLBL
RESULTADOS
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
RESULTADOS
Coeficientes de variación estimado para los estimadores HT, GREG, SINTÉTICO, COMPUESTO 2 Y EBLUP
0,0%
20,0%
40,0%
60,0%
80,0%
100,0%
120,0%
140,0%
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51
cv_HT cv_GREG_direct cv_SINTJ cv_COMP2J cv_REMLJ cv_REMLB
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
RESULTADOS
Coeficientes de variación estimado para los estimadores HT, SINTÉTICO, COMPUESTO 2 Y EBLUP
0,0%
5,0%
10,0%
15,0%
20,0%
25,0%
30,0%
35,0%
40,0%
45,0%
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51
cv_HT cv_SINTJ cv_COMP2J cv_REMLJ cv_REMLB
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
RESULTADOS
El estimador GREG es el estimador cuyos coeficientes de variación estimados son más altos, alcanzando unos valores muy elevados
Con el estimador H-T se obtienen unos estimadores del cv bastante buenos
El estimador sintético no es un buen estimador para este ejemplo
Los cv más bajos corresponden al estimador basado en el modelo sin información poblacional.
Hay que recordar que en la simulación los estimadores jackknife del MSE y la fórmula analítica de Prasad y Rao infraestimaban el coeficiente de variación teórico en los estimadores basados en modelos
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
FUTURO
• Estimadores basados en modelos multinomiales mixtos
• Estudio de modelos dinámicos– Inluyen el horizonte temporal
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
BIBLIOGRAFÍAAzula Lazkano, I., Garrido Espinosa, P. y Olaeta Goiriena, H. Estimadores directos y asistidos por modelos. Estimación en Áreas Pequeñas. Una aplicación a la Encuesta Industrial de la Comunidad Autónoma de Euskadi, Eustat, Donostia.
Cochran, W.G. (1987), Técnicas de muestreo. New York: Wiley.
Datta, G.S. y Lahiri, P. (2000), A Unified Measure of Uncertainty of Estimated Best Linear Unbiased Predictors in Small Area Estimation Problems, Statistica Sinica, 10, 613-627.
EUSTAT. (2007). Cálculo de coeficientes de variación para diferentes estimadores directos e indirectos utilizados en las encuestas económicas de Eustat. EUSTAT.
EUSTAT. (2008). Estimación de áreas pequeñas en la Encuesta de Población en relación con la actividad de la C. A. de Euskadi.EUSTAT. www.eustat.es/documents/datos/CT EAPRA c.pdf
Ghosh, M. y Rao, J.N.K. (1994), Small Area Estimation: An Appraisal, Statistical Science, 9, 55-93.
González-Manteiga W, Lombardía MJ, Molina I, Morales, D, Santamaría L (2008). Analytic and bootstrap approximations of prediction errors under a multivariate Fay-Herriot model. Computational Statistics and Data Analysis 52, 5242-5252
González Manteiga W, Lombardía MJ, Molina I., Morales D., Santamaría L.(2008). Bootstrap mean squared error of a small-area EBLUP. Journal of Statistical Computation and Simulation Vol 78, nº 5, May 2008, 443-462
Jiang, J. y Lahiri, P. (2006), Mixed Model Prediction and Small Area Estimation, Sociedad de Estadística e Investigación Operativa, 15,1-96.
Militino, A. F., Ugarte, M. D. y Goicoa, T. (2007). A EBLUP Synthetic Versus an EBLUP Estimator: An Empirical Study of a Small Area Estimation Problem. Journal of Apllied Statistics. 34, 153-165.
Rao, J.N.K. (2003), Small Area Estimation. New York:Wiley.
S¨arndal, C.E., Swensson, B. y Wretman, J.H. (1992), Model Assisted Survey Sampling, New York: Springer-Verlag.
S¨arndal, C.E. y Hidiroglou, M.A. (1989), Small Domain Estimation: A Conditional Analysis, Journal of the American Statistical Association,84, 266-275.
Valliant, R., Dortman, A.H. y Royall R.M. (2000). Finite Population Sampling and Inference. New York: John Wiley.
Curso sobre estimación en pequeños dominios. Madrid, 26 de noviembre 2008
FIN
MUCHAS GRACIAS POR SU ATENCIÓN
http://www.ige.eu