HS

REGRESION Y CORRELACION

LINEAL SIMPLE

Hernando Sánchez Santibáñez

2011-A

2

REGRESION Y CORRELACION

En muchas ocasiones es necesario establecer la naturaleza de la relación entre dos o más variables. Puede ser que también necesitamos predecir por ejemplo el rendimiento académico de un estudiante, dado que se conoce la nota obtenida en las pruebas de admisión o la dureza de un metal si se conoce la resistencia o el peso en kilos de una persona si se conoce la edad. En todas estas situaciones la precisión de nuestra predicción dependerá de la fuerza de la relación entre las variables.Esto nos lleva al estudio de la correlación y de la regresión.La correlación se refiere a la fuerza de la relación entre los valores de las variables. El análisis de regresión determina la naturaleza de la relación y nos permite hacer predicciones, pues representa la relación, por medio de una ecuación.La regresión y la correlación son dos técnicas, que comprenden una forma de estimación y que están estrechamente relacionadas entre si.

RELACION ENTRE DOS VARIABLES.

El análisis de correlación produce un número que resume el grado de Correlación entre dos variables; y el análisis de regresión origina una ecuación matemática que describe dicha relación. Esta ecuación se puede utilizar para estimar valores de Y o predecir los valores futuros que puede tener una variable cuando se conocen o suponen los valores de la otra variable.El análisis de correlación generalmente resulta útil en trabajos de investigación donde se trata de determinar que variables son potencialmente importantes y el interés se centra en determinar la fuerza de la relación, por ejemplo en educación y psicología, se da mayor importancia a la determinación de la fuerza de la relación, mientras que en finanzas administración, investigaciones del campo de la salud y la agricultura, se concentra mas la atención en la naturaleza de la relación (ecuación predictiva) y el análisis de regresión entonces cobra mayor importancia.La información necesaria para el análisis de regresión y correlación provienen de la observación de variables relacionadas. En el caso de un

3

problema de dos variables cada observación proporciona dos valores, uno para cada variable, por ejemplo un estudio que comprenda características, físicas de un grupo de personas puede considerar la relación entre edad y talla. En el caso de un problema de tres variables, cada observación proporciona tres valores, por ejemplo además de la edad y la talla de cada individuo, se podría tener interés en el peso de cada uno. Trataremos de entender en primera instancia el análisis de regresión y posteriormente lo haremos con el análisis de correlación.

REGRESION LINEAL

La regresión lineal simple intenta determinar una línea recta o una ecuación lineal que describa la relación entre dos variables. Las ecuaciones de regresión pueden ser utilizadas de diversas formas, veamos algunas aplicaciones:1. Estimar los valores de una variable con base en los valores conocidos de otra, por ejemplo la inversión en publicidad y el monto de ventas son dos variables que pueden estar relacionadas de tal forma que si se conoce la primera se puede obtener una estimación de la segunda.2. Para explicar valores de una variable en términos de la otra, es decir, se puede intuir una relación de causa efecto entre dos variables, por ejemplo: cambio en las ventas explicado en términos de gastos de publicidad. Vale la pena tener en cuenta que la lógica de la relación proviene de teorías externas al campo de la estadística, es decir, que el análisis de regresión no puede establecer si una variable causa la otra, sólo indica la relación matemática si la hay.3. Predecir valores futuros de una variable, por ejemplo: tendencia de las ventas a través del tiempo, crecimiento de la población en un periodo de tiempo, costo de la canasta familiar o índice de precios al consumidor.

LA ECUACION DE LA LINEA RECTA

La ecuación de la línea recta tiene la forma Y = a + bx.Hay dos características importantes en esta ecuación que son: 1.- La pendiente de la recta y 2.- La localización de algún punto de la recta.

4

En la ecuación de la línea recta estas características son valores que se determinan a partir de los datos de la muestra. a indica la altura de la recta cuando X = 0, es decir el corte en el eje “Y”, y b indica la pendiente.La variable Y es la que se habrá de predecir y X la variable predictiva en otras palabras, Y la variable dependiente y X la variable independiente.

La ilustración muestra la relación entre la gráfica de la recta y la ecuación. La recta cuya ecuación Y= a +bx corta el eje Y en el punto Y = a. El punto se llama coordenada en el origen (intercepto con el eje Y). La pendiente b, indica la intensidad de cambio de Y por unidad cambios de X, es decir,

Considera la ecuación lineal: Y = -1 + 2X, que se presenta en la siguiente figura, la recta corta el eje Y en el punto donde Y es igual a -1, la pendiente de la recta es 2, lo cual indica, que para todo cambio de una unidad en X, habrá en Y un cambio de dos unidades.

5

La representación gráfica es importante ya que crea una imagen aproximada de la relación y es útil en la etapa inicial para decidir si una relación lineal es adecuada; en algunos casos la gráfica también puede utilizarse para determinar valores de Y con base en los valores de X.

Sin embargo si conocemos la pendiente podemos sustituir en la

ecuación Y = a + bx los valores de X y despejar Y con este método se obtiene mayor precisión que al utilizar sólo la gráfica, en el ejemplo se tiene que cuando: X = 4 Y = -1 + 2(4) = 7 X = 3 Y = -1 + 2(3) = 5 X = 1.2 Y = -1 + 2(1,5) = 2 X = 5 Y = -1 + 2(5) = 9

Debe tenerse presente que no en todos los casos se puede representar una relación utilizando la relación lineal simple o ecuación de la línea recta. Por esta razón es necesario como paso preliminar utilizar un diagrama de puntos para determinar que tipo de relación existe entre las dos variables.

Veamos algunos casos representados en las siguientes gráficas:

6

Las gráficas anteriores muestran que no todas las relaciones entre dos variables se pueden representar por una línea recta. Las gráficas a y b muestran que los valores de las variables al ubicarlos en la gráfica se ajustan a una línea recta. La gráfica (a) muestra una tendencia con pendiente positiva, es decir cuando el valor de X aumenta el valor de Y también aumenta. La gráfica (b) muestra pendiente negativa: cuando X crece, Y disminuye. Las gráficas c y d muestran que los valores de las variables al ubicarlos en la gráfica no se ajustan a una línea recta, sugieren que no hay relación entre las variables: grafica (d) o que corresponden a curvas de otros modelos matemáticos: grafica (c).

COMO DETERMINAR LOS VALORES DE (a) Y (b) EN LA RECTA.

Los parámetros a y b del modelo se pueden determinar de dos formas: 1- Método grafico: Utilizando la gráfica para trazar la línea recta que a juicio del investigador sea la que mejor se ajusta a la tendencia de los puntos. Cuando ya se tiene trazada la recta se calculan la pendiente b y el intercepto en Y = a. 2-Utilizando el método de mínimos cuadrados.

MÉTODO GRÁFICO

Lo primero que debemos hacer es el gráfico de puntos o gráfico de correlación, que consiste en marcar con un punto en el plano Cartesiano los pares ordenados (X, Y) que corresponden a los valores de la variable. En algunos casos es muy fácil determinar cual es la variable independiente y cual la dependiente por ejemplo, en un niño la talla depende de la edad, en un trabajador el monto del salario depende del numero de horas trabajadas. En otros casos no es posible determinar la variable dependiente, por ejemplo, la resistencia de un metal y la dureza, la talla y la edad en un adulto.El paso siguiente es trazar la línea recta que mejor se ajuste a la tendencia que sugieren los puntos en el gráfico. El parámetro a esta dado por el corte de la recta de ajuste en el eje de las Y, es decir, cuando X = 0.

7

Para encontrar la pendiente de la recta de ajuste b es necesario determinar en cuanto cambia la variable Y cuando la variable X cambia en al unidad; para esto se toman dos puntos en la recta de ajuste y se obtienen los valores de X y Y en ambos puntos (coordenadas) (X1,Y1) primer punto y (X2,Y2) segundo punto, y se calcula la pendiente así:

Veamos un primer ejemplo: se selecciona 10 obreros de una fábrica y se les capacita en una determinada actividad. Cada obrero es calificado al terminar el adiestramiento; el gerente de producción de la empresa después de un determinado tiempo califica la productividad de cada uno de ellos. Las calificaciones de cada obrero se presentan a continuación:

¿Qué relación puede ver usted entre estos pares de calificaciones? ¿Se asocian las calificaciones altas en la prueba de adiestramiento con la calificación de productividad obtenidas en la prueba? ¿siempre, o sólo en algunos casos?

Con muy pocas excepciones los obreros que tuvieron una alta nota en la prueba del adiestramiento también fueron calificados alto en la productividad. Sin embargo esto no es muy fácil determinarlo al observar

8

los datos brutos. Trataremos de representar la relación mediante el diagrama de puntos. Supongamos que la variable independiente es la nota obtenida en el curso de adiestramiento.

X1 = 2,0 Y1 = 4,1X2 = 4,0 Y2 = 7,8

Después de obtener los valores de a (Y = a = 0,4) y los valores de X e Y en los dos puntos de la recta, b se calcula así:

Al obtener b = 1,85 podemos representar la relación con la siguiente ecuación lineal.

Y = 0,4 + 1,85(X)

Con la ecuación obtenida se puede estimar la calificación de productividad, que en el ejemplo corresponde a la variable dependiente Y, para cualquier valor de calificación de capacitación X, que en el ejemplo corresponde a la variable independiente. Ejemplo.

9

¿Qué productividad cabe esperar en cada uno de dos obreros que obtuvieron nota de 3,8 y 4,2?

Se deben reemplazar estos valores en la ecuación así: Para el trabajador que obtuvo nota de 3,8 se tiene: Y = 0,4 + 1,85 (3,8) = 7,43

Con base en la ecuación se puede estimar que este obrero podrá obtener una calificación de 7,43 en la productividad.

Para el trabajador con nota de 4,2 se tiene: Y = 0.4 + 1.85 (4,2) = 8,17

Para este trabajador esperaríamos una calificación en la productividad de 8.17

Se observa claramente que para valores altos de X se tienen valores altos de Y, entonces la relación, entre las dos variables es directa, este tipo de relación tiene pendiente positiva. Vamos un segundo ejemplo: Supóngase que se tiene el precio y el uso en años de 10 automóviles en una comercializadora de autos usados. La información se da a continuación.

A continuación se determina gráficamente la relación entre las dos variables

10

Y = a = 7.0 cuando X = 0

X1 = 2.0 Y1 = 5,2

X2 = 4.0 Y2 = 3,4

Y = 7.0 - 0,9 (X)

Supóngase que se desea estimar el precio de dos carros cuyos años de uso son 3 y 5 años.

Para el carro cuyo uso es de tres años su precio estimado esta dado por:

Y = 7.0 – 0,9 (3) = 4.3 (millones)

Para el carro cuyo uso es de 5 años tenemos un precio estimado dado por:

11

Y = 7.0 – 0,9 (5) = 2.5 (millones)

El método gráfico descrito anteriormente presenta la ventaja de ser rápido y fácil pero presenta la desventaja de la subjetividad porque el ajuste se hace según el criterio del investigador, entones, distintos investigadores tendrán criterios distintos y seguramente trazaran distintas rectas de ajuste.

En la construcción del diagrama de puntos o dispersión debe tenerse presente que las escalas de medida utilizadas en los ejes X e Y deben comenzar de cero, para poder tener un valor real de a de acuerdo a la recta de ajuste seleccionada.

MÉTODOS DE MÍNIMOS CUADRADOS

El procedimiento mas objetivo para ajustar una recta a un conjunto de datos presentados en un diagrama de dispersión se conoce como “el método de los mínimos cuadrados” la recta resultante presenta dos características importantes:

1. Es nula la suma de las desviaciones verticales de los puntos a partir de la recta de ajuste ( Y - Y = 0).2. Es mínima la suma de los cuadrados de dichas desviaciones: (Y - Y)² es mínima.

El procedimiento consiste entonces en minimizar los residuos al cuadrado: C = Yº - Y

Tenemos Reemplazando se tiene:

La obtención de los valores de a y b que minimizan esta función es un problema que se puede resolver recurriendo a la derivación parcial de la función en términos de a y b: llamemos G a la función que se va a minimizar:

12

Derivando parcialmente de G respecto de a y b que son las incógnitas e igualando a cero, se obtienen dos ecuaciones llamadas ecuaciones normales del modelo que pueden ser resueltas por cualquier método ya sea igualación o matrices para obtener los valores de a y b.

Se deriva parcialmente la ecuación respecto de a

Se deriva parcialmente la ecuación respecto de b

Los valores de a y b se obtienen resolviendo el sistema de ecuaciones resultante. Veamos el siguiente ejemplo:En un estudio económico se desea saber la relación entre el nivel de instrucción de las personas y el ingreso.

EJEMPLO: Se toma una muestra aleatoria de 8 ciudades de una región geográfica y se determina por los datos del censo el porcentaje de

13

graduados en educación superior y la mediana del ingreso de cada ciudad, los resultados son los siguientes:

Tenemos las ecuaciones normales

Y = na + bXXY = aX + bX2

Debemos encontrar los términos de las ecuacionesY, X, XY, X2 Por tanto procedemos de la siguiente forma:

Sustituyendo en las ecuaciones los resultados obtenidos tenemos:

Para resolver el sistema se multiplica la primera ecuación por (-89.8) y la segunda por (8) así:

14

Este valor de b lo reemplazamos en cualquiera de las ecuaciones para obtener el valor de a, así:

Reemplazando b = 0.20477 en la primera ecuación normal

Tenemos entonces que los coeficientes de regresión son: a = 3.139 y b = 0.20477. Por tanto la ecuación de regresión nos queda:

Significa entonces que por cada incremento de una unidad en X el valor de

se aumenta en 0.20477

Esta ecuacion permite estimar el valor de para cualquier valor de X, por

ejemplo: En una ciudad que tiene un porcentaje de graduados del 28%, se estima la la mediana de ingreso así:

15

Los valores a y b tambien se pueden obtener de la siguiente forma: partiendo de las ecuaciones normales tenemos: Y = na + bX

XY = aX + bX2

Si dividimos todos los términos de la ecuación (1) entre n nos queda:

Tenemos entonces que el primer término es el segundo termino es la incognita a y el tercer termino es la incognita b multiplicada por por tanto nos queda:

= a + b entonces

a = - b

Reemplazando a en la ecuación (2) tenemos

16

a = 5.4375 – 0.20477 (11.2250) = 5.4375 – 2.2985 = 3.139

Se debe tener presente la diferencia entre el valor de obtenido con la

ecuacion de regresion y el valor de Y observado. Mientras es una

estimacion y su bondad en la estimacion depende de lo estrecha que sea la relacion entre las dos variables que se estudian; Y es el valor efectivo, verdadero obtenido mediante la observacion del investigador. En el ejemplo Y es el valor mediano del ingreso que obtuvo el investigador al observar

los ingresos en cada ciudad y es el valor estimado con base en el modelo

lineal utilizado para obtener la ecuacion de regresion.

Los valores estimados y observados pueden no ser iguales por ejemplo la primera ciudad tiene un ingreso mediano observado de Y = 4.2 al

reemplazar en la ecuacion el porcentaje de graduados obtenemos un

estimado de: = 3.1390 + 0.20477 (1.2) = 4.61

Graficamente lo anterior se puede mostrar asi:

Se observa en la gráfica que hay una diferencia entre el valor efectivo y el valor estimado de Y; esta diferencia se conoce como error en la estimacion.

17

El error en las estimaciones se puede medir calculando el error estandar de la estimacion. A continuacion se ilustra procedimiento.

ERROR ESTANDAR EN LA ESTIMACION

El error estandar de la estimacion designado por mide la diferencia

promedio entre los valores observados y los valores estimados de Y. Se utiliza la siguiente formula.

Debemos entonces calcular los valores de sustituyendo en la ecuacion el el porcentaje observado de graduados de cada ciudad.

A continuacion se ilustra el calculo del error estándar de la estimacion en Excel.Se hace clic en insertar función, se selecciona la categoría estadisticas y se selecciona la funcion: ERROR.TIPICO.XY

Esta funcion tiene dos campos: El priemero llamado conocido_Y, en el cual se selecciona la columna de los valores observados de Y. El segundo

18

llamado conocido_X, en el cualse selecciona la columna de los valores observados de X

Como esta medida trata de resumir la disparidad entre lo observado y lo estimado, es decir, trata de medir la diferencia promedio entre lo observado y lo estimado ó esperado de acuerdo al modelo, puede considerarse, como un indicador del grado de precision con que la ecuacion de regresion describe la relacion entre las dos variables. Este error estandar se ve afectado por las unidades y sus cambios ya que es una medida absoluta, pues, se da en la misma unidad de medida que esta dada la variable Y; en el ejemplo 0.4738893 serán decenas de miles de pesos, razón por la cual no es posible comparar con las relaciones de variables dadas en distinta unidad de medida. Es necesario entonces calcular una medida que interprete o mida mejor el grado de relacion entre las variables.

19

COEFICIENTE DE DETERMINACION

El cambio de la variable Y generalmente depende de muchos factores en ocasiones dificiles de identificar; con el modelo lineal simple solo tenemos presente uno, por ejemplo, en nuestro caso la mediana del ingreso depende no solo del porcentaje de graduados en el nivel superior, que es, el factor que tenemos presente, pueden entrar a jugar factores tales como, la distribucion de la edad en la poblacion, la distribucion por sexo en la poblacion, la industrializacion de la ciudad, el numero de universidades y muchos otros. El coeficiente de determinacion mide o interpreta la cantidad relativa de la variacion que ha sido explicada por la recta de regresion, es decir, la proporcion de cambio en Y explicado por un cambio en la variable X (X es el factor que se utiliza para calcular la recta de ajuste o ecuacion de regresion, en el ejemplo es el porcentaje de graduados en el nivel superior en cada ciudad).

Para el ejemplo, el Coeficiente de determinacion va a medir la proporcion del cambio en el ingreso mediano de cada ciudad, debido o explicado por un cambio en el porcentaje de graduados en el nivel superior.

Veamos algunos componentes de la variabilidad en el analisis de regresion:

La diferencia entre cada valor de Y observado y , que se denomina variacion de Y:

La diferencia entre estimado y , que es la variacion tenida en cuenta

por la ecuacion de regresion, razón por la cual se denomina variacion explicada de Y:

La diferencia entre Y observado y estimado, son variaciones

consideradas debidas a factores diferentes al tenido presente por la ecuacion de regresion por eso se llama: variacion no explicada de Y:

20

La sumatoria de las diferencias en cada una de las formas de variacion la podemos representar asi:

Gráficamente esta relacion se representa graficamente a continuación

Se dijo anteriormente, que el coeficiente de determinación es la proporción de cambio explicado en Y, por cambio en X, es decir, la proporción que representa la variación explicada de la variación total. Recuerde una

21

proporción es la relación de una parte con el total, por tanto, el coeficiente de determinación será:

En otras palabras el coeficiente de determinación es la relación entre la variación explicada y la variación total. Su valor siempre estará 0 r² 1

Para su cálculo se procede así:

Generalmente esta proporción se expresa como porcentaje por tanto podemos decir que: r² = 89.9%

Este resultado se debe interpretar en el sentido de que: el 89.9% de la variación en el ingreso mediano de las ciudades de la muestra está relacionada o explicada por la variación en el porcentaje de graduados en educación Superior en cada ciudad.

A continuacion se ilustra el calculo del coeficiente de determinacion r2 en Excel.Se hace clic en insertar función, se selecciona la categoría estadisticas y se selecciona la funcion: COEFICIENTE.R2

22

Esta funcion tiene dos campos: El priemero llamado conocido_Y, en el cual se selecciona la columna de los valores observados de Y. El segundo llamado conocido_X, en el cualse selecciona la columna de los valores observados de X

COEFICIENTE DE CORRELACION (r)Este Coeficiente como ya se dijo mide la fuerza de la relación entre las variables, tiene el signo que tiene b y su valor estará -1 r 1.El signo menos en el índice significa una relación negativa y un signo mas una correlación positiva.El coeficiente se obtiene sacando la raíz cuadrada al coeficiente de determinación y se simboliza con “r”.

23

A continuación se ilustra el cálculo de r con Excel

Se hace clic en insertar función, se selecciona la categoría estadisticas y se selecciona la funcion: COEF.DE. CORRELEsta funcion tiene dos campos: El priemero denominado Matriz1, en el cual se selecciona la columna de los valores observados de X. El segundo denominado Matriz2, en el cualse selecciona la columna de los valores observados de Y

24

En este caso el coeficiente r tiene signo positivo porque el valor obtenido de b es positivo.

A continuación se da, a modo de orientación, como podrían interpretarse los valores de r (positivo o negativo)

0.0 a 0.2 Correlación muy débil, despreciable0.2 a 0.4 Correlación débil. bajo0.4 a 0.7 Correlación moderada0.7 a 0.9 Correlación fuerte, alto, importante0.9 a 1.0 Correlación muy fuerte, muy alto

La correlación entre los valores de dos variables es un hecho. El que lo consideremos satisfactoria o no, depende de la interpretación. Otro problema que representa la correlación es cuando se pregunta si una variable, de algún modo causa o determina a la otra. La correlación no implica causalidad. Si las variables X e Y están correlacionadas, esto puede ser por que X causa a Y, o porque Y causa a X o porque alguna otra variable afecta tanto a X como Y, o por una combinación de todas estas razones; o puede ser que la relación sea una coincidencia.

Con la información obtenida hasta este punto de la conferencia usted tiene los suficientes elementos para realizar los siguientes ejercicios. Si por algún motivo no entiende algún punto de la conferencia por favor discútala con sus compañeros de grupo de estudio; si la duda persiste, consulte con su profesor.

25

EJERCICIO # 1 a) Remítase al ejercicio del ejemplo # 3 (tres) y utilizando el método gráfico calcule la recta de regresión

b) Estime el ingreso mediano de una ciudad que tiene un porcentaje de graduados de, i) 5.3%; ii) 18%; iii)30%

c) Compare los resultados obtenidos en los literales a) y b) con los compañeros de grupo. Si hay diferencias en estos, discuta con ellos las posibles causas.

EJERCICIO # 2 Un grupo de obreros maneja un tipo de máquina que produce una pequeña pieza en serie. Cada vez que la máquina se para en el proceso, la arrancada proporciona perdida de materia prima.El jefe de producción asegura que hay una estrecha correlación entre el número de paradas y los años de experiencia en la operación de la máquina. Se toma una muestra de 10 obreros y se obtiene la siguiente información de la observación de las máquinas operadas.

Obrero : 1 2 3 4 5 6 7 8 9 10

Años de Experiencia : 10 12 5 4 8 6 5 3 7 1

No. de paradas : 4 1 6 9 3 4 7 10 2 9

a) Utilizando el método gráfico obtengo la recta de regresiónb) ¿Cuantas paradas espera que tenga un obrero de 6 meses de experiencia en la operación de una maquina del mismo tipo? ¿Cuántas paradas estimaría para un obrero de 9 años de experiencia operando este tipo de maquina?c) ¿Que tipo de relación presentan estas variables?d) Discuta los resultados obtenidos con sus compañeros de grupo.

26

EJERCICIO # 3Remítase al primer ejemplo y calcule:a) La recta de regresión utilizando el método de los mínimos cuadrados.b) Que productividad estimaría para un obrero que tiene nota en la prueba de capacitación de I) 40; II) 95.c) Compare los resultados obtenidos por usted con el método de los mínimos cuadrados y el obtenido en el ejemplo con el método gráfico. Porque las diferencias? EJERCICIO # 4a) Con la ecuación de Regresión obtenida en el ejercicio # 3 obtenga el error estándar de la estimación.b) Con sus propias palabras defina por escrito el significado de esta medida.c) Compare sus respuestas con las de sus compañeros. Si hay una disparidad en la respuesta, discuta hasta aclarar perfectamente el concepto de la medida.d) Aclare con sus compañeros el concepto de : medida absoluta y medida relativa.e) Con base en los discutido en (d) ¿Que clase de medida es el error estándar de la estimación ?

EJERCICIO # 5a) Calcule el Coeficiente de determinación para la relación entre las variables del primer ejemplo (ejercicio # 3).b) Interprete el resultado obtenido y escríbalo.c) Compare las respuestas, discuta hasta aclarar el concepto.

EJERCICIO # 6a) Calcule el Coeficiente de correlación para el ejercicio # 3b) Interprete el resultado y escríbalo.c) Compare sus respuestas y aclare los conceptos.

EJERCICIO # 7Remítase el segundo ejemplo y calcule:

27

a) IDEM 3ab) IDEM 3bc) IDEM 3c.

EJERCICIO # 8a) IDEM 4ab) IDEM 4bc) IDEM 4cd) IDEM 4de) IDEM 4e.

EJERCICIO # 9 a) IDEM 5ab) IDEM 5bc) IDEM 5c.

EJERCICIO # 10a) IDEM 6ab) IDEM 6b c) IDEM 6C

28