DIAGNOSTICOS DE REGRESION: RESIDUALESclopez/Regresion/Residuales.pdf · diagnosticos de regresion:...

Maestría en Estadística Aplicada

Carlos López de Castilla Vásquez

1

CAPITULO 8

DIAGNOSTICOS DE REGRESION: RESIDUALES Hasta este momento se han utilizado, sobre todo, gráficos para decidir que hacer antes de estimar un modelo de regresión. Los diagnósticos de regresión son usados luego de estimar el modelo para chequear si la función media o los supuestos son consistentes con la data observada. Los estadísticos usados son los residuales o los residuales escalados. Si el modelo estimado no tiene un conjunto de residuales que aparenta ser razonable entonces algunos aspectos del modelo, quizás la función media o los supuestos hechos sobre la función variancia, deben ser revisados. Se debe analizar la importancia de cada caso en el proceso de estimación y otros aspectos del análisis. En algunos conjuntos de datos, las estadísticas observadas pueden cambiar de manera sustancial si uno de los casos es omitido de la data. Tal caso es llamado influencial, y debe ser detectado. Se estudiaran dos estadísticas de diagnóstico llamadas medidas de distancia y valores leverage. Se incluyen diagnósticos gráficos que utilizan cantidades numéricas que ayudan en la interpretación de estos gráficos. 8.1 LOS RESIDUALES Usando la notación matricial del Capítulo 3 se obtienen algunas propiedades de los residuales. El modelo básico de regresión lineal múltiple esta dado por

Y Xβ e 2ˆVar e I (8.1) donde X es una matriz conocida con n filas y /p columnas que tiene una columna de 1’s si la función media incluye un intercepto. Se asume que se ha seleccionado una parametrización para la función media tal que X tiene rango completo, es decir

1/ X X existe. Sin embargo lo anterior no es una limitación importante en un modelo

de regresión ya que siempre es posible eliminar términos de la función media tal que se logre tener rango completo. El vector de / 1p parámetros desconocidos es β y e es el vector de errores no observables. Se asume que estos errores tienen la misma variancia y no están correlacionados. Para el modelo (8.1) se estima β por 1ˆ

/ /β X X X Y y los valores estimados Y correspondientes a los valores observados Y están dados por

-1ˆˆ / /Y Xβ X X X X Y = HY (8.2) donde H es la matriz n n definida por

-1 / /H X X X X (8.3)



2

H es llamada la matriz hat, ya que transforma el vector de respuestas observadas Y en el vector de respuestas estimadas Y . El vector de residuales e se define por

/

1/

ˆˆ

/ /

e Y Y Y X β

Y X X X X Y

I H Y

(8.4)

8.1.1 Diferencias entre e y e Los errores e son variables aleatorias no observables, se asume que tienen media cero y elementos no correlacionados con variancia común 2 . Los residuales e son cantidades calculadas que pueden ser estudiadas o graficadas. Su media y variancia, usando (8.4) son

ˆE e 0 2ˆVar e I H (8.5) Al igual que los errores, los residuales tiene media cero, pero su variancia no es constante. A diferencia de los errores, los residuales están correlacionados. A partir de (8.4), los residuales son combinaciones lineales de los errores. Si los errores están normalmente distribuidos, también lo están los residuales. Si se incluye el intercepto en el modelo. Entonces las suma de los residuales es cero, /ˆ ˆ 0íe e 1 . En forma escalar, la variancia del i -ésimo residual es

2ˆ ˆVar 1í iie h (8.6) donde iih es el i -ésimo elemento de la diagonal de H . Los procedimientos de diagnóstico están basados en los residuales calculados, los cuales se desea que tengan un comportamiento parecido a los errores no observables. Lo anterior depende de la matriz hat que relaciona e con e y al mismo tiempo determina las variancias y covariancias de los residuales. 8.1.2 La matriz hat H es una matriz simétrica n n con muchas propiedades especiales que son fáciles de verificar a partir de (8.3). Multiplicando X por la izquierda de H se obtiene nuevamente X , XH X . Similarmente I H X 0 . La propiedad 2 HH H H

también muestra que H I H 0 , luego la covariancia entre los valores estimados

HY y los residuales I H Y es

2ˆ ˆCov , Cov , 0 Y e HY I H Y H I H



3

Otro nombre para H es proyección ortogonal del espacio de columnas de X . Los elementos de H , los ijh , están dados por

-1 -1/ /ij i j j i jih h / /x X X x x X X x (8.7)

Se pueden obtener muchas relaciones útiles para los ijh . Por ejemplo,

/

1

n

iii

h p

(8.8)

y, si la función media incluye un intercepto,

1 1

1n n

ij iji j

h h

(8.9)

Cada elemento de la diagonal iih esta acotado debajo por 1 n y arriba por 1 r , donde r es el número de filas de X que son idénticas a ix . Tal como puede observarse de (8.6), aquellos casos con valores grandes para iih tendrán valores pequeños para ˆVar íe ; mientras que si iih se acerca a 1 su variancia se aproxima a 0. Para tal caso, no importa que valor de iy es observado para el i -ésimo caso, se esta casi seguro de obtener un residual cercano a 0. Hoaglin y Welsch (1978) señalaron lo anterior usando una versión escalar de (8.2),

1

ˆn n

í ij j ii i ij jj j i

y h y h y h y

(8.10)

En combinación con (8.9), la ecuación (8.10) muestra que conforme iih se acerca a 1, ˆiy se acerca a iy . Por esta razón, iih es llamado el leverage del i -ésimo caso. Aquello casos con valores grandes para iih corresponden a valores inusuales para ix . Asumiendo que el intercepto se encuentra en la función media y usando la notación en términos de desviaciones discutida en el Capítulo 3, iih puede ser escrito como

/ 1* / *1ii i ih

n

x x x x (8.11)

El segundo término hacia el lado derecho de (8.11) es la ecuación de un elipsoide centrado en x , y / */1,i ix x .



4

Por ejemplo, considere nuevamente la data de Naciones Unidas, Sección 3.1. El gráfico de log(PPgdp) versus PUrban se muestra en la Figura 8.1. Las elipses dibujadas sobre el gráfico corresponden a los contornos elípticos para 0.02iih , 0.04, 0.06, 0.08 y 0.10. Cualquier punto que cae en el contorno más grande tiene 0.10iih , mientras que los puntos en el contorno más pequeño tienen 0.02iih . Los puntos cerca del eje mayor

del elipsoide necesitan estar mucho más lejos de x , en el sentido de la distancia Euclidiana, que los puntos cerca del eje menor, para tener el mismo valor iih . En el ejemplo, las l ocalidades con el más alto nivel de urbanización, que son Bermuda, Hong Kong, Singapore y Guadalupe, todas con 100% de urbanización no tienen un valor leverage particularmente alto, tal que todos estos puntos se encuentran entre los contornos para 0.04iih y 0.06. Ninguno de los iih es muy grande, donde el punto marcado corresponde a Liechtenstein tiene relativamente un alto ingreso para una urbanización baja. En otros problemas, se pueden tener puntos con alto leverage cercanos a 1, identificar estos casos resulta útil para entender un problema de regresión.

Figura 8.1 Contornos con leverage constante en dos dimensiones.

8.1.3 Residuales y la matriz hat con pesos Cuando 2 1Var e W con W una matriz diagonal conocida de pesos positivos vistos en la Sección 5.1 requieren cierta modificación. Una versión útil de la matriz hat esta dada por

-11 2 1 2 / /H W X X WX X W (8.12) y los leverages son los elementos de la diagonal de esta matriz. Los valores estimados están dados por ˆˆ Y Xβ donde β es el estimador por MCP.



5

La definición de los residuales es un poco más complicada. La definición “obvia” es

/ˆi iy β x pero tiene deficiencias importantes. Primero, la suma de cuadrados de estos

residuales no es igual a la suma de cuadrados residual ya que los pesos son ignorados. Segundo, la variancia del i -ésimo residual dependerá del peso del caso i . Ambos problemas pueden ser resueltos definiendo los residuales por mínimos cuadrados ponderados para 1, 2, ,i n por

/ˆí i i ie w y β x (8.13)

La suma de cuadrados de estos residuales es la suma de cuadrados residual, y su variancia no depende de los pesos. Cuando todos los pesos son iguales a 1, (8.13) se reduce a (8.4). Para los gráficos y otros procedimientos de diagnóstico discutidos aquí se debería usar (8.13) para definir los residuales. Algunos programas de computadora usan los residuales no ponderados en lugar de (8.13) por defecto. No existe un nombre consistente para estos residuales, por ejemplo, en R los residuales definidos en (8.13) son llamados Pearson residuals en algunas funciones y weighted residuals en otros. A partir de este momento los símbolos ïe o e siempre están referidos a los residuales definidos en (8.13). 8.1.4 Los residuales cuando el modelo es correcto Suponer que U es igual a uno de los términos en la función media, o alguna combinación lineal de ellos. Los residuales son usados por lo general en diagramas de dispersión versus U . Las características importantes de estos gráficos de residuales cuando el modelo estimado es correcto son:

1. La función media es ˆE 0U e . Es decir que el grafico de dispersión de los residuales sobre el eje horizontal versus cualquier combinación lineal de los términos debe tener función media igual a 0.

2. Como 2ˆVar 1 iiU h e aunque el modelo estimado sea correcto, la función variancia no es constante. La variabilidad será menor para casos con leverage alto, con iih cerca de 1.

3. Los residuales están correlacionados, pero esta correlación es por lo general poco importante y no visible en los gráficos.

Cuando el modelo es correcto, los gráficos de residuales deben lucir como gráficos nulos. 8.1.5 Los residuales cuando el modelo no es correcto Si el modelo estimado esta basado en supuestos incorrectos se tendrá gráficos de residuales que no lucen como gráficos nulos. La Figura 8.2 muestra algunos gráficos de residuales para un problema de regresión lineal simple. El primer gráfico es un gráfico nulo que indica que no existen problemas con el modelo estimado. Las Figuras 8.2b-d sugieren variancia no constante con respecto a la cantidad graficada en el eje horizontal.



6

La curvatura aparente en las Figuras 8.2e-h indica una función media incorrecta. Demas las Figuras 8.2g-h sugieren curvatura y variancia no constate.

Figura 8.2 Gráficos de residuales.

En modelos con muchos términos, no es posible asociar necesariamente ciertas tendencias en un gráfico de residuales con un problema particular con los supuestos. Por ejemplo, la Figura 8.3 muestra un gráfico de residuales para la función media estimada 0 1 1 2 2E Y X x x x para la data artificial Precaucion de Cook y Weisberg

(1999b). La forma de embudo abierto hacia la derecha sugiere variancia no constante. Sin embargo esta data fue generada usando la función media

12

2

E2 1.5

xY X

x

x (8.14)

con variancia constante y cuya matriz de dispersión se muestra en la Figura 8.4. El problema real es que la función media es incorrecta, aun cuando a partir del gráfico de residuales sugiere que el problema es de variancias no constante. Un gráfico de residuales no nulo en un problema de regresión lineal múltiple indica que algo anda mal pero no identifica necesariamente el problema.



7

attach(caution) m1=lm(y~x1+x2) plot(fitted(m1),residuals(m1),xlab="Valores estimados",ylab="Residuales") abline(h=0,lty=3)

Figura 8.3 Gráficos de residuales para la data Precaucion.

8.1.6 Data Gasolina2001 De acuerdo con la teoría, si la función media y otros supuestos son correctos, entonces todos los posibles gráficos de residuales versus cualquier función de los términos debe parecer un gráfico nulo. Lo anterior incluye gráficos con cada uno de los términos y los valores estimados, tal como se muestra en la Figura 8.5 para la data CombC. Ninguno de los gráficos versus los términos individuales en las Figuras 8.5a-d sugieren algún problema, aparte del residual positivo relativamente grande para Wyoming y el gran residual negativo para Alaska. En alguno de los gráficos, el punto para el distrito de Columbia se encuentra separado de los otros. Wyoming tiene un valor alto, se encuentra escasamente poblado y tiene un sistema de carreteras bien desarrollado. El conducir grandes distancias para cubrir necesidades vitales, como visitar al doctor, son comunes en este estado. Mientras Alaska también tiene un valor bastante grande y escasamente poblado, la mayoría de las personas viven en áreas relativamente pequeñas cerca de las ciudades. Mucho de Alaska no es accesible por carreteras. Estas condiciones hacen que tenga un bajo consumo de combustible del que pudiera esperarse. El distrito de Columbia es un área urbana bastante compacta con un tránsito bastante rápido, por lo que el uso de los autos tiende a ser mucho menor. Le corresponde un residual pequeño pero tiene valores inusuales para los términos en la función media, es decir se encuentra separado horizontalmente del resto de la data. El distrito de Columbia tiene un alto leverage, 9,9 0.415h , mientras los otros dos son candidatos para ser outliers. Se retomara este ejemplo en el siguiente capítulo.



8

La Figura 8.5e es un gráfico de residuales versus los valores estimados, los cuales son justamente una combinación lineal de los términos. La mayoría de los programas de computación producen este gráfico ya que contiene información de todos los términos en la función media. Existe cierto grado de curvatura en este gráfico, lo cual posiblemente sugiere que la función media no es adecuada para la data. Se volverá a este punto mucho más cuidadosamente en la siguiente sección. La Figura 8.5f es diferente ya que se trata de un gráfico de residuales versus los valores estimados. En realidad se trata de un gráfico reescalado de la Figura 8.5e. Si la función media y los supuestos parecen ser sensibles, entonces se trata de un gráfico resumen para el problema de regresión. La función media para debería seguir la tendencia de la línea mostrada en el gráfico, la cual es la recta por MCO de la variable respuesta versus los valores estimados. Gasolina2001 <- read.table(file="http://tarwi.lamolina.edu.pe/~clopez/Regresion/Gasolina2001.txt", header=T) attach(Gasolina2001) Ingreso=Ingreso/1000 Combustible=1000*Combustible/Poblacion Licencias=1000*Licencias/Poblacion logMillas=logb(Millas,2) m1=lm(formula = Combustible ~ Impuesto + Licencias + Ingreso + logMillas) par(mfrow=c(3,2),mai=c(0.6,0.6,0.1,0.1),mgp=c(2,1,0)) plot(Impuesto,resid(m1),xlab="(a)Impuesto",ylab="Residuales") abline(h=0,lty=2) text(Impuesto[2],resid(m1)[2],"AK",cex=0.8,pos=3) text(Impuesto[51],resid(m1)[51],"WY",cex=0.8,pos=1) text(Impuesto[9],resid(m1)[9],"DC",cex=0.8,pos=1) plot(Licencias,resid(m1),xlab="(b)Licencias",ylab="Residuales") abline(h=0,lty=2) text(Licencias[2],resid(m1)[2],"AK",cex=0.8,pos=3) text(Licencias[51],resid(m1)[51],"WY",cex=0.8,pos=1) text(Licencias[9],resid(m1)[9],"DC",cex=0.8,pos=4) plot(Ingreso,resid(m1),xlab="(c)Ingreso",ylab="Residuales") abline(h=0,lty=2) text(Ingreso[2],resid(m1)[2],"AK",cex=0.8,pos=3) text(Ingreso[51],resid(m1)[51],"WY",cex=0.8,pos=1) text(Ingreso[9],resid(m1)[9],"DC",cex=0.8,pos=1) plot(logMillas,resid(m1),xlab="(d)logMillas",ylab="Residuales") abline(h=0,lty=2) text(logMillas[2],resid(m1)[2],"AK",cex=0.8,pos=3) text(logMillas[51],resid(m1)[51],"WY",cex=0.8,pos=1) text(logMillas[9],resid(m1)[9],"DC",cex=0.8,pos=4)



9

plot(fitted(m1),resid(m1),xlab="(e)Valores estimados",ylab="Residuales") abline(h=0,lty=2) text(fitted(m1)[2],resid(m1)[2],"AK",cex=0.8,pos=3) text(fitted(m1)[51],resid(m1)[51],"WY",cex=0.8,pos=1) text(fitted(m1)[9],resid(m1)[9],"DC",cex=0.8,pos=4) plot(fitted(m1),Combustible,xlab="(e)Valores estimados",ylab="Combustible") text(fitted(m1)[2],Combustible[2],"AK",cex=0.8,pos=3) text(fitted(m1)[51],Combustible[51],"WY",cex=0.8,pos=1) text(fitted(m1)[9],Combustible[9],"DC",cex=0.8,pos=3) abline(lm(Combustible~predict(m1))) lm.influence(m1)$hat[c(2,9,51)] 2 9 51 0.25609617 0.41491327 0.08378222

Figura 8.5 Gráficos de residuales para la data Gasolina2001

8.2 PROBANDO LA CURVATURA Ciertas pruebas pueden ser usadas para ayudar a decidir si los gráficos de residuales como los de la Figura 8.5 corresponden efectivamente a gráficos nulos. Una prueba útil verifica la presencia de curvatura en estos gráficos. Suponga que se tiene un gráfico de residuales e versus una cantidad U sobre el eje horizontal, donde U podría ser un término o una combinación de ellos en la función media (Si U es un término polinomial, por ejemplo 2

1U X , donde 1X es otro término en la función media, entonces este procedimiento no es conveniente). Una prueba simple de curvatura



10

consiste en volver a estimar la función media original a la que se le agregó el término 2U . La prueba de curvatura se encuentra basada en la prueba t para probar la

significancia de 2U . Si la prueba estadística se compara con la distribución Normal estándar para obtener los niveles de significancia entonces es llamada es llamada la prueba de no aditividad de Tukey. La Tabla 8.1 muestra las pruebas de falta de ajuste para los gráficos de residuales de la Figura 8.5. Ninguna de estas pruebas tiene niveles de significación pequeños, por lo que no existe suficiente evidencia contra la función media. Como segundo ejemplo considere nuevamente la data Naciones Unidas, UN, de la Sección 3.1 con variable respuesta log(Fertilidad) y dos predictores log(PBIpp) y Purban. La aparente linealidad en todos los diagramas de dispersión de la matriz en la Figura 8.6 sugiere que la función media

0 1 2E log Fertilidad log PBIpp , Purban log PBIpp Purban (8.15) es apropiada para esta data. Los gráficos de residuales versus los dos términos y los valores estimados se muestran en la Figura 8.7. Sin las líneas de referencia la apariencia de los gráficos es satisfactoria. Sin embargo, las pruebas de curvatura dicen algo diferente. En cada uno de los gráficos, el valor de las pruebas estadísticas mostradas en la Tabla 8.2 tienen un p -valor de 0 a 2 lugares decimales, sugiriendo que la función media (8.15) no es adecuado para esta data. Tabla 8.1 Niveles de significancia para la prueba de falta de ajuste en la Figura 8.5 residualPlots(m1) Test stat Pr(>|t|) Impuesto -1.077 0.287 Licencias -1.922 0.061 Ingreso -0.084 0.933 logMillas -1.347 0.185 Tukey test -1.446 0.148 detach(Gasolina2001) UN <- read.table(file="http://tarwi.lamolina.edu.pe/~clopez/Regresion/UN.txt", header=T) attach(UN) m2=lm(log2(Fertilidad)~log2(PBIpp)+Purban) logUN=cbind(log2(Fertilidad),log2(PBIpp),Purban) lab=c("log(PBIpp)","Purban","log(Fertilidad)") pairs(logUN[,c(2,3,1)],labels=lab)



11

Figura 8.6 Matriz de dispersión para las tres variables en la data UN

Tabla 8.2 Pruebas de falta de ajuste en la data UN residualPlots(m2) Test stat Pr(>|t|) log2(PBIpp) 3.219 0.002 Purban 3.368 0.001 Tukey test 3.653 0.000 8.3 VARIANCIA NO CONSTANTE Un gráfico de residuales también puede indicar si el supuesto de homogeneidad de variancias no se cumple. Existen por lo menos cuatro remedios básicos para este problema. El primero consiste en usar transformaciones para estabilizar la variancia reemplazando Y por TY de tal forma que se logre tener variancia constante en la escala transformada. Una segunda opción es encontrar pesos que puedan ser usados para la estimación por MCP. Los pesos son funciones simples de los predictores, tales como

21Var Y X X , con 1 0X , que pueden justificarse teóricamente. Si existen

repeticiones entonces las variancias intragrupos pueden ser usadas para aproximar los pesos. A pesar de estar más allá del alcance de este curso, también es posible usar mínimos cuadrados generalizados y estimar los pesos y los coeficientes de manera simultanea (ver, por ejemplo, Pinheiro y Bates, 200, Sección 5.1.2). La tercera opción es no hacer nada. Los estimadores de los parámetros, dada una función variancia no especificada, siguen siendo insesgados pero ineficientes. Las pruebas e intervalos de confianza calculados con una función variancia errónea resultaran ser inexactos, en este caso es preferible usar bootstrap para obtener mejores resultados.



12

Figura 8.7 Gráficos de residuales para la data UN. Las líneas punteadas curvas

son polinomios cuadráticos estimados en el gráfico de residuales y no corresponden exactamente a pruebas de falta de ajuste que adicionan un término cuadrático a la

función media original. La opción final es usar modelos de regresión que consideren la variancia no constante como una función de la media. Estos modelos son llamados modelos lineales generalizados y son discutidos en el contexto de la regresión logística del Capítulo 12, en esta sección, se consideran por el momento, las dos primeras opciones. 8.3.1 Transformaciones para estabilizar variancias Suponga que la variable respuesta es estrictamente positiva y que la función variancia antes de la transformación es

2Var EY X g Y X x x (8.16)



13

donde Eg Y X x es una función que se incrementa con el valor de su argumento.

Por ejemplo, si la distribución de Y X es Poisson, entonces

E Eg Y X Y X x x ya que para este tipo de variables, la media y variancia son iguales. Para distribuciones en las que la media y variancia se encuentran funcionalmente relacionadas por (8.16), Scheffé (1959, Sección 10.7) desarrolla una teoría general para determinar las transformaciones que estabilicen la variancia, es decir tal que

Var TY X x sea aproximadamente constante. La Tabla 8.3 lista las transformaciones más comunes. Sin embargo, aplicar estas transformaciones sin la existencia de variancia constante puede introducir no linealidad en la función media por lo que esta opción no siempre es razonable. Las transformaciones raíz cuadrada, log Y y 1 Y son apropiadas cuando la variancia aumenta o disminuyen con la variable respuesta, donde cada transformación es más severa que la anterior. La transformación raíz cuadrada es relativamente suave y es más apropiada cuando la variable respuesta sigue una distribución de Poisson. El logaritmo es la transformación más usada; la base es irrelevante. Es apropiada cuando la desviación estándar del error es un porcentaje de la variable respuesta, tal como 10% de la variable respuesta. La transformación recíproca o inversa es usada generalmente cuando la variable respuesta es el tiempo hasta la ocurrencia de un evento, tal como el tiempo hasta completar una tarea, o el tiempo hasta recuperarse. De esta forma se convierte el tiempo por evento a una tasa por unidad de tiempo y a menudo las mediciones transformadas deben ser multiplicadas por una constante para evitar tener números muy pequeños. Tabla 8.3 Transformaciones comunes para estabilizar la variancia

TY Comentarios Y Usada cuando Var EY X Y X , tal como data con distribución de

Poisson. También puede usarse 1TY Y Y si todos las frecuencias son pequeñas (Freeman y Tukey, 1950)

log Y Usada cuando 2Var EY X Y X . En este caso los errores se

comportan como un porcentaje de la variable respuesta, 10% . 1 Y La transformación inversa estabiliza la variancia cuando

4Var EY X Y X . Puede ser adecuada cuando la variable respuesta toma valores bastante cercanos a cero, pero ocasionalmente se tienen valores grandes.

1sen Y La transformación raíz arcoseno es usada si Y es una proporción entre 0 y 1. Por lo general puede usarse si y tiene un rango limitado primero transformado Y en el rango 0,1 y luego aplicando esta transformación.



14

8.3.2 Un diagnóstico para variancia constante Cook y Weisberg (1983) proporcionan una prueba diagnostico para detectar variancia no constante. Suponer que Var Y X depende de un vector de parámetros desconocidos λ y de un conjunto de términos conocidos Z con valores observados para el i -ésimo caso iz . Por ejemplo, si Z Y , entonces la variancia depende de la variable respuesta. Similarmente, Z podría ser la misma X , un subconjunto de la misma, o de hecho completamente diferente de X . Se asume que

2 /Var , expY X Z z λ z (8.17) Asumiendo que los errores están normalmente distribuidos se puede usar una prueba de score para λ 0 . La prueba se lleva a cabo usando los siguientes pasos:

1. Calcular la estimación por MCO usando la función media

/E Y X x β x como si

2Var ,Y X Z z

o equivalentemente λ 0 . Obtener los residuales ie .

2. Calcular los residuales al cuadrado escalados 2 2 2 / 2ˆ ˆ ˆi i iu e ne n p ,

donde 2 2ˆ je n es el estimador de máxima verosimilitud de 2 y difiere de 2 en el divisor n en lugar de /n p . Combinar los iu en la variable U .

3. Calcular la regresión con la función media /0E U Z z λ z . Obtener

SCReg con gl = q , el número de componentes en Z . Si la variancia es una función de la variable respuesta, entonces reemplazar Z por los valores estimados de la regresión en el paso 1. La SCReg entonces tendrá 1 gl.

4. Calcular la prueba de score, SCReg 2S . El nivel de significancia para esta prueba puede obtenerse comparando S con su distribución asintótica, la cual, bajo la hipótesis λ 0 , es 2 q . Si λ 0 , entonces S será muy grande por lo que se tendrá evidencia en contra de la hipótesis de variancia constante.

Si se tiene un conjunto inicial de pesos conocidos, entonces la prueba de score puede basarse en la estimación de la función variancia

2

/Var , expY X Zw

z λ z (8.18)



15

La hipótesis nula para la prueba de score es 2Var ,Y X Z w z versus la alternante dada en (8.18). La prueba es exactamente la misma desarrollada anteriormente, excepto por el paso uno donde debe usarse la regresión por MCP con pesos w y en los siguientes pasos deben usarse los residuales dados en (8.13). Gansos en la nieve La relación entre Foto = conteo de fotos, obs1 = conteo por el observador 1, y obs2 = conteo por el observador 2 de multitudes de gansos en el área de la bahía de Hudson Canadá se discutió en el Problema 5.5 del Capítulo 5. La data se muestra en la Figura 8.8. Puede observarse que (1) existe desacuerdos entre los observadores; (2) los observadores no pueden predecir apropiadamente el número de gansos a partir de la foto, y (3) la variabilidad parece ser mayor para grandes multitudes. detach(UN) > Gansos <- read.table(file="http://tarwi.lamolina.edu.pe/~clopez/Regresion/Gansos.txt", header=T) attach(Gansos) pairs(Gansos,cex.labels=1)

Figura 8.8 La data Gansos.

Usando solamente el primer observador, se ilustra el cálculo de la prueba de score para variancia constante. El primer paso es estimar la regresión por MCO de Foto sobre obs1. La función media estimada es E Foto Obs1 26.55 0.88Obs1 . Luego obtener

los residuales ie , 2 2ie n y luego 2ˆi iu e . Luego se calcula la regresión de U

sobre obs1, bajo la hipótesis sugerida por la Figura 8.8 que la variancia se incrementa con obs1. La tabla de análisis de variancia para esta segunda regresión es:



16

m1=lm(Foto ~ obs1) coef(m1) (Intercept) obs1 26.6495726 0.8825569 sig2=sum(residuals(m1)^2)/dim(Gansos)[1] U=residuals(m1)^2/sig2 m2=lm(U ~ obs1) anova(m2) Analysis of Variance Table Response: U Df Sum Sq Mean Sq F value Pr(>F) Obs1 1 162.826 162.826 50.779 8.459e-09 *** Residuals 43 137.881 3.207 --- Signif. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 La prueba score para variancia no constante es 1 2 SCReg 1 2 162.83 81.41S , la cual comparada con la distribución chi-cuadrado con 1 grado de libertad se obtiene un p -valor extremadamente pequeño. La hipótesis de variancia residual constante no es

sostenible. El analista debe ahora hacer frente a la evidencia de variancia no constante en la data. Datos de succionador Cundo la gasolina es bombeada dentro del tanque, los vapores de hidrocarbono son forzados a salir del tanque hacia la atmósfera. Para reducir esta fuente significativa de contaminación del aire se instalan dispositivos para capturar el vapor. En las pruebas para estos sistemas de recuperación de vapor, un “succionador” mide la cantidad recuperada. Para estimar la eficiencia del sistema se usan algunos métodos de estimación de la cantidad total emitida. Un experimento de laboratorio fue conducido donde la cantidad emitida de vapor fue medida bajo condiciones controladas. Cuatro predictores son relevantes para el modelamiento:

TempTan = Temperatura inicial del tanque (grados F) TempGas = Temperatura de la gasolina dispensada (grados F) PresTan = Presión inicial del vapor en el tanque (psi) PresGas = Presión del vapor de la gasolina dispensada (psi)

La variable respuesta Y es la cantidad de hidrocarburos emitidos en gramos. La data se encuentra en el enlace Succionador.txt y se muestra en la Figura 8.9. El agrupamiento de puntos en muchos de los diagramas de dispersión pareciera indicar el uso de variables cualitativas sin embargo los predictores medidos durante el experimento fueron cuantitativos. También se puede observar que (1) los predictores se encuentran linealmente relacionados, por lo que no es necesario utilizar las transformaciones, y (2) en el caso de las dos variables que miden la presión no seria recomendable considerar ambas en la función media. Por ahora, sin embargo, se usaran los cuatro términos para



17

la estimación por MCO como si la función variancia fuese constante. Algunos gráficos de residuales para esta regresión se muestran en la Figura 8.10. Las Figuras 8.10b y c son los gráficos de residuales versus TempTan y PresGas y muestran que, especialmente en la Figura 8.10c, la variancia parece incrementarse de izquierda a derecha. Como ninguno de los gráficos en la Figura 8.9 presenta una función media no lineal se puede inferir que presumiblemente la variancia no permanece constante. detach(Gansos) > Succionador <- read.table(file="http://tarwi.lamolina.edu.pe/~clopez/Regresion/Succionador.txt", header=T) attach(Succionador) pairs(Succionador,cex.labels=1)

Figura 8.9 Diagrama de dispersión para la data Succionador.

m1=lm(Y~TempTan+TempGas+PresTan+PresGas) par(mfrow=c(2,2),mar=c(4,3,0,0.5)+0.1,mgp=c(2,1,0)) plot(predict(m1),residuals(m1),xlab="(a) Yhat", ylab="Residuales") abline(h=0) plot(TempTan,residuals(m1),xlab="(b) Temperatura del tanque",ylab="Residuales") abline(h=0) plot(PresGas,residuals(m1),xlab="(c) Presion del Gas",ylab="Residuales") abline(h=0) U=residuals(m1)^2*125/(sum(residuals(m1)^2)) m3=update(m1,U~.) plot(predict(m3),residuals(m1),xlab="(d) Combinacion lineal",ylab="Residuales") abline(h=0)



18

Figura 8.10 Gráficos de residuales para la data Succionador asumiendo variancia

constante. library(car) s1=ncvTest(m1,~TempTan) s2=ncvTest(m1,~PresGas) s3=ncvTest(m1,~TempTan+PresGas) s4=ncvTest(m1,~TempTan+TempGas+PresTan+PresGas) s5=ncvTest(m1) tabla=data.frame(gl=c(s1$Df, s2$Df, s3$Df, s4$Df, s5$Df), S=c(s1$ChiSquare, s2$ChiSquare, s3$ChiSquare, s4$ChiSquare, s5$ChiSquare), p_valor=c(s1$p, s2$p, s3$p, s4$p, s5$p)) row.names(tabla)=c(s1$formula, s2$formula, s3$formula, s4$formula, s5$formula) round(tabla,3) Tabla 8.4 Pruebas score para la data Succionador gl S p_valor ~TempTan 1 9.706 0.002 ~PresGas 1 5.500 0.019 ~TempTan + PresGas 2 11.778 0.003 ~TempTan + TempGas + PresTan + PresGas 4 13.760 0.008 ~fitted.values 1 4.803 0.028 La Tabla 8.4 muestra los resultados de varias pruebas score, calculados usando diferentes Z . A partir de los resultados de esta tabla se podría diagnosticar variancia no constante como función de varios valores de Z .



19

8.4 GRAFICOS PARA EVALUAR EL MODELO Los gráficos de residuales son usados para examinar los modelos de regresión. Si se encuentran fallas sistemáticas entonces necesitan ser reformulados para encontrar un mejor modelo. Un problema muy relacionado es el de evaluar que tan bien el modelo ajusta la data. Suponga un problema de regresión con un predictor para el que se estimó un modelo de regresión lineal simple. Las pruebas de falta de ajuste se desarrollaron en la Sección 5.3 y 6.1. Se desarrolla un procedimiento que usa los gráficos de modelos marginales. Se ilustra la idea con un problema de regresión que tiene un solo predictor. En la Sección 7.1.2 se discutió la regresión de Altura sobre Dbh para una muestra de árboles en Idaho. La función media

0 1E Altura Dbh Dbh (8.19) resulta ser bastante pobre para resumir la data, tal como se puede observar en la Figura 8.11. Se muestran dos suavizadores en el gráfico. La estimación por MCO de (8.19) en línea punteada y el estimado loess, en línea sólida. Si en los gráficos estas curvas son diferentes, entonces se tiene evidencia visual en contra de la función media correspondiente a la regresión lineal simple La estimación por loess es claramente curva por lo que la función media (8.19) no es un buen resumen para este problema de regresión. attach(Arboles) c1=lm(Altura~Dbh) mmp(c1,Dbh,label="Diametro, Dbh")

Figura 8.11 Gráfico para el chequeo de la regresión lineal simple de la data

Arboles.



20

Aunque la Figura 8.11 incluye la data, el interés principal en este gráfico es el de comparación de las dos curvas usando la data como ayuda para escoger el parámetro de suavización para el suavizado loess, para visualizar la dispersión y localizar cualquier punto extremo o inusual. 8.4.1 Chequeando la función media Con más de un predictor será necesario observar los modelos marginales para obtener una secuencia de gráficos en dos dimensiones a examinar. Suponga que el modelo estimado tiene función media /E Y X β x , aunque la forma exacta no es en realidad importante. Se construyen gráficos con la variable respuesta Y sobre el eje vertical y sobre el eje horizontal una cantidad U que consiste de alguna función de X que se piense sea relevante, tales como los valores estimados, algunos términos de X o algunas transformaciones de los mismos. Luego utilizar un suavizador en el gráfico de Y versus U para estimar E Y U sin considerar algún supuesto. Finalmente comparar

este suavizado con un estimado de E Y U basado en el modelo. Como ejemplo, se retoma la data UN de la Sección 8.2 cuya función media dada por (8.15) es

0 1 2E log Fertilidad log PBIpp , Purban log PBIpp Purban (8.21) y suponga que log PBIppU , uno de los términos de la función media. La Figura

8.12 muestra los gráficos de log Fertilidad versus U y de Y versus U . Superponiendo el suavizado de la Figura 8.12b sobre la Figura 8.12a se obtiene el gráfico de modelo marginal mostrado en la Figura 8.13a. Las dos curvas estimadas lucen diferentes, lo cual sugiere que la función media (8.21) no es adecuada. Se muestran adicionalmente en la Figura 8.13 tres gráficos de modelo marginal. Los gráficos versus Purban versus los valores estimados exhiben un suavizado no lineal para la función media comparado con el suavizado lineal basado en el modelo estimado, confirmando lo inadecuado de la función media. El gráfico final en la Figura 8.13d es ligeramente diferente. La cantidad sobre el eje horizontal es una combinación lineal aleatoria de Purban y log(PBIpp). En esta dirección, ambos suavizados son curvos y muy parecidos a excepción posiblemente del borde izquierdo del gráfico. Si el modelo estimado es apropiado para la data, entonces los dos suavizados en los gráficos de modelo marginal serán parecidos a cualquier U incluyendo algunas selecciones aleatorias. Si el modelo es incorrecto, entonces para algunos U , los dos suavizadores serán diferentes. attach(UN) m1=lm(log2(Fertilidad)~log2(PBIpp)+Purban) par(mfrow=c(2,2),mai=c(0.6,0.6,0.1,0.1),mgp=c(2,1,0),cex=0.75) plot(log2(PBIpp),log2(Fertilidad),xlab="(a) log2(PBIpp)",ylab="log2(Fertilidad)") lines(lowess(log2(PBIpp),log2(Fertilidad),iter=1,f=2/3)) plot(log2(PBIpp),predict(m1),xlab="(b) log2(PBIpp)",ylab="Valores estimados")



21

lines(lowess(log2(PBIpp),predict(m1),iter=1,f=2/3))

Figura 8.12 Gráficos para log2(Fertilidad) versus log2(PBIpp) y y versus

log2(PBIpp). Como la función media (8.21) es inadecuada, es necesario considerar algunas modificaciones. Una alternativa es expandir (8.15) incluyendo términos cuadráticos para ambos términos y su interacción. Usando los métodos descritos anteriormente se concluye que la función media

0 1 2

222

E log Fertilidad log PBIpp , Purban log PBIpp Purban

Purban

(8.22)

estima la data de manera satisfactoria, tal como lo confirman los gráficos de modelo marginal de la Figura 8.14. Evidentemente, adicionando el término Purban al cuadrado permite que el incremento sobre log(Fetilidad) sea menor cuando PUrban es grande en comparación a cuando este termino es pequeño. par(mfrow=c(2,2),mai=c(0.6,0.6,0.1,0.1),mgp=c(2,1,0),cex=0.75) mmp(m1,u=log2(PBIpp),label="(a) log2(PBIpp)",color=1:2) mmp(m1,u=Purban, label="(b) Purban",color=1:2) mmp(m1,label="(c) Valores estimados",color=1:2) dir=0.3*log2(PBIpp)/sd(log2(PBIpp)) + -0.7*Purban/sd(Purban) mmp(m1,u=dir,label="(d) Direccion aleatoria",color=1:2)



22

Figura 8.13 Cuatro gráficos de modelo marginal, versus los dos términos en la

función media, valores estimados y una combinación lineal aleatoria de los términos en la función media.

8.4.2 Chequeando la función variancia Los gráficos también pueden ser usados para verificar e supuesto de variancia constante. Se define la función desviación estándar como la raíz cuadrada de la función variancia. El gráfico de Y versus U puede usarse para obtener un estimado de la función desviación estándar, dataDE Y U . Este estimado no depende de modelo. m2=update(m1, ~.+I(Purban^2)) par(mfrow=c(2,2),mai=c(0.6,0.6,0.1,0.1),mgp=c(2,1,0),cex=0.75) mmp(m2,u=log2(PBIpp),label="(a) log2(PBIpp)",color=1:2) mmp(m2,u=Purban, label="(b) Purban",color=1:2) mmp(m2,label="(c) Valores estimados",color=1:2) dir=0.3*log2(PBIpp)/sd(log2(PBIpp)) + -0.7*Purban/sd(Purban) mmp(m2,u=dir,label="(d) Direccion aleatoria",color=1:2)



23

Figura 8.14 Gráficos de modelo marginal para la data UN, incluyendo un término

cuadrático para Purban. Es necesario un estimado, basado en el modelo, de la desviación estándar. Aplicando (A.5) y sustituyendo nuevamente por ˆ E Y U Y u ,

Var E Var Var EY U Y X U Y X U u (8.23) 2 ˆE VarU U Y

2 ˆVar U Y (8.24)

La ecuación (8.23) es un resultado general que funciona para cualquier modelo. La ecuación (8.24) solo funciona en aquel modelo de regresión lineal con función variancia constante 2Var Y X . De acuerdo a este resultado, se puede estimar la Var Y U

bajo el modelo tomando un suavizado de la variancia de Y versus U , y luego adicionándole un estimado de 2 , para el cual se usa el estimado 2 de MCO del modelo. Se llamara la raíz cuadrada de esta función variancia estimada a

modeloDE Y U . Si el modelo es apropiado para la data, entonces además del error de

muestreo, data modeloDE DEY U Y U pero si el modelo es incorrecto, estas dos funciones serán diferentes.



24

Se muestra la función media estimada a partir del gráfico dataDE Y U usando líneas

sólidas y la función media estimada del modelo modeloDE Y U usando líneas punteadas. Se uso el mismo parámetro de suavización para todos los suavizados de tal forma que cualquier sesgo debido a la suavización tienda a cancelarse. Estos suavizados para la data UN se muestra en la Figura 8.15, primero para la estimación de (8.21) y luego para la estimación de (8.22). Para ambos, los valores estimados se encuentran en el eje horizontal, aunque es posible poner cualquier cosa sobre este eje. Además de los bordes del gráfico donde los suavizados son menos exactos, estos gráficos no sugieren algún problema de variancia no constante, así como las funciones variancia estimadas usando los dos métodos son similares, particularmente para la función media (8.22) que aproxima bastante bien la data. par(mfrow=c(2,2),mai=c(0.6,0.6,0.1,0.1),mgp=c(2,1,0),cex=0.7) mmp(m1,sd=TRUE,label="(a) Valores estimados",color=1:2) mmp(m2,sd=TRUE,label="(b) Valores estimados",color=1:2)

Figura 8.15 Gráficos de modelo marginal con suavizados para la desviación

estándar adicionados. (a) Modelo original, (b) Término cuadrático adicionado. Los gráficos de modelo marginal descritos en este capítulo pueden aplicarse en cualquier problema de regresión, no necesariamente lineal. Por ejemplo, Pan, Conté, Porzio y Weisberg (2001) discuten una aplicación para data longitudinal, y Porzio (2002) discute gráficos de modelo marginal calibrados para la regresión binaria.

DIAGNOSTICOS DE REGRESION: RESIDUALESclopez/Regresion/Residuales.pdf · diagnosticos de regresion:...

Documents

Transcript of DIAGNOSTICOS DE REGRESION: RESIDUALESclopez/Regresion/Residuales.pdf · diagnosticos de regresion:...