15-1 15 Análisis de Regresión Múltiple. Se ha visto el tema del análisis de regresión simple:...
-
Upload
ariadna-yniguez -
Category
Documents
-
view
234 -
download
0
Transcript of 15-1 15 Análisis de Regresión Múltiple. Se ha visto el tema del análisis de regresión simple:...
15-1
15Análisis de Regresión Múltiple
Se ha visto el tema del análisis de regresión simple:
Precio de la casa = β0 + β1(Área de la casa) + ε
Pero en general, una variable dependiente depende de más de una variable independiente:
Precio de la casa puede depender de:ÁreaAntigüedadNúmero de bañosÁrea del garajeEtc.
15-2
Para tratar este tipo de problemas se requiere expandir el análisis de regresión:
Regresión Lineal Simple
Regresión Lineal Múltiple
15-3
y = β0 + β1x1 + ε
y = β0 + β1x1 + β2x2 + ……… + βpxp + ε
15-4
15-5
Objetivos
Explicar la construcción de modelos usando el análisis de regresión múltiple.
Aplicar el análisis de regresión múltiple en la toma de decisiones de negocios.
Analizar e interpretar los resultados de programas estadísticos para un modelo de regresión múltiple.
Evaluar la significancia de las variables indepen-dientes en un modelo de regresión múltiple.
15-6
Objetivos
Reconocer problemas potenciales en el análisis de regresión múltiple y tomar acciones para corregirlos.
Incorporar variables cualitativas en el modelo de regresión usando variables dummies.
(continuación)
15-7
Modelo de Regresión Múltiple
Objetivo: Examinar la relación lineal entreuna variable dependiente (y) y
dos o más variables independientes (xi)
åxâxâxâây kk22110 +++++= K
ie+++++= kik2i21i10i xbxbxbby K
Modelo poblacional:
Y-intercepto Pendientes Error aleatorio
Valor de y Pendientes estimadas
Modelo de regresión múltiple muestral:
y-intercepto estimado
Error muestral
15-8
Modelo de Regresión Múltiple
Objetivo: Examinar la relación lineal entreuna variable dependiente (y) y
dos o más variables independientes (xi)
åxâxâxâây kk22110 +++++= K
kk22110 xbxbxbby ++++= K
Modelo poblacional:
Y-intercepto Pendientes Error aleatorio
Valor estimado o predecido de ŷ
Pendientes estimadas
Modelo de regresión múltiple estimado:
y-intercepto estimado
15-9
Modelo de Regresión Múltiple
Modelo de dos variables:y
x1
x2
22110 xbxbby ++=
Pendiente para la
varia
ble x 1
Pendiente para la variable x2
Llamado hiperplano de regresión
15-10
y
x1
x2
22110 xbxbby ++=yi
yi
<
e = (y – y)
<
x2i
x1iLa ecuación de mejor ajuste, y, es hallada minimizando la suma de cuadrados del error, e2
<
Observación muestral
Modelo de Regresión Múltiple
Modelo de dos variables:
(continuación)
15-11
Modelo de Regresión Múltiple Poblacional
Los términos de error (ε) son realizaciones estadísticamente independientes de una variable aleatoria para cada nivel de x.
Para un valor dado de x, pueden existir muchos valores de y, por lo tanto muchos valores posibles para La distribución de los posibles errores del modelo para cualquier nivel de x es normal.
Las distribuciones de los posibles valores de los errores tienen igual varianza en cada nivel de x.
Las medias de la variable dependiente y, para todos los valores especificados de x, pueden ser conectados con una línea la cual es el componente lineal del modelo de regresión poblacional.
Supuestos:
Conceptos Básicos
para la
Construcción de Modelos
15-12
15-13
Conceptos Básicos para la Construcción de Modelos
Los modelos son usados para evaluar cambios sin implementarlos en el sistema real.
Los modelos pueden ser usados para predecir “outputs” basados en “inputs” específicos.
El proceso de construcción de modelos consiste de 3 etapas:
Especificación del modelo Ajuste del modelo Diagnóstico del modelo
15-14
Conceptos Básicos para la Construcción de Modelos
Las 3 etapas:
Especificación del modelo Especificación del modelo de regresión poblacional. Recolección de la data muestral.
Formulación o construcción del modelo Cálculo de los coeficientes de correlación entre las distintas variables,
dependientes e independientes. Ajuste del modelo a la data. Estimación de la ecuación de regresión
múltiple.
Diagnóstico del modelo Pruebas estadísticas para determinar la bondad de ajuste del modelo
a la data. Verificación de los supuestos de regresión múltiple.
15-15
Especificación del Modelo
A veces referido como identificación del modelo
Es un proceso para establecer la estructura del modelo Decidir qué se quiere hacer y seleccionar la variable
dependiente (y).
Determinar las potenciales variables independientes (x) para el modelo.
Recolectar los datos muestrales (observaciones) para todas las variables. Sugerencia: Tamaño muestral de al menos 4 veces el número de variables independientes.
15-16
Construcción del Modelo
Es el proceso de contruir la ecuación para los datos.
Puede incluir todas o algunas de las variables independientes (x).
El objetivo es explicar la variación en la variable dependiente (y) a través de la relación lineal con las variables independientes seleccionadas (x).
15-17
Diagnóstico del Modelo
Analizar la calidad del modelo (efectuar las pruebas de diagnóstico).
Evaluar el grado en que los supuestos se satisfacen.
Si el modelo es inaceptable, iniciar el proceso de construcción del modelo nuevamente.
Usar el modelo más simple que satisfaga las necesidades.
El objetivo es ayudar a tomar mejores decisiones.
15-18
Ejemplo
Un distribuidor de pies (postres) desea evaluar los factores que se cree influyen en la demanda
15-19
Diagramas de Dispersión
15-20
Ejemplo:Especificación del Modelo
Un distribuidor de pies (postres) desea evaluar los factores que se cree influyen en la demanda
Variable dependiente: Ventas (unidades / semana)
Variables independientes: Precio ($) y Publicidad ($100)
Modelo de Regresión múltiple Poblacional:
Ventas = β0 + β1(Precio) + β2(Publicidad) + ε
Ejemplo: Construcción o Formulación del Modelo
Modelo de Regresión Múltiple (Muestral):
Ventasj = b0 + b1(Precioj) + b2(Publicidadj) + errorj
Modelo de Regresión Múltiple Lineal
Ventas = b0 + b1(Precio) + b2(Publicidad)
15-21
15-22
Interpretación de los Coeficientes Estimados
Pendientes (bi)
Estiman el cambio en el valor promedio de “y” como bi unidades por cada unidad de incremento en xi manteniendo las otras variables constantes.
Ejemplo: Si b1 = -20, entonces se espera que las ventas promedio (y) se reduzcan en 20 pies por semana por cada $1 en que se incremente el precio (x1), manteniendo constante la variable publicidad (x2).
y-intercepto (b0)
Estima el valor promedio de y cuando todas las variables xi son iguales a cero (suponiendo que el valor cero está dentro de los rangos de valores que pueden tomar los xi).
Formulación del Modelo
Los datos de 15 semanas son recolectados….
15-23
15-24
Formulación del Modelo
Ventas = b0 + b1 (Precio)
+ b2 (Publicidad)
Sema-na
Venta de pies
Precio($)
Publicidad($100s)
1 350 5.50 3.3
2 460 7.50 3.3
3 350 8.00 3.0
4 430 8.00 4.5
5 350 6.80 3.0
6 380 7.50 4.0
7 430 4.50 3.0
8 470 6.40 3.7
9 450 7.00 3.5
10 490 5.00 4.0
11 340 7.20 3.5
12 300 7.90 3.2
13 440 5.90 4.0
14 450 5.00 3.5
15 300 7.00 2.7
Venta de
pies Precio Publicidad
Venta de Pies 1
Precio -0.44327 1
Publicidad 0.55632 0.03044 1
Matriz de correlación:
Modelo de Regresión Múltiple:
15-25
Matriz de Correlación
Las correlaciones entre la variable dependiente y las variables independientes seleccionadas pueden obtenerse usando Excel: Datos / Análisis de datos / Coeficiente de correlation
Puede evaluar la significancia estadística de la correlación con una prueba t
15-26
Matriz de Correlación: Ventas de Pies
Ventas vs. Precio : r = -0.44327 Hay una asociación lineal negativa entre las
ventas y el precio Ventas vs. Publicidad : r = 0.55632
Hay una asociación lineal positiva entre las ventas y la publicidad
Ventas de
pies Precio Publicidad
Ventas de pies 1
Precio -0.44327 1
Publicidad 0.55632 0.03044 1
15-27
Estimación de la Ecuación de Regresión Lineal Múltiple
Programas estadísticos (computadora) son generalmente usados para generar estimados de los coeficientes y medidas de bondad de ajuste de la regresión múltiple
Excel: Datos / Análisis de datos / Regresión
15-28
Excel: Datos / Análisis de datos / Regresión
Estimación de la Ecuación de Regresión Lineal Multiple
(continuación)
15-29
Regresión Múltiple: Excel (Resultado)
licidad)74.131(Pub cio)24.975(Pre - 306.526 Ventas +=
15-30
b1 = -24.975: Las ven-tas decrecerán en promedio 24.975 pies por semana por cada $1 incrementado en el precio, manteniendo constante la publici-dad
b2 = 74.131: Las ventas crecerán en promedio 74.131 pies por semana por cada $100 incrementado en publicidad, manteniendo cons-tante el precio
Donde: Ventas (número de pies por semana) Precio ($) Publicidad ($100’s)
licidad)74.131(Pub cio)24.975(Pre - 306.526 Ventas +=
Regresión Múltiple: Excel (Resultado)
(continuación)Ecuación estimada de regresión múltiple:
15-31
Usando el Modelo para hacer Predicciones
Predecir las ventas de una semana en la cual el precio es $5.50 y la publicidad es $350.
La venta pre-decida es
428.62 pies
Nota: La publicidad está en $100’s,
entonces x2 = 3.5 significa $350
licidad)74.131(Pub cio)24.975(Pre - 306.526 Ventas +=
428.62
(3.5) 74.131 (5.50) 24.975 - 306.526
=+=
15-32
Coeficiente de Determinación Múltiple (R2)
Reporta la proporción de la variación total en y que es explicada por todas las variables (juntas) x consideradas en el modelo
cuadrados de totalSumaregresión de cuadrados de Suma
SSTSSR
R 2 ==
15-33
.52148056493.3
29460.0
SST
SSRR 2 ===
El 52.1% de la variación en las ventas es explicada por la va-riación en los precios y la publi-cidad
(continuación)
Coeficiente de Determinación Múltiple (R2)
15-34
R2 Ajustado
R2 nunca decrece cuando una nueva variable x es añadida al modelo Esto puede ser una desventaja cuando se
compara modelos ¿Cuál es el efecto neto de agregar una nueva
variable? Se pierde un grado de libertad cuando una
nueva variable x es añadida ¿La nueva variable x aporta suficiente poder
explicativo para compensar la pérdida de un grado de libertad?
15-35
Muestra la proporción explicada de la variación en y por las variables x’s tomando en cuenta la relación entre el tamaño de muestra y el número de variables independientes
(Donde n = Tamaño muestral, k = Número de variables independientes)
Penaliza el uso excesivo de variables independientes no importantes
Es más pequeña que el R2
Útil en la comparación entre modelos
(continuación)
⎟⎠
⎞⎜⎝
⎛−−
−−−=
1kn
1n)R1(1R 22
A
R2 Ajustado
15-36
.441720R 2A =
El 44.2% de la variación en las ventas es explicada por la variación en los precios y la publicidad, tomando en cuenta la relación entre el tamaño de muestra y el número de variables independientes
Coeficiente de Determinación Múltiple: Excel (Resultado)
15-37
Diagnóstico del Modelo: Prueba F (Significancia General)
Prueba F para la significancia del modelo (general)
Muestra si hay una relación lineal entre todas las variables x (consideradas en forma conjunta) e y
Usa el estadístico de prueba F
Hipótesis: H0: β1 = β2 = … = βk = 0 (No hay relación lineal)
HA: Al menos un βi ≠ 0 (Existe relación lineal entre (y) y al menos un xi)
15-38
Estadístico de prueba:
Donde: Los grados de libertad de F son:
glnumerador = k
gldenominador = (n – k – 1)
(continuación)
MSE
MSR
1knSSE
kSSR
F =
−−
=
Diagnóstico del Modelo: Prueba F (Significancia General)
15-39
6.53862252.8
14730.0
MSE
MSRF ===
(continuación)
Con 2 y 12 grados de libertad
Valor P para la prueba
Diagnóstico del Modelo: Prueba F (Significancia General)
15-40
H0: β1 = β2 = 0; HA: β1 o β2 es diferente de cero
Conclusión: Hay suficiente evidencia para concluir que el modelo de regresión explica parte de la variación en la venta de pies (al menos una de las pendientes de regresión no es cero)
0 = 0.05
Rechazar H0No rechazar H0
6.5386F ==MSEMSR
Valor crítico: F0.05 = 3.885
F
(continuación)
Diagnóstico del Modelo: Prueba F (Significancia General)
= 0.05glnumerador= 2gldenominador = 12
Estadístico de prueba:
Decisión: Como F = 6.53 > 3.89 = F0.05 , entonces se rechaza H0
15-41
Diagnóstico del Modelo:¿Las Variables Individuales son Significativas?
Usar la prueba t para evaluar la significancia de cada pendiente
Muestra si hay una relación lineal entre la variable xi e y
Hipótesis:
H0: βi = 0 (No hay relación lineal)
HA: βi ≠ 0 (Existe relación lineal entre xi e y)
15-42
H0: βi = 0 (No hay relación lineal)
HA: βi ≠ 0 (Existe relación lineal entre xi e y)
Estadístico de prueba:
(gl = n – k – 1)
ib
i
s
0bt
−=
(continuación)
Diagnóstico del Modelo:¿Las Variables Individuales son Significativas?
15-43
El estadístico de prueba t para el Precio es -2.306 (valor p = 0.0398)
El estadístico de prueba t para la Publicidad es 2.855 (valor p = 0.0145)
(continuación)
Diagnóstico del Modelo:¿Las Variables Individuales son Significativas?
15-44
g.l. = 15-2-1 = 12
= 0.05
t/2 = 2.1788
H0: βi = 0; HA: βi 0
Excel (Resultado): Coeficientes Error típico Estadístico t Valor p
Precio -24.97509 10.83213 -2.30565 0.03979
Publicidad 74.13096 25.96732 2.85478 0.01449
Decisión: Para cada variable se rechaza H0
Rechazar H0Rechazar H0
/2=0.025
-tα/2
No rechazar H0
0 tα/2
/2=0.025
-2.1788
(continuación)
Diagnóstico del Modelo:¿Las Variables Individuales son Significativas?
2.1788
Conclusión: Hay evidencia suficiente para concluir que cada variable in- dividual (Precio y Publicidad) afecta a la venta de pies, dada la presencia de la otra para =0.05
15-45
Intervalos de Confianza para las Pendientes
El intervalo de confianza para la pendiente poblacional β1 (efecto sobre las ventas de pie respecto a cambios en el precio):
Ejemplo: Las ventas semanales de pies se reducirán entre 1.37 a 48.58 pies por cada incremento de $1 en el precio
ib2/i stb ± Donde t tiene (n – k – 1) g.l.
15-46
Desviación Estándar del Modelo de Regresión
La estimación de la desviación estándar del modelo de regresión está dada por:
MSEkn
SSEs =
−−= 1
¿Este valor es grande o pequeño? Para evaluarlo se debe comparar con el promedio de y
15-47
La desviación estándar del modelo de regresión es 47.46
(continuación)
Desviación Estándar del Modelo de Regresión
15-48
La desviación estándar del modelo de regresión es 47.46
Un rango de predicción para las ventas de pies en una semana se puede aproximar por
Considerando que el promedio muestral de pies por semana es 399.3, un error de ±94.2 pies es problablemente grande para ser aceptado. El dis-tribuidor podría querer buscar variables adiciona-les que puedan explicar más de la variación en las ventas.
94.22(47.46) =±
(continuación)
Desviación Estándar del Modelo de Regresión
15-49
Diagnóstico del Modelo: Multicolinealidad
Multicolinealidad: Es la presencia de correlación entre dos variables independientes y, por lo tanto, se traslapan.
Es decir, las dos variables contribuyen con información redundante al modelo de regresión múltiple.
15-50
Incluir dos variables independientes altamente correlacionadas puede afectar adversamente los resultados de regresión:
No proporciona nueva información.
Puede llevar a coeficientes inestables (error estándar grande y valores t bajos).
Los signos de los coeficientes podrían no ser coherentes con nuestras expectativas iniciales y con la matriz de correlación.
(continuación)
Diagnóstico del Modelo: Multicolinealidad
15-51
Problemas e Indicios de Multicolinealidad Severa
Signos incorrectos en los coeficientes.
Cambio grande en el valor de un coeficiente como resultado de agregar una nueva variable al modelo.
Una variable anteriormente significativa se vuelve no significativa cuando una nueva variable independiente es agregada.
El estimado de la desviación estándar del modelo se incrementa cuando una variable es agregada al modelo.
15-52
Detección de Multicolinealidad(Factor de Inflación de Varianza)
VIFj es usado para medir la colinealidad:
Si VIFj ≥ 5, entonces xj está altamente correlacionado con las otras variables
explicativas
R2j es el coeficiente de determinación de la
regresión de la jma variable independiente contra las restantes k – 1 variables independientes
21
1
jj R
VIF−
=
Variables Dummy
El modelo de regresión requiere el uso de variables cuantitativas de ratio
¿Cómo manejar posibles variables categóricas que frecuentemente se presentan en la explicación de una variable dependiente?
Ejemplo: Género, estado civil, grado de instrucción, tipo de vecindario, etc.
Variables Dummy
15-53
15-54
Variables Dummies
Son usadas para incorporar variables explicati-vas categóricas al modelo de regresión:
Si o no, masculino o femenino, etc.(variable dummy: 0, 1)
Casado o divorciado o viudo o soltero (variables dummies: 0, 0, 1; 0, 1, 0; 1, 0, 0)
15-55
Variables Dummies
El número de variables dummies requerido es (categorías – 1) por cada variable cualitativa.
A veces llamadas variables indicadoras.
Los interceptos de regresión son diferentes si la variable es significativa.
Asume igual pendiente para las otras variables.
15-56
Variable Dummy (Dos Niveles) en un Modelo de Regresión: Ejemplo
Sea:
ŷ = Ventas de pies
x1 = Precio
x2 = Feriado (X2 = 1 si hay feriado en una semana)
(X2 = 0 si no hay feriado en una semana)
210 xbxbby21
++=
15-57
Misma pendiente
(continuación)
x1 (Precio)
y (Ventas)
b0 + b2
b0
1010
12010
xb b (0)bxbby
xb)b(b(1)bxbby
121
121
+=++=
++=++= Feriado
No Feriado
Interceptos diferentes
FeriadoNo Feriado
Si H0: β2 = 0 es rechazada, entonces Feriado tiene un efecto significativo sobre las ventas
Variable Dummy (Dos Niveles) en un Modelo de Regresión: Ejemplo
15-58
Ventas: Número de pies vendidos por semanaPrecio: Precio del pie en dólares
Feriado:
Regresión, Variable Dummy (Dos Niveles): Interpretación de Coeficientes
Ejemplo:
1 Si hay feriado en una semana0 Si no hay feriado en una semana
b2 = 15: En promedio, las ventas en una semana con feriado son de 15 pies más que en una sin feriado, manteniendo el mismo precio
)15(Feriado 30(Precio) - 300 Ventas +=
15-59
El número de variables dummies es una unidad menos que el número de categorías
Ejemplo:
y = Precio de casa ; x1 = Área (pies cuadrados)
El estilo de la casa se cree que debe ser conside-rado:Estilo = Rancho, condominio, dos niveles
Tres categorías, entonces se requiere dos variables dummies
Regresión, Variables Dummies (Más de Dos
Niveles)
15-60
⎩⎨⎧
=⎩⎨⎧
=es lo no Si 0
niveles dos es Si 1x
es lo no Si 0
rancho es Si 132x
3210 xbxbxbby321
+++=
b2 muestra el impacto sobre el precio si el estilo de la casa es rancho, comparado a un condominio
b3 muestra el impacto sobre el precio si el estilo de la casa es dos niveles, comparado a un condominio
(continuación)Asumamos que la categoría por defecto sea “condominio”
Regresión, Variables Dummies (Más de Dos Niveles)
15-61
Con la misma área, se estima que un rancho tendrá un precio promedio de $23.53 (miles) más que un condominio.
Con la misma área, se estima que un dos niveles tendrá un precio promedio de $18.84 (miles) más que un condominio.
Supongamos que la ecuación estimada es:
321 18.84x23.53x0.045x20.43y +++=
18.840.045x20.43y 1 ++=
23.530.045x20.43y 1 ++=
10.045x20.43y +=Para un condominio: x2 = x3 = 0
Para un rancho: x3 = 0
Para un dos niveles: x2 = 0
Regresión, Variables Dummies (Más de Dos Niveles): Interpretación de Coeficientes
APLICACIÓN
Ver en Groebner, Cap.15, el desarrollo del caso First City, a lo largo de todo el capítulo.
Regresión múltiple básicaDetección de multicolinealidadAlto R2, pero alto error estándar en la regresiónBuscar disminuir el error estándar introduciendo variables adicionales: Variables dummy.Presencia de dummy disminuye error estándar, pero genera una variable sin significancia estadística.Eliminación de la variable sin significancia estadística sube ligeramente el error estándar, el cual se mantiene alto.Análisis de posibilidad de incluir nuevas variables explicativas.
15-62
APLICACIÓN: Algunas Sugerencias Básicas
La regresión múltiple es un herramienta importante en la modelación de la realidad, pero es un arte y una ciencia.
Modelación: definir variable dependiente y potenciales variables independientes. Generar matriz de correlaciones de las variables. Efectuar la estimación básica del modelo de regresión múltiple. Verificar R2, a través de prueba F comprobar si por lo menos una variable ayuda a
explicar la variabilidad de y. Verificar significancia individual de las variables. Eliminar variables sin significancia estadística y volver a verificar R2. Si todas las variables muestran significancia estadística, ver problemas de
multicolinealidad con VIF, eliminar variables con VIF de 5 o superior. Si todas las variables muestran significancia estadística y VIF < 5, seguir
analizando multicolinealidad (ejemplo signo contrario al de la matriz de correlaciones). Tomar decisión.
Analizar el tamaño del error estándar de la regresión y considerar la necesidad de añadir un mayor número de variables explicativas, cuidado con el R2 ajustado.
Verificar supuestos del modelo de regresión múltiple.
15-63