ANALISIS DISCRIMINANTE
-
Upload
maicol-rene-moreno-cruz -
Category
Documents
-
view
511 -
download
0
Transcript of ANALISIS DISCRIMINANTE
1
[ESTADÍSTICA II]ANALISIS
DISCRIMINANTE
ANALISIS DISRIMINANTE LINEAL
PRESENTADO POR:
DIANA CALDERONNATHALIE GIL
SANDRA GONZALEZMAICOL MORENO C
PRESENTADO A
DOC. CESAR SERNA
UNIVERSIDAD CENTRALDEPARTAMENTO DE MATEMATICAS
ESTADISTICA IIBOGOTA D.C., MAYO 14 DE 2010
2
[ESTADÍSTICA II]ANALISIS
DISCRIMINANTE
INTRODUCCION
Este trabajo fue diseñado con el fin de poner en práctica nuestros conocimientos aprendidos a lo largo del semestre y con estas bases lograr entender un nuevo tema como lo es el Análisis Discriminante Lineal, el cual tiene como fin proporcionar una regla discriminante que permita asignar un nuevo individuo u objeto a una de varias poblaciones, clases o grupos previamente identificados.
La regla se obtiene a partir de una muestra, consistente en un conjunto de observaciones multivariantes, en que una de las variables es la población a la que pertenece cada observación. Existen varios métodos para obtener la regla discriminante entre los que se encuentra la clasificación de una nueva observación entre dos poblaciones, la clasificación de una muestra en la cual no se conocen los costos de decisión, entre otras.
De la misma forma se da una breve descripción respecto del discriminante lineal de Fisher ya que herramientas estadísticas computaciones, en nuestro caso puntual el statgraphics maneja este tipo de técnica para clasificar una nueva observación dentro de un grupo u otro.
ANALISIS DISCRIMINANTE
3
[ESTADÍSTICA II]ANALISIS
DISCRIMINANTE
El análisis discriminante está diseñado para ayudar a distinguir entre dos o más grupos de datos basados en un conjunto de P variables cuantitativas Observadas. Esto se hace construyendo funciones discriminantes que son combinaciones lineales de las variables el objeto de tal análisis es generalmente uno o ambos de los que siguen:
1. La habilidad de describir los datos observados matemáticamente de una manera que los separa en grupos tan bien como sea Posible.
2. La habilidad de clasificar nuevas observaciones como pertenecía a a uno o algunos de los grupos.
En construcción de funciones discriminantes, el procedimiento permite incluir a todas las variables o usar un procedimiento de selección paso a paso que incluye solo algunas variables que son estadísticamente significativas para discriminar sobre los grupos. Los resúmenes y pruebas estadísticas con significancia para el número de funciones discriminantes necesarias serán incluidos
Las Funciones discriminantes derivadas pueden utilizarse para clasificar nuevos casos dentro de los grupos. Las probabilidades A priori de pertenencia para cada grupo serán ingresadas o derivadas de los datos observados
ANÁLISIS DE BAYES.
Es un procedimiento para estimar las probabilidades de situaciones cuando un estudio o la información de la muestra están disponibles. Para describir el procedimiento, definamos la terminología siguiente y su notación:
Eventos: normalmente representa un posible evento o situación en el futuro. Por ejemplo, un estado de naturaleza para el fabricante de decisión puede ser nivel de la demanda, la opción de consumidor, el ingreso la condición nivelada, económica, rango de temperatura, actitud personal, y el gusto. Sea s(i) el estado de naturaleza i y i = 1,..., n.
Probabilidad a priori: representa la posibilidad que un estado de naturaleza ocurrirá en un sentido general. Representa a menudo, en promedio, la probabilidad de un estado de naturaleza sin saber cualquier información. Sea P(s(i)) la probabilidad anterior para el estado de naturaleza s(i).
Estudio o información de la muestra: normalmente es la información extra que nosotros podemos conseguir si un estudio, o prueba es realizada. Los resultados de un estudio o muestra pueden ser representados por indicadores diferentes. Sea I(j) el indicador j del estudio o resultados de la muestra y j = 1,... ,m.
4
[ESTADÍSTICA II]ANALISIS
DISCRIMINANTE
Probabilidad condicional: representa la posibilidad de un evento particular dado que otro evento ocurre. En análisis de Bayes o tabla de análisis de pagos, representa normalmente la probabilidad de un indicador del estudio (resultado) dado un estado particular de naturaleza. Sea P(I(j)/s(i)) la probabilidad condicional de I(j) dado s(i). La probabilidad condicional puede ser una indicación de la fiabilidad de la información de la muestra.
Probabilidad marginal (Probabilidad Total): nosotros definimos la probabilidad marginal como la probabilidad general de un indicador del estudio I(j), es decir, P(I(j)). Dado P(s(i)) y P(I(j)/s(i)),
P(I(j)) = S P(s(i)) P(I(j)/s(i)) Para i =1 a n.
Probabilidad de unión: representa la probabilidad de que eventos múltiples ocurran simultáneamente. En DA, la probabilidad de unión de ambos I(j) y s(i) ocurriendo es representado por P(I(j),s(i)), y
P(I(j),s(i)) = P(s(i)) P(I(j)/s(i))
Probabilidad Aposteriori: es una probabilidad condicional que representa la posibilidad de un estado de naturaleza dada el estudio o resultado de la muestra. Esto ofrece la probabilidad de lo que pasará si la información extra muestra una indicación. Sea P(s(i)/I(j)) represente la probabilidad aposteriori de s(i) dado I(j), entonces
P(s(i)/I(j)) = P(I(j),s(i)) / P(I(j))
DEMOSTRACION
Entonces
2.
Computando las ecuaciones 1 y 2 tenemos:
1
2
5
[ESTADÍSTICA II]ANALISIS
DISCRIMINANTE
Si ;
I. La probabilidad a Priori es más alta.
II. Verosimilitud que proviene de más alta.
III. Es costo de la equivalencia más baja.
Población Normal:
)
La manera de clasificar P2 óptimamente es si
Tomando hoy ambos lados
3
6
[ESTADÍSTICA II]ANALISIS
DISCRIMINANTE
7
[ESTADÍSTICA II]ANALISIS
DISCRIMINANTE
A
se le llama distancia de Mahalanobis entre el punto observado y la población; ahora sí:
C (1\2)=C (2\1) Costos iguales
Probabilidad A priori iguales
Entonces
Clasificación en 2 si:
Donde,
= y
=
Clasificación de dos poblaciones:
Para fijar las ideas, vamos a situaciones de lista en la que uno podría estar interesado en la separación de dos clases de objetos o la asignación de un nuevo objeto a una de las dos clases (o ambos). Es conveniente para etiquetar a las clases π1 y π2. Los objetos son normalmente separados o clasificados sobre la base de las mediciones relativas, por ejemplo, p asociado variables aleatorias X '= (x1, x2,..., xp). Los valores observados de X difieren en cierta medida de una clase a la otra. Podemos pensar en la totalidad de los valores de la clase segunda como la población de los valores de x (π1) y los de la segunda clase ya que la población de valores de x para (π2). Estas dos poblaciones pueden ser descritas por las funciones de densidad de probabilidad f1 (x) y f2 (x) y, en consecuencia, podemos hablar de la asignación de las observaciones a las poblaciones o los objetos a las clases de manera intercambiable.
8
[ESTADÍSTICA II]ANALISIS
DISCRIMINANTE
Poblaciones π1 y π2 Medidas de las variables X
1. Solvente y angustiadas compañías de seguros con la responsabilidad de las propiedades.
2. Dispepsia no ulcerosa (personas con problemas de malestar estomacal) y controles ("normales").
3. Artículos federalistas escritos por James Madison y los escritos por Alexander Hamilton.
4. Dos especies de pamplina.
5. Los compradores de un producto nuevo y los más rezagados ("lentos" de compra).
6. El éxito o el fracaso de estudiantes universitarios.
7. Machos y Mujeres.
8. Buenos y malos riesgos crediticios.
Los activos totales, costo de acciones y bonos, valor en el mercado de acciones y bonos, gastos por pérdida, excedentes, cantidad de primas emitidas.
Medidas de ansiedad, dependencia, culpa, y perfeccionismo.
Frecuencias de diferentes palabras y longitudes de las oraciones.
Longitudes de pétalos y sépalos, profundidad de fisura de pétalos, longitud de las brácteas, longitud de la punta escarioso, el diámetro del polen.
Educación, ingresos, tamaño de la familia, cantidad de la marca anterior de conmutación.
Calificaciones de los exámenes de ingreso, promedio de calificaciones de secundaria, el número de actividades de la escuela secundaria.
Mediciones antropológicas, como la circunferencia y el volumen de sus cráneos.
9
[ESTADÍSTICA II]ANALISIS
DISCRIMINANTE
9. Alcohólicos y no alcohólicos.
Ingresos, edad, número de tarjetas de crédito, tamaño de la familia.
Actividad de la enzima monoamino oxidasa, actividad de la enzima adenilato ciclasa.
Vemos en el punto 5, por ejemplo, que los objetos (consumidores) deben ser separados en dos clases de etiqueta ("compradores" y "rezagados") sobre la base de los valores observados de suponer variables relevantes (educación, ingresos, etc.). En la terminología de la observación y la población, queremos identificar una observación de la forma x '= (X1 (educación), x2 (ingresos), x3 (tamaño de la familia), x4 (cantidad de cambio de marca)) como la población π1, las compras, o la población π2, rezagados.
Se tienen dos poblaciones
F(x)= Función Densidad
Distribución mezclada
Condiciones para aplicar método de distribución lineal:
1. Las probabilidades a priori son conocidas.2. Los costos de errores de clasificación. 3. Maximizar las utilidades que es equivalente a minimizar costos.
10
[ESTADÍSTICA II]ANALISIS
DISCRIMINANTE
DISCIMINANTE LINEAL DE FISHER
Análisis lineal discriminante (LDA) y discriminante lineal relacionado Fisher son los métodos utilizados en las estadísticas y de aprendizaje automático para encontrar una combinación lineal de características que caracterizan o separar dos o más clases de objetos o acontecimientos. La combinación resultante puede ser utilizada como un clasificador lineal, o, más comúnmente, para la reducción de dimensionalidad antes de la clasificación después. <br> <br>LDA está estrechamente relacionado con ANOVA (análisis de la varianza) y el análisis de regresión, que también tratan de expresar una variable dependiente como una combinación lineal de otras características o mediciones. En los otros dos métodos sin embargo, la variable dependiente es una cantidad numérica, mientras que para LDA es una variable categórica (es decir, la etiqueta de clase). La regresión logística y regresión probit son más similares a LDA, ya que también explicar una variable categórica. Estos otros métodos son preferibles en aplicaciones donde no es razonable suponer que las variables independientes tienen una distribución normal, que es un supuesto fundamental del método LDA. <br>LDA, está estrechamente vinculada al análisis de componentes principales (ACP) y el factor de análisis en que ambos buscan combinaciones lineales de las variables que mejor explican los datos. LDA explícita de los intentos de modelar la diferencia entre las clases de datos. ACC en cambio no tiene en cuenta cualquier diferencia en la clase y el análisis factorial construye las combinaciones de características basadas en las diferencias más que las similitudes. El análisis discriminante es también diferente del análisis factorial, ya que no es una técnica de interdependencia: una distinción entre variables independientes y variables dependientes (también llamadas variables criterio) debe ser hecho. <br> <br>LDA funciona cuando las mediciones efectuadas en las variables independientes para cada observación son cantidades continuas. Cuando se trata de variables independientes categóricas, la técnica de análisis de correspondencia es equivalente discriminante [1] [2] <br>Ejemplo:
Regla de discriminación de Fisher
Sea = ( variables aleatorias en la población 1 con medias poblacionales y
covarianza V1; = (
Mientras la varianza a la población 2 sus medias poblacionales su ; u2 = (y covarianza v2
11
[ESTADÍSTICA II]ANALISIS
DISCRIMINANTE
Nota en estas poblaciones las covarianzas son iguales
EJEMPLO: Discriminante lineal Fisher (STATGRAPHICS)
Variables de vino
X2 X1 Grupo1065 14,23 11050 13,2 11185 13,16 11480 14,37 1735 13,24 1
1450 14,2 11290 14,39 11295 14,06 11045 14,83 11045 13,86 11510 14,1 11280 14,12 11320 13,75 11150 14,75 11547 14,38 11310 13,63 11280 14,3 11130 13,83 11680 14,19 1845 13,64 1520 12,37 2680 12,33 2450 12,64 2630 13,67 2420 12,37 2355 12,17 2678 12,37 2502 13,11 2510 12,37 2750 13,34 2718 12,21 2870 12,29 2410 13,86 2472 13,49 2
12
[ESTADÍSTICA II]ANALISIS
DISCRIMINANTE
985 12,99 2
RESULTADOS ESTADÍSTICOS:
Coeficientes de la Función de Clasificación para GRUPO1 2
x1 51,3464 47,8205x2 0,0010371
6-0,0110337
CONSTANTE
-361,053 -302,783
En esta tabla se encuentran las funciones usadas para la clasificación. Hay una función para cada uno de los 2 niveles de GRUPO. Por ejemplo, la función usada para el primer nivel de GRUPO es
-361,053 + 51,3464*x1 + 0,00103716*x2
Se utilizan estas funciones para predecir a qué nivel de GRUPO pertenecen las nuevas observaciones. Para mayores detalles.
Coeficientes de la Función Discriminante para GRUPO
A 1
Diagrama de Dispersión
12 12,5 13 13,5 14 14,5 15
x1
0
300
600
900
1200
1500
1800
x2
GRUPO1 2
13
[ESTADÍSTICA II]ANALISIS
DISCRIMINANTE
x1 0,529682x2 0,745952
Coeficientes Sin Estandarizar 1x1 1,01485x2 0,0034743
4CONSTANTE
-17,0199
Esta ventana muestra los coeficientes de las funciones usadas para discriminar entre los distintos niveles de GRUPO. De particular interés son los coeficientes estandarizados. La primera función discriminante estandarizada es
0,529682*x1 + 0,745952*x2
De la magnitud relativa de los coeficientes en la ecuación de arriba, se puede determinar cómo se están utilizando las variables independientes para discriminar entre los grupos.
Tabla de ClasificaciónActual Tamaño Predicho GRUPOGRUPO de Grupo 1 21 20 19 1 -95,00% -5,00%2 15 0 15 0,00% -100,00%
Porcentaje de casos correctamente clasificados: 97,14%
ProbabilidadGrupo Previa1 0,52 0,5
Grupo
Grupo2
Valor Distancia Columna3
2° Grupo
2° Valor Distancia4
Columna5
Actu Más Más Alto Cuadrada Prob. Más Más Cuadrad Prob.
14
[ESTADÍSTICA II]ANALISIS
DISCRIMINANTE
al Alto Alto Alto a1 1 1 370,71 0,135059 0,9915 2 365,952 9,65216 0,00852 1 1 317,808 2,14596 0,7203 2 316,862 4,03764 0,27973 1 1 315,894 1,07427 0,9194 2 313,46 5,94301 0,08064 1 1 378,329 1,47969 1 2 368,068 22,0029 05 1 *2 322,251 0,913103 0,9379 1 319,535 6,34401 0,06216 1 1 369,569 0,882981 0,9999 2 360,269 19,4831 0,00017 1 1 379,159 0,332464 0,9997 2 371,121 16,4097 0,00038 1 1 362,22 0,0671173 0,999 2 355,285 13,938 0,0019 1 1 401,497 0,0295553 0,9987 2 394,865 13,2949 0,001310 1 1 351,691 0,66013 0,9613 2 348,479 7,08525 0,038711 1 1 364,497 1,09547 0,9999 2 354,825 20,4389 0,000112 1 1 365,285 0,0717413 0,9991 2 358,319 14,0036 0,000913 1 1 346,329 0,0009813 0,9979 2 340,184 12,2894 0,002114 1 1 397,499 0,207511 0,9995 2 389,881 15,4436 0,000515 1 1 378,912 2,12971 1 2 367,807 24,3409 016 1 1 340,157 0,0156746 0,9963 2 334,556 11,2165 0,003717 1 1 374,528 0,202966 0,9995 2 366,927 15,4042 0,000518 1 1 350,239 0,299877 0,9842 2 346,106 8,56549 0,015819 1 1 369,294 2,98813 1 2 357,253 27,0703 020 1 1 340,188 2,99504 0,5057 2 340,165 3,04042 0,494321 2 2 283,019 0,454726 0,9998 1 274,641 17,2111 0,000222 2 2 279,341 0,0252916 0,9986 1 272,753 13,2011 0,001423 2 2 296,703 0,41413 0,9997 1 288,432 16,9565 0,000324 2 2 343,972 1,05502 0,9218 1 341,505 5,98856 0,078225 2 2 284,122 1,04401 0,9999 1 274,537 20,2146 0,000126 2 2 275,275 2,10415 1 1 264,2 24,2543 027 2 2 281,276 0,0157222 0,9985 1 274,805 12,9577 0,001528 2 2 318,605 0,0001991 0,9975 1 312,618 11,9729 0,002529 2 2 283,129 0,50279 0,9998 1 274,63 17,5006 0,000230 2 2 326,867 1,23024 0,8986 1 324,685 5,59385 0,101431 2 2 273,183 0,0221385 0,9986 1 266,631 13,1268 0,001432 2 2 275,332 0,212057 0,9883 1 270,896 9,08299 0,011733 2 2 355,485 0,207579 0,9885 1 351,033 9,11248 0,011534 2 2 337,108 0,0873349 0,9934 1 332,099 10,1046 0,006635 2 2 307,537 2,46627 0,6409 1 306,958 3,62468 0,359136 2 315,592 2,5940E-06 0,9976 1 309,551 12,0819 0,0024
* = incorrectamente clasificado.
15
[ESTADÍSTICA II]ANALISIS
DISCRIMINANTE
Esta tabla muestra los resultados de utilizar las funciones discriminantes derivadas para clasificar observaciones. Se enlistan las dos calificaciones más altas entre las funciones de clasificación para cada una de las 35 observaciones empleadas para ajustar el modelo, así como para cualquier nueva observación. Por ejemplo, la fila 1 tuvo la calificación más alta para GRUPO = 1 y la segunda más alta para GRUPO = 2. De hecho, el valor verdadero de GRUPO era 1. Entre las 35 observaciones empleadas para ajustar el modelo, 34, ó el 97,1429% fueron clasificadas correctamente. Puede predecir observaciones adicionales agregando nuevas filas al archivo de datos actual, llenar los valores para las variables independientes pero dejando la celda para GRUPO en blanco.
Centroides de Grupo para GRUPOGrupo 11 1,488982 -1,98531
Esta ventana muestra los valores promedio de cada una de las 1 funciones discriminantes para cada uno de los 2 valores de GRUPO. Los centroides están incluidos en la Gráfica de Funciones Discriminantes disponible de la lista de Opciones Gráficas.
Resumen Estadístico por Grupo
GRUPO 1 2 TOTALRECUENTO 20 15 35MEDIAS x1 14,0115 12,772 13,4803x2 1234,6 596,667 961,2DESVIACIONES ESTD.
x1 0,47183 0,583085 0,807292x2 236,08 181,714 383,844
Esta ventana muestra los promedios y desviaciones estándar de cada variable independiente para cada nivel de GRUPO.
Estadísticas agrupadas Dentro-de-Grupo para GRUPOMatriz de Covarianza Dentro-de-Grupo
Columna1 x1 x2
16
[ESTADÍSTICA II]ANALISIS
DISCRIMINANTE
x1 0,272415 23,1134x2 23,1134 46097,6
Matriz de Correlación Dentro-de-Grupo
Columna1 x1 x2x1 1 0,206257x2 0,206257 1
Esta ventana muestra las correlaciones estimadas entre las variables independientes dentro de cada grupo. Se conjuntado la información dentro de grupo de todos los grupos.