Estudio de la influencia de las medidas de complejidad de los datosen los Sistemas de Clasificacion Basados en Reglas Difusas: Analisis

de la Razon Discriminante de Fisher

Julian Luengo1 Salvador Garcıa1 Jose Ramon Cano2 Francisco Herrera1

1 Dept. CCIA, ETSIIT, Univ. Granada, Granada, 18071, Espana, {julianlm,salvagl,herrera}@decsai.ugr.es2 Dept. Ciencias de la Computacion, CPS, Univ. Jaen, Linares, 23700, Espana, jrcano@ujaen.es

Resumen

El uso de Sistemas de Clasificacion Basa-dos en Reglas Difusas es bien conocido ytiene multitud de aplicaciones actualmente.No obstante, los problemas de clasificacionpueden ser complejos, y esta complejidad hasido tipificada y medida por diversos autores.La capacidad de prediccion de un clasificador,y por tanto de un Sistema de ClasificacionBasado en Reglas Difusas, posee una fuertedependencia con la complejidad inherente delos datos usados.

En este trabajo presentamos un estudio pre-liminar sobre el comportamiento de los sis-temas de clasificacion basados en reglas di-fusas para la medida de complejidad de-nominada ”razon discriminante de Fisher”.Queremos estudiar en que medida las me-didas de complejidad nos pueden apor-tar conocimiento a priori sobre el compor-tamiento de los sistemas basados en reglas di-fusas para estos problemas. Para ello comen-zamos con esta primera medida y con un con-junto de bases de datos artificiales que se hangenerado para disponer de valores de la me-dida de Fisher en todo su rango, que nospermiten extraer unas primeras conclusionesy plantear diferentes trabajos a realizar decara a tener un completo estudio para estamedida.

Palabras Clave: Clasificadores, Medidas deComplejidad, Medidas de Solapamiento, Sis-temas de Clasificacion Basados en Reglas Di-fusas.

1 INTRODUCCION

Los Sistemas de Clasificacion Basados en ReglasDifusas (SCBRD) [4] son metodos de clasificacionque emplean reglas difusas para representar elconocimiento. Los SCBRDs se encuentran muy ex-tendidos en la actualidad, con numerosas aplicacionesy estudios de su comportamiento y efectividad [9].

En la literatura especializada existen precedentes re-cientes que intentan caracterizar los datos sobre losque trabaja un metodo de clasificacion utilizando lasllamadas medidas de complejidad [1, 8]. Las medi-das de complejidad se han aplicado en analisis simi-lares para algunos Sistemas de Clasificacion que tomancomo base las medidas de Ho y Basu[1]. Entre ellospodemos encontrar seleccion de caracterısticas [6] yalgoritmos de induccion de reglas[11, 3]. Sanchez etal. [16] analizan el efecto de la complejidad de datosen un clasificador K-Vecinos mas Cercanos. Sin em-bargo, no se ha aplicado ningun analisis de este tipo alos SCBRDs.

Para efectuar este estudio preliminar utilizaremos unamedida de complejidad para el solapamiento de lasclases [8]: La razon discriminante de Fisher. Quer-emos analizar la relacion existente entre los resulta-dos obtenidos por los SCBRD y los valores de estamedida de solapamiento. Para ello, hemos analizadoel comportamiento de modelos SCBRDs sencillos con-siderando conjuntos de datos generados de acuerdo ala medida establecida en [8]. A su vez, lo hemos com-parado con un algoritmo clasico de clasificacion comoes C4.5 [15], de forma que sea posible ver las diferenciasentre modelos de clasificacion de diferentes familias.

Esta contribucion se organiza de la siguiente manera.En la Seccion 2 se describen los SCBRDs, y en partic-ular el modelo usado en nuestro estudio. En la Seccion3 se define y describe la medida de solapamiento queemplearemos. Asimismo, en la Seccion 4 se estableceel marco experimental y los resultados obtenidos. Fi-

ESTYLF08, Cuencas Mineras (Mieres - Langreo), 17 - 19 de Septiembre de 2008

XIV Congreso Español sobre Tecnologías y Lógica fuzzy 257

nalmente, en la Seccion 5 expresamos las conclusionesde nuestro trabajo.

2 SISTEMAS DE CLASIFICACIONBASADOS EN REGLAS DIFUSAS

Un SCBRDs esta compuesto por una Base deConocimiento (BC) y un Motor de Razonamiento Di-fuso (MRD) que, utilizando la informacion de la BC,determina una clase para cualquier patron de datosadmisible que llegue al sistema. La potencia del ra-zonamiento aproximado reside en la posibilidad deobtencion de un resultado (una clasificacion) inclusocuando no tengamos compatibilidad exacta (con grado1) entre el ejemplo y el antecedente de las reglas.

2.1 Base de Conocimiento

La BC esta formada por dos componentes:

• La Base de Datos (BD), que contiene la definicionde los conjuntos difusos asociados a los terminoslinguısticos utilizados en la Base de Reglas.

• La Base de Reglas (BR), formada por un conjuntode reglas de clasificacion

R = {R1, ..., RL} (1)

En nuestro caso vamos a utilizar reglas difusascon una clase y un grado de certeza asociado a laclasificacion para esa clase en el consecuente.

Rk : Si X1 es Ak1 y . . . y XN es Ak

N

entonces Y es Cj con grado rk(2)

Donde X1, . . . , XN son las variables asociadasa los diferentes atributos del sistema de clasifi-cacion, Ak

1 , . . . , AkN son las etiquetas linguısticas

utilizadas para discretizar los dominios continuosde las variables, e Y es la variable que indica laclase Cj a la cual pertenece el patron. rk es elgrado de certeza asociado a la clasificacion de laclase Cj para los ejemplos pertenecientes al sube-spacio difuso delimitado por el antecedente de laregla.

2.2 Motor de Razonamiento Difuso

El MRD es un procedimiento de inferencia que uti-liza la informacion de la BC para predecir una claseante un ejemplo no clasificado. Tradicionalmente enla literatura especializada [5] se ha utilizado el MRDdel maximo, tambien denominado MRD clasico o de laregla ganadora, que considera la clase indicada por una

sola regla teniendo en cuenta el grado de asociacion delconsecuente de la regla sobre el ejemplo. Otros MRDque combinan la informacion aportada por todas lasreglas que representan el conocimiento de la zona a laque pertenece el ejemplo se estudian en [5]. En estetrabajo utilizaremos,el MRD clasico.

A continuacion presentamos el modelo general de ra-zonamiento difuso que combina la informacion propor-cionada por las reglas difusas compatibles con el ejem-plo.

En el proceso de clasificacion del ejemplo e =(e1, . . . , eN ), los pasos del modelo general de un MRDson los siguientes:

1. Calcular el grado de emparejamiento delejemplo con el antecedente de las reglas.

2. Calcular el grado de asociacion del ejem-plo a la clase consecuente de cada reglamediante una funcion de ponderacion en-tre el grado de emparejamiento y el gradode certeza de la regla con la clase asociada.

3. Determinar el grado de asociacion del ejem-plo con las distintas clases.

4. Clasificacion. Para ello aplicaremos una funcionde decision F sobre el grado de asociacion delejemplo con las clases que determinara, en baseal criterio del maximo, la etiqueta de clase v a laque corresponda el mayor valor.

En el punto (3) es donde se distinguen los dos metodosmencionados.

2.3 Algoritmo de Wang y Mendel aplicado aproblemas de clasificacion

Para nuestra experimentacion hemos utilizado la ex-tension del Algoritmo de Wang y Mendel [19] a prob-lemas de clasificacion realizada por Chi et al.[4]. Estemetodo de diseno de SCBRDs determina las relacionesentre las variables del problema y establece una corre-spondencia entre el espacio de caracterısticas y el declases en un proceso que sigue esta serie de pasos:

1. Establecimiento de las particiones linguısticas.Una vez determinado el dominio de variacion de cadacaracterıstica Xi, se determinan las particiones di-fusas.

2. Generacion de una regla difusa para cada ejemploeh = (eh

1 , . . . , ehN , Ch). Para ello es necesario:

2.1 Calcular los grados de pertenencia del ejemplo eh

a las distintas regiones difusas.

ESTYLF08, Cuencas Mineras (Mieres - Langreo), 17 - 19 de Septiembre de 2008

258 XIV Congreso Español sobre Tecnologías y Lógica fuzzy

2.2 Asignar el ejemplo eh a la region difusa con mayorgrado de pertenencia.

2.3 Generar una regla para el ejemplo, cuyo an-tecedente esta determinado por la region difusaseleccionada y con la etiqueta de clase del ejem-plo en el consecuente.

2.4 Calcular el grado de certeza. Para ello se determi-nara el cociente Sj/S, siendo Sj la suma del gradode pertenencia de los ejemplos de entrenamientode la clase Cj a la region difusa determinada porel antecedente de la regla, y S la suma del gradode pertenencia a la misma region de todos losejemplos independientemente de la clase a la quepertenezcan.

3 MEDIDAS DE COMPLEJIDAD

Los problemas de clasificacion pueden ser difıciles portres razones diferentes:

• Ciertos problemas son conocidos por tener un er-ror de Bayes no nulo [7]. Algunas clases puedenser ambiguas intrınsecamente o debido a medidasincorrectas de los atributos.

• Algunos problemas pueden presentar lımites dedecision complejos, por lo que no se puede ofreceruna descripcion compacta de los mismos [16].

• Muestras de tamano reducido y la dispersion in-ducida por la alta dimensionalidad afecta a lasreglas [13, 14].

El uso de medidas es reciente. En [8] Ho y Basu definenmedidas de complejidad para conjuntos de datos dedos clases. Singh en [17] ofrece una revision de medidasde complejidad y propone dos mas. Sotoca et al. en[18] extienden algunas medidas de Ho y Basu paraproblemas multiclase. Para ello, analizan las medidasgeneralizadas en dos problemas clasicos de Seleccionde Prototipos.

En nuestro estudio, a partir de las medidas de Ho yBasu [8] hemos empleado la razon discriminante deFisher. Se trata de una medida geometrica de sola-pamiento, cuya version mas sencilla indicada por Hoy Basu calcula como de separadas estan dos clases deacuerdo a una caracterıstica en concreto. Compara ladiferencia entre la media de las clases con la suma dela varianza de las clases. La razon discriminante deFisher para un atributo se define como:

f =(µ1 − µ2)2

σ21 + σ2

2

(3)

donde µ1, µ2, σ1 y σ2 son las medias y varianzas de lasdos clases respectivamente. Calculamos f para cadauno de los atributos y se toma el maximo como lamedida F1. Valores pequenos indican que las clasestienen un alto grado de solapamiento. Las Figuras 1 a4 muestran un ejemplo ilustrativo generado artificial-mente con 2 variables en el rango [0.0, 1.0] y dos clasescomo ejemplo.

Figura 1: F1 = 0.6994 Figura 2: F1 = 9.69

Figura 3: F1 = 26.16 Figura 4: F1 = 48.65

4 ESTUDIO EXPERIMENTAL

En esta seccion describiremos los datos y metodologıausadas en la experimentacion de nuestro estudio. Semostraran los resultados obtenidos y se analizaranobteniendo conclusiones en base a los mismos paracada una de las medidas de complejidad consideradas.

4.1 Marco Experimental

Para comprobar el comportamiento del metodo de Chicon diferentes valores de la medida F1, hemos em-pleado una serie de conjuntos de datos. Hemos con-siderado tres tipos de conjuntos de datos: con 2, 4y 8 atributos de entrada. Cada tipo consta de cienconjuntos de datos distintos, en los cuales se incre-menta progresivamente el valor de la medida F1, paraun total de 300 conjuntos de datos. Estos conjuntosde datos disponen de atributos reales de entrada enel rango [0.0, 1.0], y un atributo nominal de salida condos posibles etiquetas diferentes (clases), existiendo untotal de 100 ejemplos por conjunto de datos. De es-tos 100 ejemplos, hay 50 ejemplos para cada clase. Ennuestros conjuntos, la medida F1 esta en el intervalo[0.699, 74.1]. Partimos de una distribucin de ejemplosno totalmente ruidosa, cuyo valor F1 es 0.699. Con-forme aumenta el valor de la medida de solapamiento,

ESTYLF08, Cuencas Mineras (Mieres - Langreo), 17 - 19 de Septiembre de 2008

XIV Congreso Español sobre Tecnologías y Lógica fuzzy 259

las clases estaran identificadas por atributos menos so-lapados.

Para realizar un estudio comparativo vamos a utilizarun modelo de validacion cruzada de orden 5 (5-fcv).Los metodos de clasificacion se han ejecutado en cadauno de los 100 conjuntos de datos, de 2, 4 y 8 atributos,con este metodo de validacion. La media de las tasasde acierto de las 5 particiones se toma como medidasignificativa del rendimiento del modelo.

Los modelos SCBRD empleados para medir y com-parar su rendimiento son dos: un SCBRD Chi con 3etiquetas por atributo y un SCBRD Chi con 5 etique-tas por atributo. Para los modelos de Chi empleare-mos como forma de combinacion del grado de empare-jamiento y del grado de certeza la T-norma producto.El tipo de inferencia sera el metodo clasico de la reglaganadora.

Asimismo, y con el fin de comparar con otro algoritmoclasico en el ambito de clasificacion de diferente natu-raleza, hemos realizado el mismo estudio con los mis-mos datos y particiones para el arbol de decision C4.5[15]. Esto permitira comprobar si los SCBRDs tienencomportamientos diferenciados con otras familias declasificadores.

4.2 Resultados para F1: Razon discriminantede Fisher

El porcentaje de acierto en clasificacion tanto en en-trenamiento como en test para la medida F1 y cadauno de los tipos de conjuntos (con 2,4 y 8 atributos)se encuentra reflejado en las Figuras 5 a 7.

65,0070,0075,0080,0085,0090,0095,00100,00

0 10 20 30 40 50 60 70% Acierto

Valor de F1Entrenamiento C4.5 Entrenamiento Chi 3etiq Entrenamiento Chi 5etiqTest C4.5 Test Chi 3etiq Test Chi 5etiqFigura 5: Porcentaje de acierto para F1 con 2 atr.

Para valores bajos de la medida F1 (alto sola-pamiento), tanto C4.5 como Chi con 3 etiquetas tienenun porcentaje de acierto bajo en entrenamiento, mien-

50,0055,0060,0065,0070,0075,0080,0085,0090,0095,00100,00

0 5 10 15 20 25 30 35 40 45% Acierto

Valor de F1Entrenamiento C4.5 Entrenamiento Chi 3etiq Entrenamiento Chi 5etiqTest C4.5 Test Chi 3etiq Test Chi 5etiqFigura 6: Porcentaje de acierto para F1 con 4 atr.

0,0010,0020,0030,0040,0050,0060,0070,0080,0090,00100,00

0 10 20 30 40 50 60 70% Acierto

Valor de F1Entrenamiento C4.5 Entrenamiento Chi 3etiq Entrenamiento Chi 5etiqTest C4.5 Test Chi 3etiq Test Chi 5etiqFigura 7: Porcentaje de acierto para F1 con 8 atr.

tras que Chi con 5 etiquetas obtiene mejores resulta-dos, con motivo del sobre-aprendizaje que se produce,por el alto numero de reglas. Conforme el valor de F1aumenta los tres metodos son capaces de mejorar suporcentaje de acierto en entrenamiento. En test paraF1 queda patente que el valor en test mejora cuandoaumenta la separabilidad. Para valores bajos de lamedida el porcentaje de acierto en test es bajo.

En las Figuras 8 a 10 se ha dispuesto la cantidad denodos de C4.5 y de reglas de los metodos de Chi paracada conjunto de datos (ordenados segun F1 de formaascendente) segun el numero de atributos. Mientrasque C4.5 disminuye el numero de reglas al aumentar elvalor de F1, los metodos de Chi mantienen un numeroalto de reglas para cubrir los ejemplos separados. Estealto numero de reglas para Chi con 5 etiquetas es otroindicativo de su sobre-aprendizaje, sobre todo en elcaso de 8 atributos donde siempre tiene 80 reglas (una

ESTYLF08, Cuencas Mineras (Mieres - Langreo), 17 - 19 de Septiembre de 2008

260 XIV Congreso Español sobre Tecnologías y Lógica fuzzy

0,005,0010,0015,0020,0025,00

0 10 20 30 40 50 60 70 80 90 100Número de reglas/nodos

Conjunto de datosHojas C4.5 Reglas Chi 3 etiq. Reglas Chi 5 etiq.Figura 8: Evolucion de reglas y nodos para 2 atributos

0,0010,0020,0030,0040,0050,0060,0070,0080,00

0 10 20 30 40 50 60 70 80 90 100Número de reglas/nodos

Conjunto de datosHojas C4.5 Reglas Chi 3 etiq. Reglas Chi 5 etiq.Figura 9: Evolucion de reglas y nodos para 4 atributos

regla por ejemplo de entrenamiento). Chi con 3 eti-quetas aumenta el numero de reglas conforme aumentatambien el numero de atributos. C4.5 no obstante, ob-tiene siempre un numero bajo de reglas sin importarel numero de atributos considerado.

El uso de metodos de seleccion de caracterısticaspodrıa evitar el aumento del numero de reglas (sobretodo en el caso de un alto numero de atributos), puestoque C4.5 es capaz de seleccionar los atributos intere-santes en su entrenamiento y es capaz de simplificar elnumero de reglas que produce.

4.3 Analisis de seleccion de caracterısticaspara F1: Razon discriminante de Fisher

Hemos analizado todas las combinaciones posibles deatributos a la hora de entrenar y evaluar los mode-los Chi de 3 y 5 etiquetas para la medida F1 con la

0,0010,0020,0030,0040,0050,0060,0070,0080,0090,00

0 10 20 30 40 50 60 70 80 90 100Número de reglas/nodos

Conjunto de datosHojas C4.5 Reglas Chi 3 etiq. Reglas Chi 5 etiq.Figura 10: Evolucion de reglas y nodos para 8 atribu-tos

variante de 8 atributos. La mejor combinacion se es-tablece en base a dos criterios posibles: la que mejorprecision en entrenamiento tenga o la que mejor aciertoen test ofrezca. De esta manera comprobamos el cri-terio del SCBRD de Chi para elegir la combinacion deatributos que considera optima con el mejor valor deentrenamiento (notada como [Mejor Entren.]), frentea la que realmente serıa optima (notada como [MejorTest]) que obtiene mejor valor en test. Los resultadosse encuentran en la Figura 11 para Chi con 3 etiquetasy en la Figura 12 para Chi con 5 etiquetas.

50556065707580859095100

0 10 20 30 40 50 60 70Entren. [Mejor Entren.] Chi 3 etiq. Test [Mejor Entren.] Chi 3 etiq.Entren. [Mejor Test] Chi 3 etiq. Test [Mejor Test] Chi 3 etiq.Figura 11: Porcentaje de acierto de Chi 3 etiq. paraF1 con la mejor combinacion de atributos

La combinacion obtenida por el mejor entrenamientoofrece sobre-aprendizaje para Chi con 5 etiquetas paraeste numero de atributos, pero no en Chi con 3 etique-tas. El sobre-aprendizaje de Chi con 5 etiquetas seve paliado con la mejor combinacion de atributos para

ESTYLF08, Cuencas Mineras (Mieres - Langreo), 17 - 19 de Septiembre de 2008

XIV Congreso Español sobre Tecnologías y Lógica fuzzy 261

50556065707580859095100

0 10 20 30 40 50 60 70Entren. [Mejor Entren.] Chi 5 etiq. Test [Mejor Entren.] Chi 5 etiq.Entren. [Mejor Test] Chi 5 etiq. Test [Mejor Test] Chi 5 etiq.Figura 12: Porcentaje de acierto de Chi 5 etiq. paraF1 con la mejor combinacion de atributos

test, donde el valor de entrenamiento es similar al deChi con 3 etiquetas para esta mejor combinacion deatributos, y siempre por debajo del propio valor detest.

La combinacion para el mejor entrenamiento producevalores de acierto en entrenamiento mas altos, y siem-pre superiores a la combinacion optima para test. Elporcentaje de acierto en test para ambos criterios essimilar para ambos metodos, aunque el de la combi-nacion optima para test siempre es ligeramente mejor.Las razones de esta diferencia en entrenamiento pode-mos encontrarlas en la Figura 13, donde se muestrael numero de medio de atributos para el cual cada es-trategia (mejor entrenamiento o mejor test) ha sidooptima para cada uno de los 100 conjuntos de datos.

12345678

0 10 20 30 40 50 60 70 80 90 100Atributos usados

Conjunto de datos[Mejor Entren.] Chi 3 etiq. [Mejor Entren.] Chi 5 etiq.[Mejor Test] Chi 3 etiq. [Mejor Test] Chi 5 etiq.Figura 13: Media de atributos usados para F1 con 8atr. con cada estrategia

Chi con 3 etiquetas emplea un mayor numero de atrib-utos que Chi con 5 etiquetas. Sin embargo, con laestrategia que obtendrıa el mejor valor de test se apre-cia el hecho de que Chi con 3 etiquetas necesita menosatributos que Chi con 5 etiquetas (llegando incluso ausar solo un atributo). Para obtener el mejor valor detest siempre se emplea un menor numero de etique-tas que para obtener el mejor porcentaje de acierto enentrenamiento. Ademas, observamos que se dismin-uye la necesidad de utilizar todas las variables cuandonos alejamos de los valores bajos de la funcion F1para ambas estrategias, esto permite evitar el sobre-aprendizaje y reafirma la necesidad de utilizar algo-ritmos de seleccion de caracterısticas dentro del pro-ceso de aprendizaje. Puede ser interesante el usode metodos de seleccion de caracterısticas basados entecnicas de filtro. No obstante, emplear la precision delSCBRD Chi en entrenamiento para obtener la combi-nacion optima no es adecuado, y se plantea la necesi-dad de usar otros criterios.

5 CONCLUSIONES

En este trabajo se realiza un primer estudio sobrela influencia de la medida de complejidad llamadarazon discriminante de Fisher para analizar el com-portamiento de los SCBRDs. Observamos que elsolapamiento de las clases (valor de F1 bajo) pro-duce sobre-aprendizaje si utilizamos muchas etiquetaspor variables (en este estudio 5 frente a 3) y que semejora el comportamiento cuando aumenta el valorde F1 y por tanto la separabilidad de las clases. Estaprimera experimentacion tambien muestra que cuandoaumenta la separabilidad puede ser conveniente el usode tecnicas de seleccion de caracterısticas, y que paraevitar el sobre-aprendizaje puede ser conveniente queestas tecnicas sean de filtro.

Hemos de destacar que este es un estudio muy prelim-inar donde hemos trabado con bases de datos artifi-ciales con un numero de variables fijo en 5, un numerofijo de instancias y cuatro clases. Este estudio es nece-sario extenderlo a bases de datos con diferente numerode variables, instancias y clases, para poder obtenermas informacion sobre la utilidad de la medida F1.

Como trabajo a realizar para mejorar este estudio, es-tamos abordando los siguientes estudios:

a) Analizar el uso de tecnicas de filtro, como losmetodos LVF [12] y MIFS [2].

b) Analizar el comportamiento d e varios metodos deaprendizaje de reglas difusas, en particular aque-llos que incluyan las seleccion de caracterısticasdentro de las propias reglas, como el metodo prop-uesto en [10].

ESTYLF08, Cuencas Mineras (Mieres - Langreo), 17 - 19 de Septiembre de 2008

262 XIV Congreso Español sobre Tecnologías y Lógica fuzzy

c) Estudiar posibles extensiones de la medida F1atendiendo a otros parametros como son elnumero de instancias, variables y clases que in-tervienen en el problema.

Finalmente hemos de indicar que extenderemos el pre-sente estudio a otras medidas de complejidad presentesen la literatura especializada.

Agradecimientos

Este trabajo de investigacion ha sido posible gracias ala subvencion del proyecto TIN2005- 08386-C05-01.

Referencias

[1] M. Basu and T.K. Ho. Data complexity in patternrecognition,. Springer, 2006.

[2] R. Battiti. Using Mutual Information For Selec-tion Features In Supervised Neural Net Learn-ing. IEEE Transactions on Neural Networks, 5:4,Pag.537-550, 1994.

[3] E. Bernardo-Mansilla and T.K. Ho. Domain ofcompetence of XCS classifier system in complex-ity measurement space. IEEE Transactions onEvolutionary Computation, 9:1, Pag.82-104, 2005.

[4] Z.Chi, H.Yan, and T.Pham. Fuzzy algorithmswith applications to image processing and patternrecognition. World Scientific, 1996.

[5] O.Cordon, M.J. del Jesus, and F.Herrera. A pro-posal on reasoning methods in fuzzy rule-basedclassification systems. International Journal ofApproximate Reasoning, 20:1, Pag.21-45, 1999.

[6] M. Dong and R. Kothari. Feature subset selec-tion using a new definition of classifiability. Pat-tern Recognition Letters, 24:9-10, Pag.1215-1225,2003.

[7] T.K. Ho and H.S. Baird. Large-scale simulationstudies in image pattern recognition. IEEE Trans-actions on Pattern Analysis and Machine Intelli-gence, 19:10, Pag.1067-1079, 1997.

[8] T.K. Ho and M. Basu. Complexity measures ofsupervised classification problems. IEEE Trans-actions on Pattern Analysis and Machine Intelli-gence, 24:3, Pag.289-300, 2002.

[9] H. Ishibuchi, T. Nakashima and M. Nii. Classi-fication and modeling with linguistic informationgranules: Advanced approaches to linguistic DataMining. Springer-Verlag, 2004.

[10] H. Ishibuchi, T. Yamamoto and T. Nakashima.Hybridization of Fuzzy GBML Approaches forPattern Classification Problems. IEEE Transac-tions on Systems, Man and Cybernetics - Part B:Cybernetics, 35:2, Pag.359-365, 2005.

[11] Y.-H. Li, M. Dong and R. Kothari. Classifiability-based omnivariate decision trees. IEEE Transac-tions on Neural Networks, 16:6, Pag.1547-1560,2005.

[12] H. Liu, R. Setiono. Incremental Feature Selection.Applied Intelligence, 9:3, Pag.217-230, 1998.

[13] M. Liwicki and H. Bunke. Handwriting recogni-tion of whiteboard notes - studying the influenceof training set size and type. International Jour-nal of Pattern Recognition and Artificial Intelli-gence, 21:1, Pag.83-98, 2007.

[14] X. Qiu and L. Wu. Nearest neighbour discrim-inant analysis. International Journal of Pat-tern Recognition and Artificial Intelligence, 20:8,Pag.1245-1259, 2006.

[15] J.R. Quinlan. C4.5: Programs for Machine Learn-ing. Morgan Kaufmann Publishers, 1993.

[16] J.S. Sanchez, R.A. Mollineda and J.M. Sotoca. Ananalysis of how training data complexity affectsthe nearest neighbours classifiers. Pattern Analy-sis & Applications, 10, Pag.189-201, 2007.

[17] S. Singh. Multiresolution estimates of classifi-cation complexity. IEEE Transactions on Pat-tern Analysis and Machine Intelligence, 25:12,Pag.1534-1539, 2003.

[18] J.M. Sotoca, R.A. Mollineda and J.S. Sanchez.A meta-learning framework for pattern classifica-tion. Revista Iberoamericana de Inteligencia Ar-tificial, 29, Pag.31-38, 2006.

[19] L.X. Wang and J.M. Mendel. Generating fuzzyrules by learning from examples. IEEE Trans-actions on Systems, Man, and Cybernetics, 25:2,Pag.353-361, 1992.

ESTYLF08, Cuencas Mineras (Mieres - Langreo), 17 - 19 de Septiembre de 2008

XIV Congreso Español sobre Tecnologías y Lógica fuzzy 263