Resumen de Nuevos modelos de redes neuronales evolutivas para clasificación: aplicación a unidades producto y unidades sigmoide.
Antonio Javier Tallón Ballesteros
El tema de investigación en el que se circunscribe nuestra Tesis Doctoral se incluye dentro de la extracción automática de conocimiento. Existen distintas formas de realizar razonamiento inductivo, centrándonos aquí en aprendizaje supervisado. En concreto, los modelos de clasificación que manejamos son Redes Neuronales Artificiales (RNAs) y el aprendizaje de los mismos se realiza mediante Computación Evolutiva. Este tipo de redes se conocen como Redes Neuronales Artificiales Evolutivas (RNAEs).
En las RNAEs, el entrenamiento de la red neuronal se lleva a cabo mediante un algoritmo evolutivo. La razón es que, al tratarse de un método de optimización global, no posee la limitación de los métodos locales de quedarse fácilmente estancado en óptimos locales. El algoritmo evolutivo usado pertenece al paradigma de Programación Evolutiva, que se basa en emplear sólo dos operadores: replicación y mutación.
Al tratarse de modelos de RNAs, se aplican dos tipos de mutación: estructural y paramétrica para modificar tanto la estructura del modelo de red, esto es, el número de nodos en la capa intermedia, como los pesos de las conexiones. No se hace uso del operador de cruce debido al conocido problema de la permutación, que consiste en que diferentes representaciones pueden corresponder al mismo modelo de RNA. Merece ser reseñado que en todas las propuestas realizadas en la presente Tesis Doctoral se lleva a cabo una evolución simultánea de las arquitecturas de red y de los pesos y coeficientes asociados al modelo de red. Los modelos de red que empleamos en la Tesis Doctoral están formados por tres capas: la capa de entrada, la capa intermedia o capa oculta y la capa de salida. El tipo de unidades en la capa oculta son unidades de tipo producto o unidades de tipo sigmoide.
En la Tesis Doctoral se presentan varios modelos de Redes Neuronales Evolutivas para Clasificación que podemos discernir a grandes rasgos bajo las siguientes categorías:
a) Distribución del Diseño Experimental, denominado EDD (Experimental Design Distribution). La idea básica es aplicar el algoritmo evolutivo de manera automática a una serie de configuraciones diferentes y evaluar qué combinación de parámetros es más idónea para cada problema. La propuesta inicial se llevó a cabo con unidades producto y recientemente ha sido extendida al uso de unidades sigmoide, dando lugar a EDDSig (Experimental Design Distribution with Sigmoidal units). La metodología EDD se ha empleado en muchos trabajos posteriores para poder evaluar la eficacia de las propuestas. En total, se ha empleado en 25 bases de datos, 23 procedentes del UCI [Frank y Asuncion, 2010] y 2 problemas reales, uno de Microbiología Predictiva y otro de Medio Ambiente.
b) Algoritmo Evolutivo en dos fases, cuyo acrónimo es TSEA (Two-Stage Evolutionary Algorithm). La metodología TSEA emplea un algoritmo evolutivo refinado con dos fases, que trabaja con dos poblaciones iniciales de individuos, cada una de ellas con individuos con topologías diferentes, que en la primera fase son entrenadas durante un número pequeño de generaciones, para posteriormente seleccionar la mitad mejor de cada población y fusionarlas en una nueva población. A esta última se le aplica, en la segunda fase, el ciclo evolutivo completo, salvo la fase de inicialización aleatoria de la población inicial. Experimentalmente, se concluyó que para el número de generaciones de la primera fase el 10% es un valor muy apropiado, pues permite combinar de una manera muy adecuada una mayor exploración de soluciones en la primera fase y una explotación de soluciones con mayor calidad respecto a las que se obtendrían aleatoriamente sin ser sometidas a ningún tipo de evolución parcial. Los resultados obtenidos con la metodología TSEA son mejores y más eficientes, respecto a los obtenidos con EDD. Con el propósito de validar la metodología en dos fases, se ha ampliado al uso de unidades de tipo sigmoide, generando la metodología TSEASig (Two- Stage Evolutionary Algorithm for neural networks with Sigmoidal units). Se ha llevado a cabo una comparación entre las metodologías TSEA, EDDSig y TSEASig aplicadas a 14 bases de datos, 12 disponibles en el repositorio UCI y 2 problemas complejos del mundo real: BTX y Listeria monocytogenes. BTX es un problema de clasificación multiclase relativo al Medio Ambiente que considera diferentes tipos de agua contaminadas. Listeria monocytogenes es un problema biclase en Microbiología Predictiva.
c) Aplicación de Selección de Atributos de manera independiente a las metodologías EDD y TSEA. Las metodologías mencionadas previamente son muy útiles y efectivas, sin embargo, la idea de mejorar debe ir más allá. Por tanto, en este caso se inició una línea de investigación muy prometedora que aplica un preprocesamiento a las diferentes bases de datos o, mejor dicho, al conjunto de entrenamiento, mediante el uso de métodos de selección de atributos basados en filtros. Las nuevas metodologías se han denominado EDDFS (Experimental Design Distribution with Feature Selection) y TSEAFS (Two-Stage Evolutionary Algorithm with Feature Selection) y han sido aplicadas a problemas de especial complejidad, tomando como referencia que la tasa de error con los clasificadores C4.5 o 1-NN esté al menos en el 20%, aproximadamente. La metodología EDDFS ha sido evaluada con 14 bases de datos del UCI y se ha experimentado con 6 filtros de manera independiente. Los resultados obtenidos han mejorado significativamente en cuanto a tasa de acierto en clasificación, respecto a los de EDD. En estos momentos el trabajo está sometido a revisión en una revista. Por otra parte, en la experimentación de TSEAFS se hace uso de 4 filtros y 19 bases de datos, 18 del UCI y un problema real de Biomedicina de Trasplantes, Liver-transplantation, en España. La precisión de TSEAFS supera significativamente a la de TSEA.
El dominio de aplicación de los algoritmos propuestos ha sido bastante amplio. Concretamente, se han empleado 31 bases de datos de problemas de clasificación, 28 procedentes del UCI y 3 de problemas del mundo real, del ámbito de Microbiología Predictiva, Medio Ambiente y de Trasplantes Hepáticos en Medicina.
Este documento presenta nuestros objetivos, hipótesis de partida, publicaciones, estado del arte, modelos implementados, resultados, conclusiones y referencias bibliográficas.
