Resumen de Algoritmos de aprendizaje bioinspirados multi-objetivo para el diseño de modelos de redes neuronales artificiales en clasificación

Juan Carlos Fernández Caballero

• Las RNAs (1) (Redes Neuronales Artificiales), que constituyen una de las áreas de la Inteligencia Artificial (IA) que más se han desarrollado en los últimos años, pueden situarse como una manera de abordar problemas de clasificación de patrones. La mayoría de algoritmos de aprendizaje supervisado que utilizan redes neuronales artificiales han tenido como primer objetivo minimizar el error cuadrático medio sobre los datos del conjunto de entrenamiento. Es bien conocido que los algoritmos que están basados solamente en la minimización de este error no garantizan una buena generalización. De esta forma, resulta necesario considerar otros objetivos que permitan obtener una red neuronal que pueda aprender la estructura subyacente de los datos, evitando lo que en lenguaje de redes se denomina sobreentrenamiento y, en el contexto más general de la teoría del aprendizaje, resolver el dilema bias-variance sesgo-varianza. Este hecho, permite afrontar el problema del diseño y aprendizaje de una red neuronal desde un enfoque multiobjetivo. Para una revisión sobre las técnicas clásicas de clasificación con Redes Neuronales y sus problemas se puede consultar (2).

  No existen muchos trabajos que utilicen de forma combinada técnicas evolutivas multi-objetivo y redes neuronales para la resolución de problemas de aprendizaje: clasificación y o regresión. Ante un problema de aprendizaje, normalmente no hay un mejor modelo, sino posiblemente un conjunto de mejores modelos o de soluciones no-dominadas según la terminología de los algoritmos evolutivos multi-objetivo o MOEAs. Entre los escasos trabajos encontrados sobre esta temática cabe destacar los de Abbass 2003 (3), Friedlsend y Singh 2005 (4), y M. Delgado y M.C. Pegalajar (10-11). Por otro lado tenemos otra metodología para el entrenamiento de modelos de RNAs para clasificación de patrones que se basa en la Evolución Diferencial (E.D). La E.D es una heurística recientemente desarrollada (5) para resolver problemas de optimización en dominios continuos, donde cada variable de decisión se representa en el cromosoma mediante un número real y donde se usa selección y cruce como sus operadores primarios. La E.D posee una amplia gama de aplicaciones, de entre las que se encuentran el entrenamiento de redes neuronales, el diseño de filtros digitales, la optimización de procesos químicos no lineales, el diseño de redes de transmisión de aguas, etc. Un estudio más detallado de las técnicas de ED puede verse en (6), además de numerosos ejemplos sobre aplicaciones de este algoritmo.

  Desde un punto de vista diferente, el uso de una mixtura de clasificadores en vez de un solo clasificador, es una idea que se ha introducido con fuerza recientemente en la teoría de aprendizaje. Concretamente ha sido demostrado formalmente y estudiado empíricamente que un conjunto de clasificadores (ensemble) tiene, en general, mejor capacidad de generalización que un solo clasificador. Aunque son numerosos los trabajos que estudian ensembles de redes neuronales, hay pocos que lo hacen desde una estructura multiobjetivo, en la que la precisión de cada elemento del conjunto y la diversidad del mismo son los objetivos a optimizar. La referencia más importante de este enfoque la encontramos en el trabajo de A. Chandra y X. Yao (2005) (7), en donde se aplican las técnicas multiobjetivo en el contexto de ensembles para evolucionar redes neuronales para clasificación. Los artículos citados junto a otros que complementan a los anteriores (8), (9) abren una línea de investigación en la que quedan diferentes problemas abiertos.

  Por tanto, podemos resumir este trabajo de tesis en: Hacer un estudio (estado del arte) de las técnicas utilizadas para la clasificación de patrones con RNAs (multi-objetivo), hasta llegar al algoritmo PDE (Pareto Differential Evolution) de Abbass (3), pasando por el algoritmo NSGA2, puesto que serán los modelos de referencia.

  Desarrollo de modelos de RNAs con Unidades de Base Sigmoides, Producto, RBF e híbridas.

  Selección automática de ensembles.

  Aplicación a bases de datos de la UCI y a problemas reales.

  Aplicar los algoritmos y métodos desarrollados en la plataforma KEEL (11), tanto en la parte experimental como en la docente.

  (1) S. Haykin, Neural Networks: A comprehensive Foundation. Upper Saddle River, NJ, USA: Prentice Hall, 2nd edition, 1998.

  (2) G. P. Zhang, "Neural Networks for Classification: A Survey," IEEE Transactions on Systems, Man, and Cybernetics - Part C: Applications and Reviews, vol. 30, pp. 451-462, 2000.

  (3) H. Abbass, Speeding Backpropagation Using Multiobjetive Evolutionary Algorithms, Neural Computation 15, 2705-2726 (2003) (4) J. E. Friedlsend, S. Singh, Pareto Evolutionary Neural Networks, IEEE Trans. Neural Networks, 16, 2, 2005.

  (5) R. Storn and K. Price. Differential Evolution. A fast and efficient heuristic for global optimization over continuous spaces. Journal of Global Optimization, 11:341-359, 1997 (6) K. V. Price, R. M. Storn, and J. A. Lampinen, Differential Evolution. A Practical Approach to Global Optimization: Springer, 2005.

  (7) A. Chandra, X. Yao. DIVACE: diverse and accurate ensemble learning algorithm, in Proceedings of the Fifth International Conference on intelligent Data Engineering and Automated learning, Exeter, UK, August 2004, Lectures Notes and Computer Science, vol. 3177, Springer, Berlin, pp. 619-625.

  (8) M.H. Nguyen, H.A. Abbass and R.I. McKay. Stopping criteria for ensemble of evolutionary artificial neural networks, Applied Soft Computing, Vol. 6, No. 1, pp. 100--107, November 2005 (9) Jesús González, Ignacio Rojas, Julio Ortega, Héctor Pomares and Antonio Fco. Díaz. Multiobjective Evolutionary Optimization of the Size, Shape and Position Parameters of Radial Basin Function Networks for Function Approximation, IEEE Trans. on Neural Networks, Vol. 14, No. 6, pp. 1478--1498, November 2003.

  (10) M. Delgado and M. C. Pegalajar, "A multiobjective genetic algorithm for obtain the optimal sizeof a recurrent neural network for grammatical inference," Pattern Recognition, vol. 38, pp. 1444-1456, 2005.

  (11) M. Delgado, M. P. Cuéllar, and M. C. Pegalajar, "Algoritmos multiobjetivo híbridos para entrenamiento y optimización de modelos neuronales recurrentes dinámicos," in V congreso en Metaheurísticas, Algoritmos Evolutivos y Bioinspirados, MAEB 07, Tenerife, España, 2007, pp. 91-98.