Algoritmo de aprendizaje para una red neuronal profunda basado en una meta-heurística de optimización global de gran escala

Abstract

El aprendizaje profundo se basa en el incremento del número de capas ocultas en las arquitecturas de redes neuronales, este incremento proporciona a la red una mayor capacidad de abstracción sobre el conjunto de datos que se entrena, permitiendo mejorar considerablemente las tasas de precisión y error con respecto a los algoritmos tradicionales de aprendizaje máquina. Sin embargo, incrementar el número de capas ocultas conlleva a que los procesos de entrenamiento sufran estancamientos debido a diferentes problemas en la alta dimensionalidad: puntos de silla, múltiples óptimos locales y puntos de platea. El algoritmo por excelencia para el entrenamiento de redes neuronales profundas es conocido como RMSProp, este algoritmo funciona con información brindada por el gradiente descendente estocástico, sin embargo, la Neuroevolución: técnicas relacionadas con algoritmos evolutivos para entrenamiento de redes neuronales, han brindado nuevas posibilidades para resolver estos tipos de problemas. El presente trabajo de investigación se enfoca en definir cuál de tres (3) de los mejores algoritmos metaheurísticos mono-objetivo especializados en resolver problemas de alta dimensionalidad: Coevolución cooperativa basada en evolución diferencial (DECC-G), Muestreo múltiple de descendientes (MOS) e Hibridación iterativa de evolución diferencial (DE) con búsqueda local con reinicio (IHDELS) consiguen mejorar los resultados del error cuadrático medio logrados por el RMSProp y un simple algoritmo evolutivo de evaluaciones limitadas (LEEA) sobre conjuntos de datos de regresión y clasificación. Los resultados muestran que las metaheurísticas logran ser competitivas frente al RMSProp y logran vencer al algoritmo LEEA en conjuntos de datos de regresión. Por otra parte, en esta investigación se plantea un nuevo reto en la optimización de redes neuronales convolucionales profundas sobre conjuntos de datos de imágenes con un grado mayor de complejidad, durante esta etapa los resultados que se obtienen consisten en la construcción de una nueva propuesta memética inmersa en un nuevo framework de Neuroevolución (DNF) que logra vencer al RMSProp optimizando arquitecturas de redes neuronales convolucionales. Generando así un nuevo algoritmo y conocimiento en el área de la Neuroevolución aplicada sobre el aprendizaje profundo.

Deep learning is based on increasing the number of hidden layers in neural network architectures. This increase gives the network a greater capacity for abstraction on the dataset being trained, thereby enabling a considerable improvement in accuracy and error rates compared to traditional machine learning algorithms. Increasing the number of hidden layers, however, means that the training processes suffer stagnation due to different problems in high dimensionality: saddle points, multiple local optimal points and plateau. The algorithm par excellence for the training of deep neural networks is known as RMSProp, although this algorithm depends on information provided by stochastic gradient descent, new possibilities for solving problems of high dimensionality have arrived in the form of Neuroevolution techniques, related to evolutionary algorithms for training neural networks. This research focuses on defining which of three (3) single-objective metaheuristic algorithms best equipped to solve problems of high dimensionality are able to improve on mean square error results achieved by RMSProp and a simple evolutionary algorithm of limited evaluations (LEEA) on regression and classification data sets. The three under study are Differential Evolution-based cooperative co-evolution (DECC-G); Multiple offspring sampling (MOS) and Iterative hybridization of DE with local search, with restart (IHDELS). The results show that the metaheuristics manage to be competitive against RMSProp and manage to beat the LEEA algorithm in regression data sets. This study meanwhile poses a new challenge in the optimization of deep convolutional neural networks on image data sets with a greater degree of complexity. During this stage the results obtained consist of the construction of a new memetic proposal immersed in a new Neuroevolution framework (DNF). This managed to outperform RMSProp by optimizing convolutional neural network architectures, thus generating a new algorithm and knowledge in the area of Neuroevolution applied to deep learning.