Repositorio Universidad del Cauca

Algoritmo de aprendizaje para una red neuronal profunda basado en una meta-heurística de optimización global de gran escala

Mostrar el registro sencillo del ítem

dc.contributor.author Muñoz Ordóñez, Julián Fernando
dc.date.accessioned 2022-06-16T15:22:10Z
dc.date.available 2022-06-16T15:22:10Z
dc.date.issued 2019-11
dc.identifier.uri http://repositorio.unicauca.edu.co:8080/xmlui/handle/123456789/4161
dc.description.abstract El aprendizaje profundo se basa en el incremento del número de capas ocultas en las arquitecturas de redes neuronales, este incremento proporciona a la red una mayor capacidad de abstracción sobre el conjunto de datos que se entrena, permitiendo mejorar considerablemente las tasas de precisión y error con respecto a los algoritmos tradicionales de aprendizaje máquina. Sin embargo, incrementar el número de capas ocultas conlleva a que los procesos de entrenamiento sufran estancamientos debido a diferentes problemas en la alta dimensionalidad: puntos de silla, múltiples óptimos locales y puntos de platea. El algoritmo por excelencia para el entrenamiento de redes neuronales profundas es conocido como RMSProp, este algoritmo funciona con información brindada por el gradiente descendente estocástico, sin embargo, la Neuroevolución: técnicas relacionadas con algoritmos evolutivos para entrenamiento de redes neuronales, han brindado nuevas posibilidades para resolver estos tipos de problemas. El presente trabajo de investigación se enfoca en definir cuál de tres (3) de los mejores algoritmos metaheurísticos mono-objetivo especializados en resolver problemas de alta dimensionalidad: Coevolución cooperativa basada en evolución diferencial (DECC-G), Muestreo múltiple de descendientes (MOS) e Hibridación iterativa de evolución diferencial (DE) con búsqueda local con reinicio (IHDELS) consiguen mejorar los resultados del error cuadrático medio logrados por el RMSProp y un simple algoritmo evolutivo de evaluaciones limitadas (LEEA) sobre conjuntos de datos de regresión y clasificación. Los resultados muestran que las metaheurísticas logran ser competitivas frente al RMSProp y logran vencer al algoritmo LEEA en conjuntos de datos de regresión. Por otra parte, en esta investigación se plantea un nuevo reto en la optimización de redes neuronales convolucionales profundas sobre conjuntos de datos de imágenes con un grado mayor de complejidad, durante esta etapa los resultados que se obtienen consisten en la construcción de una nueva propuesta memética inmersa en un nuevo framework de Neuroevolución (DNF) que logra vencer al RMSProp optimizando arquitecturas de redes neuronales convolucionales. Generando así un nuevo algoritmo y conocimiento en el área de la Neuroevolución aplicada sobre el aprendizaje profundo. spa
dc.description.abstract Deep learning is based on increasing the number of hidden layers in neural network architectures. This increase gives the network a greater capacity for abstraction on the dataset being trained, thereby enabling a considerable improvement in accuracy and error rates compared to traditional machine learning algorithms. Increasing the number of hidden layers, however, means that the training processes suffer stagnation due to different problems in high dimensionality: saddle points, multiple local optimal points and plateau. The algorithm par excellence for the training of deep neural networks is known as RMSProp, although this algorithm depends on information provided by stochastic gradient descent, new possibilities for solving problems of high dimensionality have arrived in the form of Neuroevolution techniques, related to evolutionary algorithms for training neural networks. This research focuses on defining which of three (3) single-objective metaheuristic algorithms best equipped to solve problems of high dimensionality are able to improve on mean square error results achieved by RMSProp and a simple evolutionary algorithm of limited evaluations (LEEA) on regression and classification data sets. The three under study are Differential Evolution-based cooperative co-evolution (DECC-G); Multiple offspring sampling (MOS) and Iterative hybridization of DE with local search, with restart (IHDELS). The results show that the metaheuristics manage to be competitive against RMSProp and manage to beat the LEEA algorithm in regression data sets. This study meanwhile poses a new challenge in the optimization of deep convolutional neural networks on image data sets with a greater degree of complexity. During this stage the results obtained consist of the construction of a new memetic proposal immersed in a new Neuroevolution framework (DNF). This managed to outperform RMSProp by optimizing convolutional neural network architectures, thus generating a new algorithm and knowledge in the area of Neuroevolution applied to deep learning. eng
dc.language.iso spa
dc.publisher Universidad del Cauca spa
dc.rights.uri https://creativecommons.org/licenses/by-nc-nd/4.0/
dc.subject Aprendizaje profundo spa
dc.subject Algoritmos evolutivos spa
dc.subject Redes neuronales artificiales spa
dc.subject Redes neuronales convolucionales spa
dc.subject Metaheurísticas spa
dc.subject Algoritmos de Optimización spa
dc.subject Algoritmos Meméticos spa
dc.subject Gradiente Descendente Estocástico spa
dc.subject Deep Learning eng
dc.subject Evolutionary Algorithms eng
dc.subject Artificial Neural Networks eng
dc.subject Convolutional Neural Networks eng
dc.subject Metaheuristics eng
dc.subject Large Scale Global Optimization eng
dc.subject Memetic Algorithms eng
dc.subject RMSProp eng
dc.subject Stochastic Gradient Descent eng
dc.title Algoritmo de aprendizaje para una red neuronal profunda basado en una meta-heurística de optimización global de gran escala spa
dc.type Tesis maestría spa
dc.rights.creativecommons https://creativecommons.org/licenses/by-nc-nd/4.0/
dc.type.driver info:eu-repo/semantics/masterThesis
dc.type.coar http://purl.org/coar/resource_type/c_bdcc
dc.publisher.faculty Facultad de Ingeniería Electrónica y Telecomunicaciones spa
dc.publisher.program Maestría en Computación spa
dc.rights.accessrights info:eu-repo/semantics/openAccess
dc.type.version info:eu-repo/semantics/acceptedVersion
dc.identifier.instname
dc.identifier.reponame
oaire.accessrights http://purl.org/coar/access_right/c_abf2
dc.identifier.repourl
oaire.version http://purl.org/coar/version/c_ab4af688f83e57aa


Ficheros en el ítem

Este ítem aparece en la(s) siguiente(s) colección(ones)

Mostrar el registro sencillo del ítem

https://creativecommons.org/licenses/by-nc-nd/4.0/ Excepto si se señala otra cosa, la licencia del ítem se describe como https://creativecommons.org/licenses/by-nc-nd/4.0/

Buscar en DSpace


Búsqueda avanzada

Listar

Mi cuenta