Diseño de un algoritmo de aprendizaje para redes neuronales MLP basado en las propiedades del algoritmo acelerador regresivo versión γ

Abstract

Se presenta un nuevo algoritmo para el entrenamiento de redes neuronales perceptrón multicapa denominado ARγ-GLE (Acelerador Regresivo versión con Gradiente Local de Error). Este algoritmo se basa en los principios que rigen la actualización de parámetros en el algoritmo ARγ , que fue desarrollado en el contexto del filtrado adaptativo a partir de la discretización de un algoritmo en tiempo continuo que ajusta la segunda derivada de parámetros. El algoritmo ARγ-GLE se valida mediante diferentes problemas relacionados con aproximación de funciones y reconocimiento de patrones. Los resultados muestran buen comportamiento en cuanto a convergencia y generalización superando en las pruebas realizadas (sin aumento considerable en la complejidad algorítmica) los inherentes problemas del algoritmo "backpropagation" relacionados con la influencia imprevisible de la tasa de aprendizaje.

A new algorithm is presented for Multi-Layer Perceptron Neural Networks training, which is called ARγ-GLE (Acelerador Regresivo versión γ con Gradiente Local de Error ). This algorithm is based in the same principles that let parameter actualization in ARγ algorithm. This last one is an algorithm created in adaptive filtering context and is obtained from discretization of a continuous time algorithm based on the second derivative adjustment of the parameter estimate. ARγ -GLE algorithm is validated through different problems related to pattern recognition and fitting function. Results show both good convergence as generalization, overcomming in the experiments the inherent disadvantages of backpropagation algorithm (without a significant increase in the algorithm complexity) related to the unforseeable influence of the learnig rate.