La méthode de Levenberg-Marquardt pour RNN

Dans l'algorithme de GD, la fonction d'erreur à minimiser doit être continue et différentiable par rapport à ses paramètres. Une fois que les gradients ont été calculés, l'approche la plus simple pour la minimisation de l'erreur est la méthode du gradient, où à chaque point, la direction de mise à jour du vecteur de paramètres est l'opposé du gradient en ce moment. Cette approche, due à sa généralité, a des inconvénients : (a) le comportement en zigzag, (b) la difficulté de choisir la valeur du paramètre dit taux d'apprentissage, (c) le fait qu'elle peut être lente : elle exige habituellement un grand nombre d'itérations. Pour alléger ces problèmes, nous avons essayé d'appliquer la méthode de LM, qui est une approximation de la méthode de Newton pour un RNN. La technique LM est connue pour être le meilleur algorithme pour des problèmes d'optimisation appliqués à un ANN [55]. (Voir la partie anglaise, la section 10.3 en page , pour plus de détails et la dérivation analytique pour notre méthode).