LM avec adaptive momentum pour RNN

Quoique la méthode de LM soit l'un des algorithmes les plus puissants pour l'apprentissage des réseaux de feedforward, elle a plusieurs inconvénients. D'abord, la nécessité de calculer la matrice jacobienne et d'inverser la matrice hessienne avec des dimensions égales au nombre de poids du réseau. Cependant, ce problème est compensé par le plus grand taux de convergence de l'algorithme, qui devient quadratique lorsque l'on s'approche d'une solution. Un autre inconvénient est qu'on ne garantit pas la convergence vers le minimum global de la fonction de coût. Quand l'algorithme converge vers un minimum local, il n'est pas possible de s'échapper de celui-ci. Ainsi, dans [8], les auteurs ont proposé un algorithme que traite les minimums locaux avec une robustesse accrue et maintient toujours un taux de convergence rapide. L'idée principale d'aider le LM à échapper d'un minimum local est d'inclure une terme de momentum que rajoute comme information la dérivée seconde dans le processus d'apprentissage et fournit des itérations dont la forme est semblable à celle dans la méthode gradient conjuguée (CG). La différence principale avec la méthode du CG est que les coefficients réglant les poids entre le gradient et le terme de momentum sont heuristiquement déterminés tandis que dans CG, ils le sont d'une manière adaptative. (Voir la partie anglaise, la section 10.4.1 en page , pour plus de détails et la dérivation pour notre méthode).