Nouveaux algorithmes d'apprentissage pour les réseaux de neurones aléatoires

Nous avons montré que les réseaux de neurones aléatoires (RNN) [45,51,46] se comportent bien pour l'évaluation de la qualité de multimédia. Cependant, dans le cas des grandes applications (un grand nombre de neurones et d'échantillons d'apprentissage), la phase d'apprentissage peut être longue. L'algorithme d'apprentissage dans le logiciel disponible mettant en uvre les RNN est le Gradient Descent (GD) proposé par l'inventeur des RNN, Erol Gelenbe [47]. Cet algorithme est plutôt lent et peut exiger un nombre élevé d'itérations pour atteindre la performance voulue. Il souffre également du comportement de zigzag (l'erreur diminue à un minimum local, puis augmente encore, puis diminue à nouveau, et ainsi de suite). Ce problème a orienté notre recherche afin de trouver de nouveaux algorithmes d'apprentissage pour les RNN. Nous avons développé deux nouveaux algorithmes d'apprentissage pour RNN. Le premier est inspiré de l'algorithme d'apprentissage de Levenberg-Marquardt (LM) pour un ANN [55]. Le second est inspiré d'un algorithme récemment proposé pour les ANN. On parle de LM avec adaptive momentum (LM-AM) [8]. Cet algorithme vise à surmonter certains des inconvénients de la méthode traditionnelle de LM pour les RN de type feedforward.