Analyse de l'entraînement des réseaux de neurones
Quelle taille de pas d'entraînement vous pouvez prendre avant qu'un modèle cesse d'apprendre, établie à l'avance au lieu d'être découverte en regardant un entraînement échouer.
La version courte
- Entraîner un réseau profond revient à optimiser une perte non convexe, et les garanties de convergence pour ce cas restent un problème ouvert.
- Ces travaux portent les analyses antérieures du flot de gradient dans le cadre discret de la descente de gradient, et prouvent que, sous des conditions explicites sur le pas, la descente de gradient sur un réseau linéaire profond converge vers un point critique de la perte quadratique. À deux couches, elle atteint un minimum global pour presque toutes les initialisations, et à trois couches ou plus un minimum global sur une variété de matrices de rang fixé. Ils n'exigent aucune initialisation proche d'un minimum global, et prouvent que les itérés restent bornés au lieu de le supposer.
- La clé théorique est une borne sur les normes des itérés de la descente de gradient, qui les garde bornés et permet d'appliquer le théorème de Lojasiewicz. Le pas maximal admissible ne décroît pas exponentiellement avec la profondeur : il est d'ordre L⁻³ pour un réseau de profondeur L. Les expériences de ma thèse de doctorat montrent la perte décroître de la même façon sur des réseaux à activations tanh.
- Ce que cela vous apporte en pratique : vous calculez la taille du pas d'entraînement avant de lancer l'exécution, à n'importe quelle profondeur, au lieu de découvrir le plafond en regardant un entraînement diverger.
L'énoncé du problème et l'objectif de recherche
Le contexte et son importance
L'apprentissage profond moderne repose presque entièrement sur l'optimisation par gradient pour entraîner les réseaux de neurones. Malgré un succès empirique remarquable, la compréhension théorique des raisons pour lesquelles la descente de gradient trouve de bonnes solutions dans des paysages de perte fortement non convexes reste incomplète. La fonction objectif d'un simple réseau entièrement connecté est déjà criblée de points selles et de minima locaux parasites, et pourtant les praticiens observent que la descente de gradient, déterministe ou stochastique, converge couramment vers des solutions de bonne qualité. Refermer l'écart entre cette observation empirique et des garanties mathématiques rigoureuses est une question centrale de la théorie de l'optimisation et de l'apprentissage profond.
Les travaux antérieurs sur ce problème analysaient soit le flot de gradient (la limite en temps continu de la descente de gradient, qui ignore les effets de discrétisation), soit prouvaient des résultats pour la descente de gradient sous des conditions restrictives : une initialisation proche de zéro sur un problème de régression scalaire, des itérés supposés bornés plutôt que prouvés tels, des couches cachées plus larges que l'entrée ou la sortie, ou une initialisation proche d'un minimum global. De telles conditions excluent des modèles courants, comme les auto-encodeurs aux couches intermédiaires étroites.
La formulation mathématique
Le problème s'écrit comme la minimisation de la perte quadratique d'un réseau linéaire profond, un produit de matrices de poids qui paramètrent une factorisation matricielle profonde. À partir des données d'entraînement, la sortie du réseau est la composition de L matrices de poids, et la perte mesure la distance au carré, en norme de Frobenius, entre la sortie du réseau et une matrice cible. Malgré la linéarité de chaque couche prise séparément, la fonction de perte reste non convexe dans les paramètres factorisés, à cause du couplage multiplicatif entre les matrices de poids. L'analyse porte sur la descente de gradient à taux d'apprentissage fixe ou lentement décroissant, appliquée directement à ces paramètres factorisés.
Le périmètre
Dans le périmètre : l'analyse de convergence de la descente de gradient discrète pour les réseaux linéaires profonds, y compris les architectures à deux couches, à trois couches et à L couches quelconques, la dérivation de conditions explicites sur le pas, et des expériences numériques sur des réseaux linéaires, étendues dans la thèse de doctorat à des réseaux à activations tanh. Hors périmètre : l'analyse de la descente de gradient stochastique (traitée dans un papier compagnon, SampTA 2023), les effets de la normalisation par lots, et les architectures convolutives.
Les critères de réussite
Établir que la descente de gradient converge sous une borne explicite sur le pas qui ne décroît pas exponentiellement avec la profondeur du réseau, et vers un minimum global pour presque toutes les initialisations là où l'analyse l'atteint. Puis vérifier la théorie numériquement sur des réseaux linéaires, et dans la thèse de doctorat sur des réseaux à activations tanh.
La méthodologie et l'approche
La bornitude des itérés de la descente de gradient
L'analyse commence par prouver que les itérés restent bornés tout au long de l'entraînement. Sans cela, les normes de gradient croissent sans contrôle, c'est le problème de l'explosion du gradient, et aucune garantie de convergence n'y survit. La preuve part de la structure algébrique du gradient dans les factorisations matricielles profondes. Sous la condition sur le pas, elle montre que les itérés gardent une constante d'équilibre fixe (une mesure de l'écart des couches à l'équilibre), que la perte ne croît jamais, et que chaque matrice de poids reste bornée en norme. Cela tient sans supposer que les itérés restent dans un compact fixé à l'avance, précisément le point de départ que les analyses antérieures devaient prendre.
La convergence par une inégalité de Lojasiewicz discrète
Une fois la bornitude acquise, l'analyse relie la dynamique de la descente de gradient à l'inégalité de Lojasiewicz, un outil de géométrie algébrique réelle. La perte quadratique d'un réseau linéaire est un polynôme, donc elle est réelle-analytique et satisfait une inégalité de gradient de Lojasiewicz au voisinage de chaque point critique. La bornitude maintient la trajectoire dans la région où cette inégalité s'applique, et une version en temps discret du théorème de convergence de Lojasiewicz force alors les itérés à converger vers un point critique unique de la perte.
Des points critiques aux minima globaux
Atteindre un point critique ne suffit pas en soi, puisque ce point pourrait être un point selle ou un minimum local. L'analyse traite ce cas profondeur par profondeur :
- Les réseaux à deux couches. La descente de gradient évite les points selles stricts pour presque toutes les initialisations. À deux couches, l'analyse des points selles stricts de la perte transforme alors la convergence vers un point critique en convergence vers un minimum global.
- Les réseaux à trois couches et plus. Le résultat est la convergence vers un minimum global sur la variété des matrices d'un certain rang fixé, que l'analyse ne permet pas de déterminer à l'avance. L'article conjecture que le résultat à deux couches s'étend aux réseaux plus profonds, et précise que la méthode de preuve actuelle ne permet pas de le montrer.
Les conditions sur le pas
C'est la borne sur le pas qui rend ces travaux utilisables. Elle ne décroît pas exponentiellement avec la profondeur : avec une constante d'équilibre choisie d'ordre L⁻², les pas doivent être d'ordre L⁻³. La théorie atteint donc des architectures plus profondes sans exiger des taux d'apprentissage trop petits pour entraîner quoi que ce soit.
Les résultats et leur portée
Les résultats théoriques principaux
| Résultat | Profondeur du réseau | Garantie |
|---|---|---|
| Convergence vers un point critique | L quelconque | La descente de gradient converge vers un point critique de la perte quadratique, sous la borne explicite sur le pas |
| Convergence globale | L = 2 | La descente de gradient converge vers un minimum global pour presque toutes les initialisations |
| Convergence sur la variété de rang | L ≥ 3 | La descente de gradient converge vers un minimum global sur la variété des matrices de rang fixé |
| Passage à l'échelle du pas | L quelconque | Le pas maximal ne décroît pas exponentiellement avec la profondeur |
Les expériences : réseaux linéaires dans l'article, réseaux tanh dans la thèse
L'article entraîne des réseaux linéaires de profondeur 2, 3 et 5 avec le pas fixé à la borne, et la perte converge. Un pas au-dessus de la borne a encore convergé dans une expérience, ce qui suggère que la borne n'est peut-être pas tout à fait optimale. L'augmenter davantage mène à la divergence, donc une borne sur le pas reste nécessaire. Ma thèse de doctorat étend les expériences à des réseaux à activations tanh sur les deux dernières couches, entraînés avec la même formule de pas, où la perte décroît régulièrement (figure 2, en haut). Les théorèmes eux-mêmes ne couvrent que les réseaux linéaires.
Les limites et la suite
L'analyse couvre la perte quadratique et les architectures entièrement connectées. L'entropie croisée, les couches convolutives et les connexions résiduelles restent ouvertes. Les travaux compagnons sur la descente de gradient stochastique (SampTA 2023) ouvrent le côté stochastique, en s'appuyant sur l'approximation stochastique et les cadres de pseudo-trajectoires asymptotiques pour établir des garanties de convergence sur les réseaux de neurones linéaires, sous des calendriers de taux d'apprentissage décroissants et adaptatifs.