Convergence de la descente de gradient stochastique dans les réseaux linéaires profonds
La preuve que l'entraînement par mini-lots aléatoires, tel qu'il se pratique, garde bornés les poids d'un réseau linéaire profond et fait tendre son gradient vers zéro, avec des règles de pas que vous pouvez calculer.
La version courte
- La descente de gradient stochastique (SGD) entraîne la plupart des réseaux profonds actuels, et sa convergence sur des pertes non convexes reste mal comprise. La plupart des garanties supposent un gradient globalement lipschitzien, une propriété que la perte quadratique d'un réseau linéaire profond n'a pas.
- Ce préprint, écrit avec Bubacarr Bah, Holger Rauhut et Ulrich Terstiege, étend à la SGD par mini-lots, sur une perte quadratique régularisée, les résultats de convergence de notre article sur la descente de gradient. Avec probabilité 1, les itérés restent bornés, la perte converge, les gradients tendent vers zéro et la distance à l'ensemble des points critiques tend vers zéro. Le résultat vaut pour des pas déterministes comme adaptatifs, pour toute taille de lot jusqu'à 1.
- L'étape clé est une preuve directe de la bornitude, sans hypothèse de Lipschitz. Des itérés bornés permettent à la trajectoire de la SGD de suivre le flot de gradient comme pseudo-trajectoire asymptotique, et la perte régularisée est une fonction de Lyapunov qui détermine où la SGD aboutit. À notre connaissance, c'est le premier résultat de convergence presque sûre de la SGD dans les réseaux linéaires profonds dans ce cadre.
- Ce que cela vous apporte en pratique : des calendriers de pas aux constantes explicites, calculées à partir des données, de la taille de lot, de la régularisation et des poids initiaux, sous lesquels la convergence est garantie.
L'énoncé du problème et l'objectif de recherche
Le contexte et son importance
La SGD et ses variantes servent à entraîner les modèles fortement paramétrés. Chaque pas utilise le gradient sur un mini-lot tiré au hasard, ce qui coûte moins cher qu'un gradient sur tout le jeu de données quand celui-ci est grand. Le prix à payer est le bruit. Dans les cas non convexes, où le paysage de perte est criblé de points selles et de minima locaux, la théorie reste en retard sur la pratique.
La plupart des résultats de convergence de la SGD supposent des gradients bornés ou un gradient lipschitzien. Cette propriété donne le lemme de descente, borne le moment d'ordre 2 du gradient, et c'est par elle que les preuves existantes montrent que les itérés restent bornés. Le gradient de la perte quadratique d'un réseau linéaire profond n'est pas globalement lipschitzien. Ces résultats généraux ne s'appliquent donc que si la bornitude est prouvée autrement.
La formulation mathématique
Un réseau linéaire profond de profondeur N ≥ 2 multiplie son entrée par N matrices de poids successives. Il calcule une application linéaire, mais la factorisation des paramètres rend la perte non convexe : il garde des traits clés de l'apprentissage profond tout en restant analysable. La perte d'entraînement est la perte quadratique plus un régulariseur λ(½‖W‖²)^β sur l'ensemble des poids, avec λ > 0 et β ≥ N. À chaque pas, la SGD tire uniformément au hasard un mini-lot de taille T et met à jour chaque matrice de poids avec le gradient de la perte régularisée sur ce mini-lot, dont l'espérance est le gradient complet. L'article justifie le régulariseur : pour la perte quadratique non régularisée, prouver que la SGD reste bornée s'est révélé très difficile et reste un problème ouvert.
Le périmètre
Dans le périmètre : la SGD par mini-lots sur des réseaux linéaires profonds de profondeur N ≥ 2 quelconque, avec la perte quadratique régularisée, des tailles de lot de 1 jusqu'au jeu de données complet, des calendriers de pas déterministes et adaptatifs, et des expériences numériques sur données synthétiques, dont un essai sur des réseaux à activation tanh sur la dernière couche. Hors périmètre : la perte quadratique non régularisée, encore ouverte pour la SGD, et une preuve pour les réseaux non linéaires, que les expériences explorent sans que la théorie les couvre.
Les critères de réussite
Prouver la bornitude presque sûre des itérés de la SGD sans hypothèse de gradient lipschitzien, puis la convergence presque sûre vers l'ensemble critique sous des pas aux constantes explicites, pour les calendriers déterministe et adaptatif. Puis mesurer numériquement à quel point les conditions sur le pas sont fines.
La méthodologie et l'approche
La bornitude des itérés de la SGD, prouvée directement
Tout repose sur des itérés qui restent bornés, ce que les analyses antérieures de la SGD tiraient d'un gradient lipschitzien. Cet article l'obtient du régulariseur. Pour β ≥ N et des pas mis à l'échelle par des constantes explicites, la norme de chaque itéré reste sous max{‖W(0)‖, M + B}, où M et B dépendent des données, de la taille de lot, de λ, de β, de N et des poids initiaux. Quand β = N, λ doit en plus dépasser un seuil fixé par les données. Le calendrier adaptatif obtient une borne explicite du même type, fixée par M, le plafond D et les données.
De la SGD au flot de gradient : les pseudo-trajectoires asymptotiques
Une fois la bornitude acquise, l'analyse traite la SGD comme une discrétisation bruitée du flot de gradient de la perte régularisée. Elle relie les itérés en une trajectoire continue et montre que celle-ci est une pseudo-trajectoire asymptotique, un outil de la théorie de l'approximation stochastique : sur toute fenêtre de temps fixée, la trajectoire suit le flot de gradient de plus en plus près à mesure que l'entraînement avance. Il faut pour cela que le bruit des mini-lots se moyenne, ce que donnent des pas dont la somme diverge et dont la somme des carrés est finie.
L'arrivée sur l'ensemble critique
La perte régularisée est une fonction de Lyapunov pour le flot de gradient : elle décroît le long du flot. Un résultat de Benaïm sur les pseudo-trajectoires asymptotiques transforme alors une pseudo-trajectoire bornée et cette fonction de Lyapunov en convergence des valeurs de la perte et des itérés vers l'ensemble des points critiques, avec probabilité 1.
Deux calendriers de pas
Les deux calendriers multiplient une suite b_k à valeurs dans ]0, 1] par une échelle. Le théorème exige que la somme des b_k soit infinie et la somme de leurs carrés finie, ce que vérifie b_k = 1/(k + 1)^γ pour γ supérieur à ½.
- Le calendrier déterministe. L'échelle est fixée avant l'entraînement, à partir des données, de la taille de lot, des poids initiaux et des constantes de régularisation.
- Le calendrier adaptatif. Le pas lit la norme courante des poids et diminue quand les poids grandissent, plafonné par une constante D. L'article conseille un D grand en pratique, pour que le terme adaptatif s'applique la plupart du temps.
L'effet de la taille de lot sur le pas
Une section que l'article qualifie d'heuristique, et non de théorème, compare la SGD à lot de taille 1 avec la descente de gradient sur lot complet, à travers ces bornes sur le pas. Sur des données où un seul point porte tout le signal, la descente de gradient peut l'emporter. Sur des données formées de copies d'un même point, c'est la SGD qui peut l'emporter. L'article y voit l'indice que la SGD est probablement plus efficace quand elle parcourt tout le jeu de données en moins de pas.
Les résultats et leur portée
Les résultats théoriques principaux
| Résultat | Pas | Garantie |
|---|---|---|
| Bornitude | Déterministe | Chaque itéré reste dans le rayon explicite max{‖W(0)‖, M + B} |
| Bornitude | Adaptatif | Chaque itéré reste dans un rayon explicite fixé par M, D et les données |
| Convergence de la perte | Les deux | La perte régularisée le long des itérés de la SGD converge, avec probabilité 1 |
| Gradient qui s'annule | Les deux | Le gradient complet aux itérés de la SGD tend vers zéro, avec probabilité 1 |
| Convergence vers l'ensemble critique | Les deux | La distance des itérés à l'ensemble des points critiques tend vers zéro, avec probabilité 1 |
Les expériences sur données synthétiques
Les expériences entraînent des réseaux linéaires de profondeur 3 et 4 sur 300 points gaussiens de dimension 70, avec des cibles produites par un réseau linéaire aléatoire et des mini-lots de 30. Avec des pas adaptatifs conformes au théorème, la perte régularisée baisse par paliers, puis reste plate jusqu'à la fin d'un entraînement de 500 000 époques : à partir d'environ 5 000 époques en profondeur 3 (figure 1), et d'environ 100 000 époques en profondeur 4 (figure 2). L'article observe la même convergence de la perte et les mêmes normes bornées avec le calendrier déterministe. Des pas qui enfreignent les conditions du théorème ont tout de même gardé les itérés bornés, ce qui suggère que la borne n'est pas optimale.
La figure 3 compare les deux calendriers sur le même réseau de profondeur 3, avec la perte divisée par sa valeur de départ. Avec des pas déterministes, elle décroît lentement et se stabilise vers 0,91 après environ 20 000 époques. Avec des pas adaptatifs et D = 1, elle bouge à peine pendant les premières centaines d'époques, chute brusquement vers l'époque 1 000 et se stabilise vers 0,68. Le calendrier adaptatif a convergé plus vite, et vers une perte plus basse.
Une dernière expérience place une activation tanh sur la dernière couche, un cas que la théorie ne couvre pas. Avec la règle de pas adaptative, la perte régularisée d'un réseau de profondeur 3 passe d'environ 0,048 à environ 0,013, le plus vite entre 100 et 1 000 époques, et reste plate à partir d'environ 10 000 époques (figure 4), comme le réseau linéaire de la figure 1. Les normes de ses poids passent d'environ 1,76 à 1,32 dans les 50 premières époques, remontent, puis restent stables vers 1,78 à partir d'environ 2 000 époques (figure 5). L'article y voit l'indice que certains résultats pourraient s'étendre aux réseaux non linéaires.
Les limites et la suite
La garantie porte sur la convergence vers l'ensemble des points critiques de la perte régularisée. Elle ne dit pas quel point critique la SGD atteint, ni si ce point est un minimum global. L'analyse a besoin du régulariseur avec β ≥ N : la SGD sur la perte quadratique non régularisée, le cadre des travaux antérieurs sur la descente de gradient, reste un problème ouvert, et les auteurs estiment que cette analyse fournit un plan pour bon nombre de ses étapes. Les réseaux non linéaires ne sont testés que numériquement.