Analyse des Trainings neuronaler Netze
Wie groß ein Trainingsschritt sein darf, bevor ein Modell aufhört zu lernen: vorab berechnet, statt beim Scheitern eines Laufs entdeckt.
Die kurze Fassung
- Ein tiefes Netz zu trainieren heißt, eine nichtkonvexe Verlustfunktion zu optimieren, und Konvergenzgarantien dafür sind weiter ein offenes Problem.
- Diese Arbeit trägt frühere Analysen des Gradientenflusses in den diskreten Fall des Gradientenabstiegs und beweist, dass der Gradientenabstieg auf einem tiefen linearen Netz unter expliziten Bedingungen an die Schrittweite zu einem kritischen Punkt des quadratischen Verlusts konvergiert. Bei zwei Schichten erreicht er für fast alle Initialisierungen ein globales Minimum, bei drei und mehr ein globales Minimum auf einer Mannigfaltigkeit von Matrizen festen Rangs. Sie braucht keine Initialisierung nahe einem globalen Minimum und beweist die Beschränktheit der Iterierten, statt sie vorauszusetzen.
- Der theoretische Schlüssel ist eine Schranke für die Normen der Iterierten, die sie beschränkt hält und den Satz von Lojasiewicz anwendbar macht. Die maximal zulässige Schrittweite fällt nicht exponentiell mit der Tiefe: Sie ist von der Ordnung L⁻³ für ein Netz der Tiefe L. Experimente in meiner Dissertation zeigen, dass der Verlust an Netzen mit tanh-Aktivierungen auf dieselbe Weise sinkt.
- Was Ihnen das in der Praxis bringt: Sie berechnen die Schrittweite vor dem Start des Laufs, in jeder Tiefe, statt die Obergrenze beim Divergieren eines Laufs zu finden.
Aufgabenstellung und Forschungsziel
Der Kontext und seine Bedeutung
Modernes Deep Learning stützt sich fast vollständig auf gradientenbasierte Optimierung, um neuronale Netze zu trainieren. Trotz des empirischen Erfolgs bleibt das theoretische Verständnis dafür unvollständig, warum der Gradientenabstieg in stark nichtkonvexen Verlustlandschaften gute Lösungen findet. Schon die Zielfunktion eines einfachen vollverbundenen Netzes ist durchsetzt von Sattelpunkten und unechten lokalen Minima, und dennoch beobachtet die Praxis, dass der gewöhnliche und der stochastische Gradientenabstieg regelmäßig zu Lösungen hoher Güte konvergieren. Die Lücke zwischen dieser Beobachtung und strengen mathematischen Garantien zu schließen, ist eine Kernfrage der Optimierungstheorie und des Deep Learning.
Frühere Arbeiten zu diesem Problem analysierten entweder den Gradientenfluss (den zeitstetigen Grenzfall, der Diskretisierungseffekte ausblendet) oder bewiesen Ergebnisse für den Gradientenabstieg unter einschränkenden Bedingungen: Initialisierung nahe null bei einem skalaren Regressionsproblem, beschränkte Iterierte als Annahme statt als Beweis, verdeckte Schichten breiter als Eingabe oder Ausgabe oder eine Initialisierung nahe einem globalen Minimum. Solche Bedingungen schließen gängige Modelle aus, etwa Autoencoder mit schmalen Zwischenschichten.
Die mathematische Formulierung
Das Problem ist als Minimierung des quadratischen Verlusts eines tiefen linearen Netzes formuliert, also eines Produkts von Gewichtsmatrizen, das eine tiefe Matrixfaktorisierung parametrisiert. Zu gegebenen Trainingsdaten ist die Ausgabe des Netzes die Komposition von L Gewichtsmatrizen, und der Verlust misst den quadrierten Abstand in der Frobeniusnorm zwischen der Ausgabe und einer Zielmatrix. Trotz der Linearität der einzelnen Schichten bleibt die Verlustfunktion in den faktorisierten Parametern nichtkonvex, wegen der multiplikativen Kopplung zwischen den Gewichtsmatrizen. Die Analyse betrachtet den Gradientenabstieg mit fester oder langsam fallender Lernrate, direkt auf diesen faktorisierten Parametern.
Der Rahmen
Im Rahmen: die Konvergenzanalyse des diskreten Gradientenabstiegs für tiefe lineare Netze, mit Architekturen aus zwei, drei und allgemein L Schichten, die Herleitung expliziter Bedingungen an die Schrittweite und numerische Experimente an linearen Netzen, in der Dissertation erweitert auf Netze mit tanh-Aktivierungen. Außerhalb des Rahmens: die Analyse des stochastischen Gradientenabstiegs (behandelt in einem Begleitpaper zur SampTA 2023), die Wirkung der Batch-Normalisierung und konvolutionale Architekturen.
Die Erfolgskriterien
Zeigen, dass der Gradientenabstieg unter einer expliziten Schranke für die Schrittweite konvergiert, die nicht exponentiell mit der Tiefe des Netzes fällt, und für fast alle Initialisierungen zu einem globalen Minimum, wo die Analyse das erreicht. Danach die Theorie numerisch an linearen Netzen prüfen und in der Dissertation an Netzen mit tanh-Aktivierungen.
Methodik und Vorgehen
Die Beschränktheit der Iterierten
Die Analyse beginnt mit dem Beweis, dass die Iterierten über das gesamte Training beschränkt bleiben. Sonst wachsen die Gradientennormen unkontrolliert, das ist das Problem der explodierenden Gradienten, und keine Konvergenzgarantie übersteht das. Der Beweis geht von der algebraischen Struktur des Gradienten in tiefen Matrixfaktorisierungen aus. Unter der Bedingung an die Schrittweite zeigt er, dass die Iterierten eine feste Balanciertheitskonstante behalten (ein Maß dafür, wie weit die Schichten vom balancierten Zustand abweichen), dass der Verlust nie steigt und dass jede Gewichtsmatrix in der Norm beschränkt bleibt. Das gilt, ohne vorauszusetzen, dass die Iterierten in einer vorab festgelegten kompakten Menge bleiben, und genau dort mussten frühere Analysen ansetzen.
Konvergenz über eine diskrete Lojasiewicz-Ungleichung
Mit der Beschränktheit in der Hand verbindet die Analyse die Dynamik des Gradientenabstiegs mit der Lojasiewicz-Ungleichung, einem Werkzeug der reellen algebraischen Geometrie. Der quadratische Verlust eines linearen Netzes ist ein Polynom, also reell-analytisch, und erfüllt in der Nähe jedes kritischen Punktes eine Lojasiewicz-Gradientenungleichung. Die Beschränktheit hält die Trajektorie in dem Bereich, in dem diese Ungleichung gilt, und eine zeitdiskrete Fassung des Lojasiewicz-Konvergenzsatzes zwingt die Iterierten dann zur Konvergenz gegen einen einzelnen kritischen Punkt.
Von kritischen Punkten zu globalen Minima
Einen kritischen Punkt zu erreichen genügt für sich noch nicht, denn dieser Punkt könnte ein Sattelpunkt oder ein lokales Minimum sein. Die Analyse behandelt das nach Tiefe getrennt:
- Netze mit zwei Schichten. Der Gradientenabstieg meidet strikte Sattelpunkte für fast alle Initialisierungen. Bei zwei Schichten macht die Analyse der strikten Sattelpunkte des Verlusts dann aus der Konvergenz zu einem kritischen Punkt eine Konvergenz zu einem globalen Minimum.
- Netze mit drei und mehr Schichten. Das Ergebnis ist Konvergenz zu einem globalen Minimum auf der Mannigfaltigkeit der Matrizen eines festen Rangs, den die Analyse nicht im Voraus bestimmen kann. Der Artikel vermutet, dass das Ergebnis für zwei Schichten auf tiefere Netze übergeht, und hält fest, dass die aktuelle Beweismethode das nicht zeigen kann.
Die Bedingungen an die Schrittweite
Die Schranke für die Schrittweite macht diese Arbeit brauchbar. Sie fällt nicht exponentiell mit der Tiefe: Mit einer Balanciertheitskonstante der Ordnung L⁻² müssen die Schrittweiten von der Ordnung L⁻³ sein. Die Theorie erreicht also tiefere Architekturen, ohne Lernraten zu verlangen, die zum Trainieren zu klein sind.
Ergebnisse und Wirkung
Die wichtigsten theoretischen Ergebnisse
| Ergebnis | Tiefe des Netzes | Garantie |
|---|---|---|
| Konvergenz zu einem kritischen Punkt | beliebiges L | Der Gradientenabstieg konvergiert unter der expliziten Schranke für die Schrittweite zu einem kritischen Punkt des quadratischen Verlusts |
| Globale Konvergenz | L = 2 | Der Gradientenabstieg konvergiert für fast alle Initialisierungen zu einem globalen Minimum |
| Konvergenz auf der Rang-Mannigfaltigkeit | L ≥ 3 | Der Gradientenabstieg konvergiert zu einem globalen Minimum auf der Mannigfaltigkeit der Matrizen festen Rangs |
| Skalierbarkeit der Schrittweite | beliebiges L | Die maximale Schrittweite fällt nicht exponentiell mit der Tiefe |
Die Experimente: lineare Netze im Artikel, tanh-Netze in der Dissertation
Der Artikel trainiert lineare Netze der Tiefe 2, 3 und 5 mit der Schrittweite genau an der Schranke, und der Verlust konvergiert. Eine Schrittweite über der Schranke konvergierte in einem Experiment trotzdem, was nahelegt, dass die Schranke nicht ganz scharf ist. Eine weitere Erhöhung führt zur Divergenz, also ist eine Schranke für die Schrittweite nötig. Meine Dissertation erweitert die Experimente auf Netze mit tanh-Aktivierungen in den letzten zwei Schichten, trainiert mit derselben Formel für die Schrittweite, und der Verlust sinkt stetig (Abbildung 2, oben). Die Sätze selbst decken nur lineare Netze ab.
Grenzen und was als Nächstes kommt
Die Analyse deckt den quadratischen Verlust und vollverbundene Architekturen ab. Kreuzentropie, konvolutionale Schichten und Residualverbindungen bleiben offen. Die Begleitarbeit zur SGD (SampTA 2023) öffnet die stochastische Seite und nutzt stochastische Approximation und asymptotische Pseudotrajektorien, um Konvergenzgarantien für den stochastischen Gradientenabstieg auf linearen neuronalen Netzen unter fallenden und adaptiven Lernraten zu zeigen.