Angewandtes ML und Theorie

Prognose · im Betrieb

Telekomstandorte in Kamerun verloren Diesel, und niemand sah wo. Das System sagt vorher, was ein Standort verbrauchen sollte, und meldet die Cluster und Standorte, deren prognostizierter Verbrauch herausragt. Der Betrieb nutzt es bis heute.

NSE 0,982 · 84 617 Liter Kraftstoff nachgewiesen

Ein Gradient-Boosting-Regressor hinter einer Flask-Webanwendung, mit einer Abweichungsschwelle beim Mittelwert plus 2 Standardabweichungen, einem Monitoring-Dashboard und Exporten für Audits.

• Python
• Flask
• Scikit-Learn
• Pygal
• Render.com

Promotionsforschung · veröffentlicht

Wie groß ein Trainingsschritt sein darf, bevor ein Modell aufhört zu lernen: vorab berechnet, statt beim Scheitern eines Laufs entdeckt.

Die maximale Lernrate fällt nicht exponentiell mit der Tiefe

Globale Konvergenz des Gradientenabstiegs für tiefe lineare Netze. Die Arbeit trägt frühere Gradientenfluss-Analysen in den diskreten Fall und beweist für zwei Schichten Konvergenz zu einem globalen Minimum für fast alle Initialisierungen.

• Deep linear networks
• Gradient descent
• Lojasiewicz inequality
• PyTorch

Forschung · Preprint

Ein Beweis, dass Training mit zufälligen Mini-Batches, wie es in der Praxis läuft, die Gewichte eines tiefen linearen Netzes beschränkt hält und seinen Gradienten gegen null treibt, mit Schrittweiten, die Sie berechnen können.

Fast sichere Konvergenz von SGD zu kritischen Punkten, ohne Lipschitz-Annahme an den Gradienten

Überträgt Konvergenzergebnisse des Gradientenabstiegs für tiefe lineare Netze auf den stochastischen Gradientenabstieg (SGD) mit Mini-Batches bei regularisiertem quadratischem Verlust. Die Arbeit beweist, dass die Iterierten beschränkt bleiben, und über asymptotische Pseudotrajektorien der stochastischen Approximation, dass SGD unter deterministischen und adaptiven Schrittweiten zur kritischen Menge konvergiert.

• Deep linear networks
• SGD
• Stochastic approximation
• Asymptotic pseudotrajectories