Ingénierie ML et apprentissage profond
ML appliqué et théorie
Un système de ML que des exploitants font tourner chaque jour, et la théorie qui vous dit jusqu'où pousser un entraînement. Les deux arrivent avec des chiffres vérifiables. Ouvrez un projet pour lire l'étude de cas complète.
-
Prévision · déployé
Des sites télécoms au Cameroun perdaient du gasoil sans que personne voie où. Le système prévoit ce que chaque site devrait consommer et signale les grappes et les sites dont la consommation prévue se détache. Les exploitants s'en servent toujours.
NSE 0,982 · 84 617 litres de carburant tracés
Un régresseur à gradient boosting derrière une application web Flask, avec un seuil d'écart fixé à la moyenne plus 2 écarts-types, un tableau de bord de suivi et des exports pour les audits.
-
Recherche doctorale · publié
Analyse de l'entraînement des réseaux de neurones
Springer Nature 2024Quelle taille de pas d'entraînement vous pouvez prendre avant qu'un modèle cesse d'apprendre, établie à l'avance au lieu d'être découverte en regardant un entraînement échouer.
Le taux d'apprentissage maximal ne décroît pas exponentiellement avec la profondeur
Convergence globale de la descente de gradient pour les réseaux linéaires profonds, en portant les analyses antérieures du flot de gradient dans le cadre discret et en prouvant la convergence vers un minimum global pour presque toutes les initialisations dans le cas à deux couches.
-
Recherche · préprint
La preuve que l'entraînement par mini-lots aléatoires, tel qu'il se pratique, garde bornés les poids d'un réseau linéaire profond et fait tendre son gradient vers zéro, avec des règles de pas que vous pouvez calculer.
Convergence presque sûre de la SGD vers les points critiques, sans hypothèse de gradient lipschitzien
Étend à la descente de gradient stochastique (SGD) par mini-lots, sur une perte quadratique régularisée, des résultats de convergence de la descente de gradient pour les réseaux linéaires profonds. Prouve que les itérés restent bornés et, par les pseudo-trajectoires asymptotiques de l'approximation stochastique, que la SGD converge vers l'ensemble critique sous des pas déterministes ou adaptatifs.