LinkedIn-Beiträge
Die Systeme, die ich baue, und die Forschung dahinter
Jeder Beitrag greift eine Entscheidung heraus, aus einem System, das ich gebaut habe, oder aus einem Beweis, den ich geführt habe: was schiefging, was ich geändert habe und welche Zahl danach stand. Die Beiträge erscheinen zuerst hier, dann auf LinkedIn.
-
Habe ich eine Garantie, oder rate ich?
Die Konvergenzanalyse hat mir beigebracht, jedem Algorithmus eine Frage zu stellen. Diese Frage hat ein agentisches System für die Lieferkette geprägt, das entscheiden soll, wann es seinen eigenen Antworten nicht traut.
-
Ein handgetunter Prompt kam auf 91 %. Ein kompilierter auf 99 %.
Leiten Sie eine Frage zur Lieferkette falsch weiter, und eine Bestandsanfrage kommt mit einer Antwort zur Tourenplanung zurück. Ich habe den handgeschriebenen Klassifikator-Prompt durch einen mit DSPy kompilierten ersetzt und danach mehr Zeit in die Messung gesteckt als in das Kompilieren.
-
Gleiche Frage, andere Zahlen, falsche Antwort
„400 Einheiten zuteilen“ und „1 000 Einheiten zuteilen“ ergeben fast identische Vektoren. Ein Cache, der allein auf Ähnlichkeit setzt, serviert einer Leitung die Zahlen einer anderen.
-
Warum wir die Konvergenz am einfachsten Netz bewiesen haben, das es gibt
Die lineare Schicht ist der eine Baustein, den alle neuronalen Netze teilen. Ihre Verlustfunktion bleibt nichtkonvex, und ihr Training bleibt NP-vollständig. Deshalb ist sie der richtige Ort, um nach einer Garantie zu suchen.
-
Ich habe promoviert: Konvergenzanalyse des Trainings tiefer linearer neuronaler Netze
Die Lernrate hängt an Konstanten, die die bestehende Theorie vor dem Training nicht berechnen kann, also wählt man sie durch Probieren. Einen Teil dieser Lücke habe ich geschlossen, und dieselbe Strenge wende ich jetzt auf KI im Betrieb an.
-
Der Copilot antwortet weiter, wenn das Sprachmodell ausfällt
Eine Gratisstufe mit 50 API-Aufrufen am Tag hat jede Entwurfsentscheidung in diesem System bestimmt. Die Grenze ist weg. Die Architektur, die daraus entstand, blieb, weil sie sich ihren Platz verdient hat.
-
Der zuverlässigste Teil des Copilots ist der, den das Sprachmodell nie berührt
Lassen Sie ein Sprachmodell eine Logistikentscheidung planen, und Sie bekommen die statistisch wahrscheinlichste Antwort, nicht die günstigste. Also habe ich das Modell aus der Rechnung herausgehalten und die Arbeit in die Grenze dazwischen gesteckt.
-
Bei 10.000 $ hält der Agent an und ein Mensch entscheidet
Jeder Freigabeprozess braucht einen Betrag. Darunter führt der Agent aus, darüber unterschreibt eine Person. Der Fehler, der mir gezeigt hat, wo diese Prüfung hingehört, kam erst im Integrationstest heraus.