KI-Fortschritt: Warum Sprachmodelle komplexe Codes knacken, aber simple Fragen vermasseln

KI-Modelle lösen komplexe Programmieraufgaben in Stunden, scheitern aber an simplen Alltagsfragen. Andrej Karpathy erklärt, warum das kein Widerspruch ist.

Laut Andrej Karpathy gibt es zwei Perspektiven auf KI-Fortschritt: Die erste Gruppe hat die kostenlose Version von ChatGPT oder den Sprach-Dialogmodus ausprobiert und sich ein Urteil gebildet, oft geprägt von dummen Fehlern und Halluzinationen. Diese veralteten Modelle spiegeln laut Karpathy aber nicht den aktuellen Stand wider.

Die zweite Gruppe nutzt professionell die neuesten Modelle wie OpenAI Codex oder Claude Code in technischen Bereichen wie Programmierung, Mathematik und Forschung. Dort seien die Fortschritte in diesem Jahr enorm: Diese Modelle könnten eigenständig ganze Codebasen umstrukturieren oder Sicherheitslücken finden. Beide Gruppen redeten aneinander vorbei, so Karpathy.

Es ist tatsächlich gleichzeitig der Fall, dass OpenAIs kostenloser und meiner Meinung nach etwas vernachlässigter 'Advanced Voice Mode' an den dümmsten Fragen in Instagram-Reels scheitert und gleichzeitig OpenAIs teuerstes und kostenpflichtiges Codex-Modell eine Stunde lang eine komplette Codebasis kohärent umstrukturiert oder Sicherheitslücken in Computersystemen findet und ausnutzt.

Anzeige

DEC_D_Incontent-1

Karpathy via X

In Karpathys Aussage steckt eine grundlegendere Beobachtung: Bereiche wie Code oder Mathematik, in denen sich Ergebnisse klar prüfen und durch Reinforcement Learning gezielt verstärken lassen, profitieren derzeit messbar stärker vom KI-Fortschritt als Bereiche ohne solche eindeutigen Metriken, etwa Schreiben oder Beratung.

Verifizierbarkeit als Schlüssel zum Fortschritt

Damit triggert Karpathy eine grundlegende Frage der aktuellen KI-Forschung: Kann aus Sprachmodellen eine generalisierende Intelligenz entstehen, oder können die Modelle nur darauf optimiert werden, in vorgegebenen bestimmten Domänen effizient zu agieren?

Karpathy hatte dieses Strukturproblem bereits in einem früheren Essay präzisiert: Im Paradigma der "Software 2.0" sei nicht die Spezifizierbarkeit einer Aufgabe entscheidend, sondern ihre Verifizierbarkeit. Nur wenn ein System automatisiertes Feedback erhält – etwa durch richtig/falsch-Bewertungen oder klare Belohnungsstrukturen –, kann es durch Reinforcement Learning effizient trainiert werden. "Je verifizierbarer eine Aufgabe ist, desto besser lässt sie sich im neuen Programmierparadigma automatisieren", so Karpathy.

Letzten Sommer kursierten Gerüchte über einen Universal Verifier von OpenAI, der Reinforcement Learning über alle Wissensbereiche hinweg anwendbar machen sollte. Bislang wurde daraus nichts Konkretes. Inzwischen hat Jerry Tworek, einer der führenden Köpfe hinter OpenAIs Reinforcement-Learning-Strategie, das Unternehmen verlassen und erklärte kürzlich, dass "Deep-Learning-Forschung im Wesentlichen abgeschlossen sei".