Der Mensch als Engpass: KI-Forscher sollten sich laut Andrej Karpathy aus der Optimierung heraushalten

Das automatisierte Forschungssystem von KI-Entwickler Andrej Karpathy fand über Nacht Optimierungen, die er trotz zwei Jahrzehnten Erfahrung übersehen hatte. Karpathy hat sein GPT-2-Trainingssetup monatelang von Hand optimiert; dann ließ er einen autonomen Agenten über Nacht laufen. Der fand Feineinstellungen, die Karpathy übersehen hatte, Stellschrauben, die sich zudem gegenseitig beeinflussen und deren Zusammenspiel ein Mensch leichter übersieht als eine systematische Suche.

Karpathy folgert daraus: Forscher sollten sich aus dem Loop entfernen, zumindest dort, wo objektive Metriken existieren. Der Mensch sei der Engpass. Die Forscher in den großen KI-Laboren hätten zu viel unbegründetes Vertrauen in ihre eigene Intuition und seien letztlich dabei, sich systematisch selbst wegzuautomatisieren – was auch ihr erklärtes Ziel sei.

Dass dieser Fortschritt ohne Weiteres auf Bereiche außerhalb von Code übertragbar ist, glaubt Karpathy allerdings nicht. Modelle würden beim Coding und ähnlich gut verifizierbaren Bereichen immer besser, doch der Übertrag auf nicht-verfizierbare Bereiche sei nicht zufriedenstellend.