Ex-Deepmind-Vize Vinyals: KI-Selbstverbesserung kommt, die Intelligenzexplosion nicht

Seine Kernbotschaft: Fortschritte in der Selbstverbesserung seien schwer zu messen, und in der Praxis sei sie extrem schwer umzusetzen. KI werde bestimmte Forschungs- und Ingenieursaufgaben um den Faktor zehn oder mehr beschleunigen, aber eine plötzliche, sich selbst beschleunigende Intelligenzexplosion hält Vinyals für unwahrscheinlich.

Selbstverbesserung klingt einfacher, als sie ist

Vinyals stellt zunächst eine grundlegende Frage: Was genau soll sich eigentlich verbessern? Ein KI-System habe viele Stellschrauben. Es könnte die Gewichte seines neuronalen Netzes verändern, seine Trainingsdaten oder Trainingsmethoden. Es könnte die Anweisungen optimieren, die es bei jeder Anfrage erhält, oder seine externen Werkzeuge umbauen – etwa die Art, wie es auf Datenbanken zugreift oder Code ausführt. Selbst die Maßstäbe, an denen es seinen Fortschritt misst, könnte es verändern. Jede dieser Ebenen bringe völlig unterschiedliche technische und regulatorische Herausforderungen mit sich.

Der Weg dorthin führt über vier Schritte: eine vielversprechende Idee entwickeln, sie in Code umsetzen, Experimente durchführen und schließlich zuverlässig bewerten, ob die Veränderung tatsächlich eine Verbesserung war. Bei den mittleren beiden mache KI bereits große Fortschritte, sagt Vinyals. Doch am Anfang und am Ende der Kette, bei Ideenfindung und Bewertung, fehle es KI-Systemen bisher an den nötigen Fähigkeiten.

Die zwei Flaschenhälse: Ideen finden und Ergebnisse bewerten

Bisher messen die Labore vor allem indirekt: über Fähigkeits-Benchmarks wie SWE-Bench Pro oder ML-Bench, an denen man sich hocharbeitet in der Hoffnung, dass Selbstverbesserung dabei von selbst entsteht. Solche Tests sind günstig und klar definiert, decken aber vor allem Implementierung und Experiment ab – also die Schritte, die ohnehin funktionieren. Dazu kommen Überanpassung und Tricksen: Dass Systeme Ziele auf unerwartete Weise ausnutzen, kennt Vinyals aus Jahren der Arbeit mit Spiel-Agenten, die Videospiele ausgehebelt haben, statt sie zu spielen.

Aussagekräftiger wären Benchmarks, die die Selbstverbesserung direkt prüfen. Erste entstehen gerade. Das System bekommt dabei eine Metrik und Rechenzeit, gemessen wird, wie weit es sich selbst verbessert. Das kostet viel, weil für jede Auswertung ein Agent stundenlang arbeiten muss und die Aufgaben weit entfernt liegen von dem, was am Ende zählt. Vinyals Beispiel: Der Agent optimiert Tetris, während das eigentliche Ziel lautet, ein komplettes Forschungslabor zu automatisieren und das beste Modell der Welt zu bauen.

Die zweite Engstelle liegt am Anfang der Kette. Gute Forschung brauche einen Instinkt dafür, welche Ideen es überhaupt wert sind, verfolgt zu werden – "Research Taste", wie Vinyals es nennt. Im LLM-Training sei dieser Schritt bislang kaum erforscht.

Er erwartet daher, dass künftig nicht nur gemessen wird, wie viel Verbesserung ein System erreicht, sondern auch, wie es dorthin kommt. Für Ideen wären das jene Kriterien, die auch Gutachter auf Konferenzen anlegen, also Originalität, Eleganz, Effizienz, die Frage, ob eine Technik den Test der Zeit besteht. Ein Teil davon lasse sich in Regeln fassen und über Reward-Modelle prüfen, um darauf dann mit Reinforcement Learning zu trainieren. Nur sei das eben sehr schwer und werde noch einige Zeit benötigen. Auch menschliche Review-Prozesse seien teuer und trotzdem nicht besonders gut darin, gute Ideen zu erkennen.

Auch die Physik setzt Grenzen

Neben diesen methodischen Problemen verweist Vinyals auf handfeste physikalische Schranken. Chips könnten nicht schneller rechnen, als es ihr Design und die Lichtgeschwindigkeit erlauben. Selbst wenn eine KI einen besseren Algorithmus entwerfe, bleibe sie an die Hardware gebunden, auf der sie läuft.

Die menschliche Leistung sei zudem in manchen Bereichen vielleicht schon nahe an einer Obergrenze. Wie gut sei AlphaGo eigentlich, verglichen mit einem perfekten Go-Spiel? Unklar, sagt Vinyals.

Sein Vortrag ist jedoch keine generell Absage an die Selbstverbesserung, sondern eine Absage an deren Tempo: Beeindruckende RSI-Systeme seien noch nicht zu sehen, aber sie kämen. Chancen sieht er vor allem dort, wo sich Ergebnisse klar messen lassen.

 Discovery Loop soll diese Engstellen angehen

Genau hier setzt Discovery Loop an. Gemeinsam mit Jeff Dean, der als CEO antritt, dem Google-Senior-Fellow Sanjay Ghemawat und Google-Brain-Mitgründer Quoc Le will Vinyals die experimentelle Schleife der Wissenschaft automatisieren: Hypothese aufstellen, Experiment durchführen, Ergebnisse auswerten, von vorne beginnen. Also inklusive der beiden Schritte, bei denen es KI-Systemen bisher an Fähigkeiten fehlt. Drei der vier zählen zu den meistzitierten KI-Forschern, Ghemawat zu den meistzitierten im Bereich verteilte Systeme.

Zunächst will das Team die KI-Forschung selbst automatisieren und dabei, wie Dean es formuliert, sein eigener erster Kunde sein. Erst danach soll der Ansatz auf andere Wissenschaftsbereiche ausgeweitet werden. Auf der Website beschreiben die Gründer eine Zukunft, in der "eine Handvoll Menschen wissenschaftliche Forschung und Ingenieursaufgaben viel schneller und in höherer Qualität durchführen kann als massive Teams heute".

Dass die Ideenfindung dabei der Knackpunkt bleibt, sagt Vinyals auch als Gründer: In der Anfangsphase sollen Menschen und Maschinen die Hypothesen deshalb gemeinsam entwickeln.