Google-Forschung lässt KI-Agenten "träumen", um sich schneller selbst zu verbessern

Bei komplexen Aufgaben wird der Suchraum dabei enorm groß. Der Agent muss ständig entscheiden, welche vielversprechenden Ansätze er weiterverfolgt, welche er parallel ausprobiert und welche er verwirft. Diese Steuerung der Suche nennt man Exploration, und sie entscheidet über Erfolg oder Misserfolg. Verfolgt der Agent zu lange die falschen Spuren, verschwendet er viel Rechenzeit. Eine Forschungsgruppe von Google und Deepmind stellt mit "Dream-RSI" einen Ansatz vor, der genau diese Suchsteuerung verbessern soll. Verbessert wird nur die Strategie, mit der der Agent sucht, nicht das zugrunde liegende KI-Modell selbst.

Bislang gibt es hierfür zwei Wege: Entweder legt man die Suchstrategie vorab fest. Dann bleibt sie jedoch starr und kann nicht aus Erfahrung lernen, sodass der Agent wiederholt in dieselben Sackgassen läuft. Oder man passt die Strategie während der Suche laufend an. Das ist jedoch teuer, weil sich erst nach vielen Versuchen zeigt, ob eine Strategie gut war. Weil es unzählige mögliche Strategien gibt, müsste der Agent viele davon jeweils in einem langen, kostspieligen Durchlauf durchtesten.

Die Vergangenheit als Übungsraum

Ein bereits abgeschlossener Suchdurchlauf enthält die nötigen Informationen, um alternative Strategien innerhalb des schon durchsuchten Raums nachträglich zu testen, so die Idee der Forscher. Denn während der Suche zeichnet der Agent auf, welche Versuche er unternommen hat und welche Ergebnisse dabei entstanden sind.

Sie vergleichen das mit einem Menschen, der sich zum ersten Mal durch eine fremde Umgebung bewegt. Beim ersten Mal läuft er in Sackgassen, kehrt um und findet nur mühsam den Weg. Danach aber hat er eine Karte im Kopf und kann den nächsten Weg planen, ohne jeden Ort noch einmal ablaufen zu müssen.

Nach demselben Prinzip verwandelt Dream-RSI den abgeschlossenen Suchverlauf in einen Übungsraum. Statt eine neue Strategie im echten Betrieb auszuprobieren, lässt der Agent die Strategie nur die bereits gespeicherten Ergebnisse noch einmal durchlaufen. So kann er testen, was passiert wäre, wenn er andere Ansätze zuerst verfolgt oder früher abgebrochen hätte. Dabei erfindet Dream-RSI keine gänzlich neuen Lösungswege, sondern spielt nur andere Entscheidungen durch den bereits aufgezeichneten Suchbaum nach.

Weil die Ergebnisse schon vorliegen, muss der Agent für diese Tests weder erneut nach Lösungen suchen noch sie erneut bewerten lassen, was im Betrieb sonst in teuren Rechenschritten resultiert. Die Bewertung neuer Suchstrategien wird dadurch deutlich günstiger als echte Durchläufe. Die Forscher greifen dabei zu menschlichem Vokabular und nennen diesen Vorgang "Träumen": Der Agent spielt in Gedanken tausende Varianten durch und wählt die beste aus, bevor er sie im echten Betrieb einsetzt.

Der Ablauf wiederholt sich in einer Schleife. Der Agent sucht, zeichnet dabei alles auf, träumt sich durch bessere Strategien und setzt die verbesserte Version für die nächste echte Suche ein. Dabei ändert sich nur die Suchstrategie selbst. Das KI-Modell, das die Lösungen erzeugt, bleibt unangetastet.

Deutlich weniger Rechenaufwand in den Tests

In ihren Experimenten testeten die Forscher Dream-RSI mit den Modellen Gemini 3.1 Pro und Gemini 3.7 Flash an acht Aufgaben aus drei Bereichen. Verglichen wurde es jeweils mit einer Variante, die dieselbe Ausgangslage nutzt, ihre Suchstrategie aber starr hält.

Eine der Aufgaben war es, ein möglichst schnelles Programm für eine bestimmte statistische Berechnung zu schreiben, die etwa in der Genomforschung und im Finanzwesen verbreitet ist. Das von Dream-RSI entwickelte Programm war schneller als die etablierten Programmbibliotheken sklearn und glmnet, und zwar auf allen sechs Testdatensätzen.

Mit Gemini 3.1 Pro sank die durchschnittliche Laufzeit von 3587 auf 2931 Millisekunden, und das mit 317 statt 550 Anläufen. Gegenüber einem konkurrierenden System namens SimpleTES, das 51.200 Durchläufe benötigte, kam Dream-RSI mit nur 317 Anläufen aus und erzielte dennoch das bessere Ergebnis.

Auch bei mathematischen Optimierungsaufgaben und beim Schreiben besonders effizienter Rechenroutinen für Grafikkarten zeigte sich dasselbe Muster: vergleichbare oder bessere Ergebnisse bei deutlich geringerem Aufwand. Bei zwei der Grafikkarten-Aufgaben erreichte das System dieselbe Leistung mit bis zu 2,43-mal weniger Durchläufen, bei zwei weiteren eine bis zu 2,09-mal höhere Leistung im gleichen Budget.

Explizite Hinweise können die Suche bremsen

In einer Zusatzanalyse untersuchten die Forscher, was passiert, wenn frühere Suchverläufe nicht als Übungsraum genutzt, sondern zu konkreten Richtungsanweisungen verdichtet werden, die dem Agenten direkt mitgeben, wo er suchen soll. Am Beispiel einer der Grafikkarten-Aufgaben schnitten solche Vorgaben schlechter ab als die Variante ohne sie. Die Forscher deuten das so, dass zu klare Anweisungen den Suchraum übermäßig einengen und eine breite Exploration behindern können.

In derselben Analyse zeigte sich zudem, dass die gelernte Strategie ihren Aufwand geschickt dosierte. Solange die Leistung stieg, reduzierte sie zunächst die Zahl der Versuche. Als der Fortschritt stagnierte, erhöhte sie den Sucheinsatz wieder, was mit weiteren Leistungsgewinnen zusammenfiel. Code und weitere Informationen stellen die Forscher über GitHub bereit.

Das Forschungsfeld der rekursiven Selbstverbesserung erfährt in letzter Zeit zunehmend mehr Aufmerksamkeit, mit ein Grund, weshalb Anthropic-CEO Dario Amodei jüngst vor dem Tempo der KI-Forschung warnte.

Google Deepmind hatte mit AlphaEvolve bereits 2025 ein System vorgestellt, das nach demselben Grundprinzip arbeitet. Gemini Flash erzeugt dort Programmvorschläge, Gemini Pro analysiert sie und ein evolutionärer Algorithmus wählt die besten Varianten aus. Dream-RSI setzt eine Ebene darüber an und optimiert die Suchstrategie selbst.

Einen verwandten Ansatz verfolgt AutoTTS. Hier sucht ein Coding-Agent in einer simulierten Umgebung nach Algorithmen, die steuern, wann ein Sprachmodell beim Reasoning neue Lösungswege startet, vertieft oder abbricht, und schlägt handgeschriebene Verfahren bei geringerem Rechenaufwand vor.

Google Research zeigte zuletzt mit WikiSkill einen anderen Weg, frühere Durchläufe zu nutzen. Das System hält Fehler und Erfolge in einer Art Wiki fest und verdichtet sie zu wiederverwendbaren Anleitungen für den Agenten. Die Zusatzanalyse zu Dream-RSI deutet darauf hin, dass solche expliziten Vorgaben bei offenen Suchaufgaben die Exploration einschränken können. Meta geht mit Hyperagents noch weiter und lässt Agenten auch den Mechanismus umschreiben, der ihre Verbesserungen steuert.