Vom Face-Plant zu Parkour: Virtuelle Agenten lernen Akrobatik, wenn Forscher immer mehr Netzwerkschichten stapeln

Ein Netzwerk mit 64 Schichten lernt, das Labyrinth erfolgreich zu durchqueren. | Video: Wang, Javali, Bortkiewicz et al.

Kontrastives Lernen löst das Feedback-Problem von RL

Das grundlegende Problem beim Skalieren von RL: Ein Agent erhält weit weniger Feedback als ein Sprachmodell. Beim Training eines Sprachmodells dient jedes einzelne Wort in einem Text als Lernsignal. Ein RL-Agent dagegen bekommt oft nur eine spärliche Rückmeldung, ob er sein Ziel erreicht hat oder nicht.

CRL bringt dem Agenten eine einfache Fähigkeit bei: zu erkennen, ob eine Aktion nach einem Teil eines Pfades aussieht, der tatsächlich zum Ziel führt, oder nicht. Der Agent lernt dies aus eigenen Versuchen und Irrtümern, ohne menschliche Beispiele oder manuell definierte Belohnungen. Im Kern lernt das System, indem es immer wieder eine einfache Frage stellt: Gehört diese Aktion zu einem Pfad, der das Ziel erreicht, oder nicht? Passende Kombinationen werden im Training näher zusammengerückt, nicht passende weiter auseinandergeschoben.

Damit derart tiefe Netzwerke beim Training stabil bleiben, kombinieren die Forscher drei bewährte Architekturtechniken: Residualverbindungen, die Informationsverlust in tiefen Netzwerken verhindern, eine Normalisierungsmethode für stabilere Lernschritte und eine spezielle Aktivierungsfunktion. Laut der Studie funktioniert die Tiefenskalierung nur, wenn alle drei Komponenten zusammenwirken.

Humanoide Agenten lernen, aufrechtzugehen und über Wände zu springen

Besonders auffällig ist laut den Forschern, dass die Leistung nicht gleichmäßig wächst, sondern sprunghaft ansteigt, sobald eine kritische Tiefenschwelle überschritten wird. Bei einem simulierten humanoiden Agenten wirft sich das Modell mit vier Schichten lediglich in Richtung Ziel. Erst ab 16 Schichten lernt der Agent, aufrecht zu gehen. Bei 256 Schichten entwickelt er laut der Studie akrobatische Strategien und überwindet Hindernisse, indem er sich über Wände schwingt. Die Forscher bezeichnen dies als die ersten dokumentierten derartigen Verhaltensweisen in einem zielgerichteten RL-Ansatz für humanoide Umgebungen.

In 8 von 10 getesteten Aufgaben übertrifft der skalierte CRL-Ansatz alle anderen zielgerichteten RL-Baselines. Bei der schwierigsten Aufgabe beträgt die Verbesserung gegenüber dem Standardnetzwerk mehr als das 1000-Fache.

Tiefe schlägt Breite, aber nur beim richtigen Algorithmus

Frühere Arbeiten haben vor allem die Breite von RL-Netzwerken skaliert, also die Anzahl der Neuronen pro Schicht. Die Forscher zeigen, dass Tiefe der effektivere Hebel ist: Eine Verdopplung der Tiefe auf acht Schichten übertrifft selbst die breitesten Netzwerke und ist dabei parametereffizienter. Klassische RL-Methoden profitieren laut den Experimenten hingegen nicht von zusätzlicher Tiefe. Die selbstüberwachte Natur von CRL scheint entscheidend zu sein.

Die Kehrseite des Ansatzes ist der hohe Rechenaufwand: Je tiefer die Netzwerke werden, desto länger dauert das Training. Hinzu kommt, dass die Ergebnisse bisher nur in Simulationen gezeigt wurden. Offen ist auch, wie gut sich der Ansatz auf deutlich andere Situationen übertragen lässt. Zwar enthält die Studie einen ersten Test mit bislang unbekannten Zielkombinationen, eine breitere Prüfung unter veränderten Bedingungen fehlt aber noch. Auch in einem Offline-Setting, in dem der Agent nicht weiter mit seiner Umgebung interagiert, brachte zusätzliche Tiefe bislang kaum Vorteile. Der Code ist öffentlich verfügbar.

Bereits 2022 zeigten Forschende der Goethe-Universität Frankfurt, dass Skalierungsgesetze, wie sie aus großen Sprachmodellen bekannt sind, auch für Reinforcement-Learning-Algorithmen wie AlphaZero gelten könnten. In ihrer Analyse skalierte die Leistung der Agenten als Potenzgesetz mit der Netzwerkgröße. Die neue Arbeit liefert ein weiteres Indiz dafür, dass Skalierung auch im RL Wirkung entfalten kann, wobei hier die Netzwerktiefe und nicht nur die Gesamtgröße als entscheidender Faktor identifiziert wird.