KI-Forscher zeigen Lauf-Roboter, die ihren Gang selbstständig an neue Untergründe anpassen. Damit haben sie die Realitätslücke zumindest im Ansatz überwunden.
Menschen gehen, joggen oder rennen mehr oder weniger mühelos über Untergründe aller Art: egal ob bergab, bergauf, im Schnee, über Steine, dichtes Gras, dicken Teppich oder Sand. Möglich ist das, weil wir unseren Gang nahezu sofort an neue Untergründe unter unseren Füßen anpassen können.
Aktuelle Roboter dagegen scheitern regelmäßig an bisher unbekanntem Gelände: Ein Roboter, der sicher über Steine navigiert, tänzelt noch lange nicht über eine Düne.
Eine Gruppe Forscher von Facebook und der Universitäten Berkeley und Carnegie Mellon zeigen jetzt das KI-System "Rapid Motor Adaption" (RMA), mit dem sich vierbeinige Roboter sofort an neue Untergründe anpassen können.
Robot Motor Adaption: Gelernt statt programmiert
Anders als andere Steuersysteme wird die Fortbewegungsart mit RMA von einem KI-System komplett in einer Simulation gelernt. Entwickler wie die von Boston Dynamics setzen oft noch auf Handarbeit, um Roboter laufen oder tanzen zu lassen.
Diesen manuellen Part konnten die Forscher vollständig aus der Gleichung nehmen. Für ihr RMA-System übertrugen sie zuerst ein digitales Modell des im Projekt verwendeten Roboterhundes A1 von Unitree in eine Simulation.
Die Simulation generiert durch Fraktale immer wieder neue, zerklüftete Untergründe und Rahmenbedingungen mit sich ändernden Parametern wie Reibung, Motorstärke, die Startposition des Roboters oder Terrainhöhe.
Dem KI-System, das den digitalen Roboter steuert, sind dabei alle Umgebungsdetails zugänglich. Die Forscher kodieren diese in einem „Extrinsics“ genannten Vektor über ein simples neuronales Netz. Das KI-System erhält außerdem Information über die letzte Aktion und den aktuellen Status des Roboters.
In tausenden Durchgängen lernt der Roboter so mit bestärkendem Lernen (Erklärung) selbstständig laufen. Belohnt wird er, wenn er etwa Bodenkontakt vermeidet oder möglichst wenig Energie aufwendet.
Super excited to share something we have been working on for the last 1.5yrs. Check out our #RSS2021 paper on Rapid Motor Adaptation.
RMA allows a legged robot trained *fully* in simulation to *adapt* online to diverse real-world terrains in real-time!https://t.co/IIFFBLn580 pic.twitter.com/smIpIgGzDX
— Deepak Pathak (@pathak2206) July 9, 2021
Realitätslücke überwinden durch mehr Simulationstraining
Die große Herausforderung beim Simulationstraining ist jedoch der Sprung in die Realität: Oft unterscheiden sich die realen Roboter in Kleinigkeiten von ihren digitalen Abbildern.
Es kommt etwa zu Latenzen in Steuersignalen und Bewegungen der Aktuatoren oder eine Macke im Fuß stört die Rutschfestigkeit des Roboters. Dazu kommt noch der mangelnde Realitätsgrad der Simulatoren: Die echte Welt ist einfach zu komplex, um sie vollständig auf einem Computer-Chip zu simulieren.
Die Forscher trainieren daher zusätzlich ein sogenanntes Adaptionsmodul, mit dem sich der reale Roboter in der echten Welt innerhalb von Millisekunden an neue Untergründe anpassen kann. Eine Besonderheit: Der Roboter verwendet keine visuelle Orientierung, Kameras sind nicht verbaut. Alle Umgebungsinformationen stammen aus Bewegungssensoren in den Beinen.
Das Adaptionsmodul muss daher den Extrinsics-Vektor, der Informationen über die aktuellen Umgebungsbedingungen enthält, anhand der letzten Aktion und des letzten Roboterstatus vorhersagen: Stoppen die Roboter-Beine in der Luft an einem Hindernis, kann das System daraus Informationen über die aktuelle Bodenhöhe gewinnen. Ein weiter ausgefahrenes Bein bei einem sinkenden Fuß ist ein Hinweis auf eine weiche Oberfläche.
Da in der Simulation alle Umgebungsdetails bekannt sind, haben die Forscher die für das überwachte KI-Training des Adaptionsmoduls notwendigen Daten und können dem Modul beibringen, die Extrinsics aus der Geschichte des Roboterstatus vorherzusagen.
Dass sich die simulierte Anpassungsfähigkeit anschließend so gut auf die echte Welt übertragen lässt, erklären die Forscher unter anderem mit dem niedrig-dimensionalen Extrinsics-Vektor. Der müsse nicht die Umgebungsbedingungen eins-zu-eins widerspiegeln, sondern lediglich zu einer passenden Aktion führen. Genau das trainiere RMA.
RMA liefert beeindruckende Stabilität
Basistraining und Adaptionsmodul zusammen machen das RMA-System zu einem beeindruckenden Steuerungssystem. Laut Facebook läuft der Roboter sicher und fehlerlos auf Sand, Schlamm, Wanderwegen, hohem Gras und durch Dreckhaufen.
Treppen auf den Wanderwegen nahm er in 70 Prozent der Versuche erfolgreich, Zementhaufen oder Kieselsteinhaufen in 80 Prozent der Fälle – dabei hatte der Roboter bei seinem Simulationstraining keinen instabilen oder absinkenden Boden, hinderliche Vegetation oder Treppen erlebt.
Unerwartete Hindernisse wie plötzlich abfallende Treppenstufen oder Steine, die mehrere Beine blockieren, führen häufiger zu Stürzen. Doch das ist angesichts fehlender visueller Orientierung durch Kameras zu erwarten.
Ein zuverlässiger Lauf-Roboter müsse neben der Innen- auch die Außenwahrnehmung über Kameras oder anderen Sensoren sicherstellen, schließen die Forscher. Genau das soll der nächste Schritt für das RMA-Projekt werden.
Weitere Informationen und Videos gibt es auf GitHub.
Titelbild: Kumar et al. | Via: GitHub, Facebook AI
