Ein in einer Computersimulation trainierter Roboterhund kann sein Wissen in die Realität übertragen. Nicht nur das: Er läuft schneller und dynamischer als von Menschen programmierte Roboter.
Die eindrucksvollen Motorik-Demonstrationen des Roboterherstellers Boston Dynamics erzielen im Internet Millionen Klicks. Zurecht, eben weil sie eindrucksvoll sind. Aber sie sind vorwiegend ein Abbild menschlicher Ingenieurs- und Programmierkunst. Die Bewegungen von Spot, Atlas und Co. sind meist ferngesteuert oder händisch programmiert. Das ist ein enormer Arbeitsaufwand.
Roboterhund lernt das Laufen in einer Simulation
Forschende des MIT demonstrieren jetzt die Überlegenheit maschinell gelernter Roboterbewegungen im Vergleich zu menschlich designten. Der Mini-Hunderoboter Cheetah 3 ist von Grund auf per Versuch-und-Irrtum-Verfahren in einer Computer-Simulation in vielen verschiedenen Umgebungen trainiert.
Das in der Simulation gelernte Bewegungswissen kann Cheetah in der Realität wieder abrufen. Dabei stellt er neben neuen Höchstgeschwindigkeiten von bis zu 14 km/h und einer enormen Agilität auch ein besonderes Bewegungstalent auf schwierigem Terrain unter Beweis.
Cheetah bewegt sich etwa viel sicherer und dynamischer auf Kieselsteinen, selbst wenn er bergab rennt und dabei permanent leicht auf den Steinen ausrutscht. Sogar eine vereiste Stelle auf der Straße bringt den Mini-Hunderoboter nicht aus dem Tritt. Die Höchstgeschwindigkeit ist laut der Forschenden Roboterrekord.
Um menschliche Beteiligung beim Trainingsprozess so gut wie möglich auszuschließen, setzen die Forschenden auf das sogenannte modellfreie bestärkende Lernen. Der Roboter startet das Bewegungslernen in der Simulation ohne menschliches Vorwissen und Regeln. Per Versuch-und-Irrtum-Methode erstellt er sich ein eigenes Modell, das er kontinuierlich ausbaut und optimiert.
Wer mehr lernen will über modellfreies Reinforcement Learning, der KI-Lerntechnik hinter Cheetah, kann sich unseren KI-Podcast mit Tim Rocktäschel von Facebook AI ansehen und anhören.
Maschine schlägt Mensch - und macht Roboterbewegungen besser skalierbar
Durch das umfassende Simulationstraining müssen Menschen dem Roboter nicht mehr in jeder Situation ein Verhalten vorgeben. Cheetah bringt schon ein breites Spektrum an Geländeerfahrung mit, noch bevor er den ersten Schritt in einer realen Umgebung unternimmt.
Laut der Forschenden kann Cheetah in der Simulation das Äquivalent zu 100 Tagen Erfahrungswissen über Bewegungen auf schwierigem Terrain in nur drei Stunden lernen. Der im Roboter integrierte Controller erkennt in der echten Welt die in der Simulation für spezifische Situationen gelernten Fähigkeiten und führt sie in Echtzeit aus.
"In der Forschung zur Künstlichen Intelligenz geht es um den Kompromiss zwischen dem, was der Mensch einbauen muss (Natur) und dem, was die Maschine von selbst lernen kann (Erziehung)", schreiben die Forschenden. Traditionell würden Menschen viele Vorgaben machen, dieser Prozess sei jedoch nicht skalierbar, da zu komplex.
"Ein praktischerer Weg, einen Roboter mit vielen verschiedenen Fähigkeiten zu bauen, ist, dem Roboter zu sagen, was er tun soll, und ihn das Wie herausfinden zu lassen. Unser System ist ein Beispiel dafür."
Die Forschenden übertragen den modellfreien Lernansatz in einer Simulation laut eigenen Angaben bereits auf weitere Robotiksysteme, darunter eine Hand, die verschiedene Objekte aufnehmen und manipulieren kann.
