RoboCasa ist ein neues Simulationsframework für das Training von Robotern in Alltagsumgebungen. Mithilfe von KI-Werkzeugen erzeugt es vielfältige Szenen, Aufgaben und 3D-Objekte.
Forschende der University of Texas at Austin und Nvidia haben RoboCasa vorgestellt, ein Simulationsframework für das Training von Haushaltsrobotern in Alltagsumgebungen. Das Ziel ist es, durch Skalierung in der Simulation vielfältige Trainingsdaten für Roboter zu erzeugen und so anpassungsfähige Robotermodelle zu entwickeln.
RoboCasa baut auf dem RoboSuite-Framework auf, das für physikalischen Realismus und hohe Geschwindigkeit optimiert ist und auf Deepminds MuJoCo basiert. RoboCasa erweitert RoboSuite um die Unterstützung von mobilen Robotern, humanoiden Robotern und vierbeinigen Robotern mit Armen.
Video: Nasiriany, Maddukuri, Zhang et al.
Generative KI ermöglicht vielfältige Trainingsumgebung
Das Framework fokussiert sich zunächst auf Küchenumgebungen. Es bietet 120 realistische Küchenszenen in zehn Grundrissen und zwölf Stilen, von einfachen bis hin zu luxuriösen Designs. Texturen für Wände, Böden und Möbel werden mithilfe von KI-Bildgeneratoren wie Midjourney erzeugt, um die visuelle Vielfalt zu erhöhen.
Über 2.500 hochwertige 3D-Objekte aus 153 Kategorien, von Lebensmitteln bis hin zu Küchenutensilien, wurden aus 3D-Modell-Datenbanken und Text-to-3D-Diensten zusammengestellt. Zusätzlich gibt es dutzende interaktive Küchengeräte wie Mikrowellen und Herde.
Video: Nasiriany, Maddukuri, Zhang et al.
Die Forscher definierten 100 repräsentative Aufgaben für Küchenaktivitäten. 25 davon sind atomare Aufgaben, die grundlegende Fähigkeiten wie Greifen und Knöpfe drücken abdecken. Die restlichen 75 sind Verbundaufgaben, die von Sprachmodellen wie GPT-4 vorgeschlagen wurden. Sie umfassen komplexere Aktivitäten wie Kochen und Tischdecken.
Für jede Aufgabe sammelten menschliche Benutzer zunächst 50 Demonstrationen durch Teleoperation. Anschließend wurde das Datenset mit dem automatischen Verfahren "MimicGen" auf über 100.000 synthetische Demonstrationen erweitert.
Generierte Trainingsdaten verbessern Roboter auch in der echten Welt
In Experimenten zeigte sich, dass durch maschinell generierte Daten trainierte Robotermodelle deutlich besser generalisieren als solche, die nur mit menschlichen Demonstrationen trainiert wurden. Die Erfolgsrate stieg mit der Menge der generierten Daten.
Auch in der realen Welt half das Training mit simulierten Daten: In einer echten Küche erreichten Roboter, die zusätzlich mit RoboCasa-Daten trainiert wurden, eine um 79 % höhere Erfolgsrate als solche, die nur mit realen Daten trainiert wurden.
Die Forscher sehen in der Kombination von Simulationen, generativer KI und Roboter-Datensets einen vielversprechenden Ansatz, um Grundlagenmodelle für die Robotik zu trainieren.
Die Qualität der generierten Daten soll in Zukunft weiter verbessert werden. Auch eine Ausweitung auf andere Umgebungen und Aufgaben ist geplant.
Mehr Informationen und Beispiele gibt es auf der RoboCasa-Projektseite.
