Inhalt
summary Zusammenfassung

RoboCasa ist ein neues Simulationsframework für das Training von Robotern in Alltagsumgebungen. Mithilfe von KI-Werkzeugen erzeugt es vielfältige Szenen, Aufgaben und 3D-Objekte.

Forschende der University of Texas at Austin und Nvidia haben RoboCasa vorgestellt, ein Simulationsframework für das Training von Haushaltsrobotern in Alltagsumgebungen. Das Ziel ist es, durch Skalierung in der Simulation vielfältige Trainingsdaten für Roboter zu erzeugen und so anpassungsfähige Robotermodelle zu entwickeln.

RoboCasa baut auf dem RoboSuite-Framework auf, das für physikalischen Realismus und hohe Geschwindigkeit optimiert ist und auf Deepminds MuJoCo basiert. RoboCasa erweitert RoboSuite um die Unterstützung von mobilen Robotern, humanoiden Robotern und vierbeinigen Robotern mit Armen.

Video: Nasiriany, Maddukuri, Zhang et al.

Anzeige
Anzeige

Generative KI ermöglicht vielfältige Trainingsumgebung

Das Framework fokussiert sich zunächst auf Küchenumgebungen. Es bietet 120 realistische Küchenszenen in zehn Grundrissen und zwölf Stilen, von einfachen bis hin zu luxuriösen Designs. Texturen für Wände, Böden und Möbel werden mithilfe von KI-Bildgeneratoren wie Midjourney erzeugt, um die visuelle Vielfalt zu erhöhen.

Über 2.500 hochwertige 3D-Objekte aus 153 Kategorien, von Lebensmitteln bis hin zu Küchenutensilien, wurden aus 3D-Modell-Datenbanken und Text-to-3D-Diensten zusammengestellt. Zusätzlich gibt es dutzende interaktive Küchengeräte wie Mikrowellen und Herde.

Video: Nasiriany, Maddukuri, Zhang et al.

Die Forscher definierten 100 repräsentative Aufgaben für Küchenaktivitäten. 25 davon sind atomare Aufgaben, die grundlegende Fähigkeiten wie Greifen und Knöpfe drücken abdecken. Die restlichen 75 sind Verbundaufgaben, die von Sprachmodellen wie GPT-4 vorgeschlagen wurden. Sie umfassen komplexere Aktivitäten wie Kochen und Tischdecken.

Für jede Aufgabe sammelten menschliche Benutzer zunächst 50 Demonstrationen durch Teleoperation. Anschließend wurde das Datenset mit dem automatischen Verfahren "MimicGen" auf über 100.000 synthetische Demonstrationen erweitert.

Empfehlung

Generierte Trainingsdaten verbessern Roboter auch in der echten Welt

In Experimenten zeigte sich, dass durch maschinell generierte Daten trainierte Robotermodelle deutlich besser generalisieren als solche, die nur mit menschlichen Demonstrationen trainiert wurden. Die Erfolgsrate stieg mit der Menge der generierten Daten.

Auch in der realen Welt half das Training mit simulierten Daten: In einer echten Küche erreichten Roboter, die zusätzlich mit RoboCasa-Daten trainiert wurden, eine um 79 % höhere Erfolgsrate als solche, die nur mit realen Daten trainiert wurden.

Die Forscher sehen in der Kombination von Simulationen, generativer KI und Roboter-Datensets einen vielversprechenden Ansatz, um Grundlagenmodelle für die Robotik zu trainieren.

Die Qualität der generierten Daten soll in Zukunft weiter verbessert werden. Auch eine Ausweitung auf andere Umgebungen und Aufgaben ist geplant.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Mehr Informationen und Beispiele gibt es auf der RoboCasa-Projektseite.

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Forscher der University of Texas at Austin und Nvidia haben RoboCasa vorgestellt, ein Simulationsframework für das Training von Haushaltsrobotern in vielfältigen Alltagsumgebungen, mit dem Ziel, anpassungsfähige Robotermodelle zu entwickeln.
  • RoboCasa nutzt generative KI wie Midjourney und GPT-4, um 120 realistische Küchenszenen, über 2.500 3D-Objekte und 100 repräsentative Aufgaben zu erzeugen. Menschliche Demonstrationen werden mit dem Verfahren "MimicGen" auf über 100.000 synthetische Demonstrationen erweitert.
  • Experimente zeigten, dass Robotermodelle, die zusätzlich mit maschinell generierten RoboCasa-Daten trainiert wurden, deutlich besser generalisierten und auch in der realen Welt eine um 79 % höhere Erfolgsrate erzielten als solche, die nur mit realen Daten trainiert wurden.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!