Ein internationales Forschungsteam hat mit Genesis eine neue physikalische Simulationsplattform für Robotik und Embodied AI vorgestellt. Sie soll Roboter bis zu 430.000 Mal schneller als in der Realität trainieren und komplexe 3D-Welten aus Textbeschreibungen generieren können.
Eine Gruppe von Forschenden von verschiedenen Universitäten und aus der Privatwirtschaft hat kürzlich die Open-Source-Simulationsplattform Genesis vorgestellt. Dabei handelt es sich um eine umfassende Physik-Simulationsplattform, die speziell für allgemeine Anwendungen in der Robotik, Embodied AI und Physical AI entwickelt wurde.
Genesis kombiniert verschiedene sogenannte Physik-Solver in einem einheitlichen Framework und nutzt GPU-beschleunigte Parallelberechnungen, um eine hohe Simulationsgeschwindigkeit zu erreichen. Physik-Solver sind Algorithmen, die physikalische Probleme und Simulationen automatisiert lösen und etwa in Videospiel-Engines zum Einsatz kommen.
Laut den Forscher:innen läuft Genesis bei sehr einfachen Simulationen mit bis zu 43 Millionen Bildern pro Sekunde, was 430.000 Mal schneller als in Echtzeit ist. Eine Stunde Rechenzeit entspreche dabei zehn Jahren Trainingserfahrung für einen Roboter, so die Forscher.
Generierung dynamischer 4D-Welten aus Textbeschreibungen geplant
Genesis plant außerdem, mithilfe eines auf Vision-Language-Modellen (VLM) basierenden Agenten physikalisch korrekte und konsistente 4D-Welten aus Textbeschreibungen zu generieren. Dieser generative Rahmen soll in der Lage sein, verschiedene Modalitäten wie Videomaterial, Kamerabewegungen, Bewegungen von Charakteren und Robotern sowie interaktive 3D-Szenen zu erzeugen.
Video: Xian et al.
Die Forscher:innen demonstrieren bereits die Fähigkeiten von Genesis anhand verschiedener Beispiele, darunter die Generierung von Charakterbewegungen, das Erlernen von Roboter-Richtlinien für Manipulation und Fortbewegung sowie die Simulation von Weichkörperrobotern.
"A mobile franka arm heats the corn with the bowl and the microwave." | Video: Xian et al.
Genesis kann die weitverbreitete Programmiersprache Python sowohl für seine Benutzeroberfläche als auch für die zugrunde liegende Physik-Engine verwenden. Dadurch sollen Hochgeschwindigkeitsrobotersimulationen für alle Forscher:innen kostenlos und mit einfachen Python-Befehlen auf handelsüblicher Hardware möglich sein.
"Eine weitere Möglichkeit im riesigen Raum der potenziellen Realitäten"
Trotz oder gerade wegen der beeindruckenden Ankündigungen und Demonstrationen von Genesis gibt es auch skeptische Stimmen in der KI-Community. Einige Beobachter:innen befürchten, dass das Projekt möglicherweise mehr Marketing als Substanz bietet und die Fähigkeiten der Plattform übertrieben dargestellt werden.
Der Nvidia-Forscher Jim Fan, der nach eigenen Angaben einen kleinen Teil zum Projekt beigetragen hat, sieht in Genesis jedoch eine vielversprechende Entwicklung. In einem Beitrag auf X schreibt er: "Wenn eine KI in einer Milliarde verschiedener Simulationen eine Million Fähigkeiten von tausend Robotern steuern kann, dann funktioniert sie vielleicht auch in unserer realen Welt, die letztlich nur eine weitere Möglichkeit im riesigen Raum der potenziellen Realitäten darstellt."
Fan betont, dass Genesis bei der massiven Parallelisierung auf großen Clustern gut abschneidet, gute Versprechungen bei der generativen Grafikpipeline macht und ein Werkzeug zur Datengenerierung für neuronale Netze werden könnte, die selbst als Simulatoren fungieren.
Fan räumt jedoch ein, dass es noch ein weiter Weg ist, bis Roboter-Handlungen in der realen Welt mit vielen Kontakten und geschickten Manipulationen in Simulationen trainiert werden können. Genesis zeige eine mutige Vision und sei auf dem besten Weg, eine "virtuelle Wiege für Embodied AI" zu werden.
Das Forschungsteam hat den Code auf GitHub als Open-Source-Projekt zusammen mit einer Dokumentation veröffentlicht.
