Inhalt
newsletter Newsletter

Google stellt eine KI-Choreografin vor, die automatisch zu Musik passende Bewegungsabläufe generiert und digitale Figuren animiert.

Anzeige

Der Tanz als universelle Sprache spielt auch im digitalen Zeitalter eine große Rolle: Plattformen wie TikTok leben von immer neuen Choreografien zu kurzen Tracks. Solche Choreografien zu entwerfen, ist eine mitunter anspruchsvolle Aufgabe – bei der zukünftig Künstliche Intelligenz helfen soll, wenn es nach Google geht. Der KI-Konzern zeigt mit FACT ("full-attention cross-modal Transformer") ein System, das Musik in kurze Tanzchoreografien verwandelt.

Google erstellt 3D-Tanzdatensatz

Für das KI-Training nutzten die Google-Forschenden insgesamt 5,2 Stunden Videomaterial menschlicher Tänzerinnen und Tänzer aus unterschiedlichen Genres: Old School (Break, Pop, Lock und Waack) und New School (Middle Hip-Hop, LA-style Hip-Hop, House, Krump, Street Jazz und Ballet Jazz).

Alle Videos stammen aus dem AIST Dance Video Datensatz und wurden von den Forschenden um überlagerte 3D-Modelle ergänzt, die der KI während des Trainings die Räumlichkeit der Bewegungen vermitteln.

Anzeige
Anzeige

Video: Google

Googles 3D-Tanzdatensatz AIST++ enthält so insgesamt 1.408 Tanzsequenzen von 30 Personen aus zehn Tanz-Genres inklusive ihrer 3D-Modelle mit 17 Gelenken. Alle Videos enthalten außerdem die Musik, zu der getanzt wurde.

Da AIST für den Tanzunterricht gedacht ist, enthält der Datensatz immer mehrere Videos der gleichen Choreografie, die zu unterschiedlicher Musik mit variierenden Taktraten ausgeführt wird. Laut Google ist das eine große Herausforderung beim KI-Training, da das Modell die Zuordnung von einem Audioclip zu mehreren Bewegungen lernen muss.

Google lässt die KI-Puppen tanzen

Google nutzte AIST++ anschließend für das Training eines Transformer-Modells. Das Modell kodiert die Bewegungs- und Audiodaten zunächst in separaten Transformer-Modulen, deren Ausgaben anschließend verknüpft und in den namensgebenden Cross-modalen Transformer gegeben werden.

Dieser lernt laut Google, die zwei Modalitäten zu verknüpfen und generiert neue Bewegungen. Als Trainingssignal dienen die echten Choreografien. Dadurch lernt FACT auf selbstüberwachte Weise immer passendere Bewegungen.

Empfehlung

Googles FACT generiert nach dem Training kurze Choreografien passend zu einer vorgegebenen Musik. Im direkten Vergleich mit anderen Ansätzen, die Google mit den gleichen Trainingsdaten testete, schneidet das Transformer-Modell deutlich besser ab.

Die Google-Forschenden hoffen, dass ihre Arbeit den Grundstein für weitere Audio-zu-Bewegung-Systeme legt. Die könnten etwa einen stärkeren Fokus auf die physikalische Interaktion zwischen Tänzern und Tänzerinnen und Boden legen oder gleichzeitig mehrere Tänze für jede Musik generieren. Um die Forschung anzuregen, veröffentlicht Google den AIST++ Datensatz und FACT auf GhitHub.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Weiterlesen über Künstliche Intelligenz:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!