Google stellt eine KI-Choreografin vor, die automatisch zu Musik passende Bewegungsabläufe generiert und digitale Figuren animiert.
Der Tanz als universelle Sprache spielt auch im digitalen Zeitalter eine große Rolle: Plattformen wie TikTok leben von immer neuen Choreografien zu kurzen Tracks. Solche Choreografien zu entwerfen, ist eine mitunter anspruchsvolle Aufgabe – bei der zukünftig Künstliche Intelligenz helfen soll, wenn es nach Google geht. Der KI-Konzern zeigt mit FACT ("full-attention cross-modal Transformer") ein System, das Musik in kurze Tanzchoreografien verwandelt.
Google erstellt 3D-Tanzdatensatz
Für das KI-Training nutzten die Google-Forschenden insgesamt 5,2 Stunden Videomaterial menschlicher Tänzerinnen und Tänzer aus unterschiedlichen Genres: Old School (Break, Pop, Lock und Waack) und New School (Middle Hip-Hop, LA-style Hip-Hop, House, Krump, Street Jazz und Ballet Jazz).
Alle Videos stammen aus dem AIST Dance Video Datensatz und wurden von den Forschenden um überlagerte 3D-Modelle ergänzt, die der KI während des Trainings die Räumlichkeit der Bewegungen vermitteln.
Video: Google
Googles 3D-Tanzdatensatz AIST++ enthält so insgesamt 1.408 Tanzsequenzen von 30 Personen aus zehn Tanz-Genres inklusive ihrer 3D-Modelle mit 17 Gelenken. Alle Videos enthalten außerdem die Musik, zu der getanzt wurde.
Da AIST für den Tanzunterricht gedacht ist, enthält der Datensatz immer mehrere Videos der gleichen Choreografie, die zu unterschiedlicher Musik mit variierenden Taktraten ausgeführt wird. Laut Google ist das eine große Herausforderung beim KI-Training, da das Modell die Zuordnung von einem Audioclip zu mehreren Bewegungen lernen muss.
Google lässt die KI-Puppen tanzen
Google nutzte AIST++ anschließend für das Training eines Transformer-Modells. Das Modell kodiert die Bewegungs- und Audiodaten zunächst in separaten Transformer-Modulen, deren Ausgaben anschließend verknüpft und in den namensgebenden Cross-modalen Transformer gegeben werden.
Dieser lernt laut Google, die zwei Modalitäten zu verknüpfen und generiert neue Bewegungen. Als Trainingssignal dienen die echten Choreografien. Dadurch lernt FACT auf selbstüberwachte Weise immer passendere Bewegungen.
Googles FACT generiert nach dem Training kurze Choreografien passend zu einer vorgegebenen Musik. Im direkten Vergleich mit anderen Ansätzen, die Google mit den gleichen Trainingsdaten testete, schneidet das Transformer-Modell deutlich besser ab.
Die Google-Forschenden hoffen, dass ihre Arbeit den Grundstein für weitere Audio-zu-Bewegung-Systeme legt. Die könnten etwa einen stärkeren Fokus auf die physikalische Interaktion zwischen Tänzern und Tänzerinnen und Boden legen oder gleichzeitig mehrere Tänze für jede Musik generieren. Um die Forschung anzuregen, veröffentlicht Google den AIST++ Datensatz und FACT auf GhitHub.