Inhalt
newsletter Newsletter

Forscher der Universität Carnegie Mellon haben eine KI entwickelt, die einfache Textbeschreibungen in Animationen umwandelt.

Anzeige

Die Künstliche Intelligenz "Joint Language-to-Pose" verarbeitet Beschreibungen wie "eine Person läuft vorwärts" oder "eine Person geht vier Schritte zurück" in Animationen.

Diese Animation besteht aus einer Reihe aufeinanderfolgender Strichfiguren, deren Gliedmaßen und Gelenke entsprechend der im Text beschriebenen Bewegungen angeordnet sind. Solche Figuren sind häufig die Grundlage von CGI-Charakteren in Filmen oder Videospielen.

Language2Pose-1
Die KI verarbeitet Beschreibungen und setzt aus ihnen die passende Strichmännchenanimation zusammen. Bild: Ahuja et al.

Die korrekte Animation aus einem Satz zu generieren, ist eine anspruchsvolle Aufgabe: Bewegungsbeschreibungen enthalten oft verschiedene Aktionen, Geschwindigkeiten, Richtungen oder Ziele in einem Satz. Die KI kann durch ihr Training eine ganze Reihe dieser Beschreibungen umsetzen.

Anzeige
Anzeige

KI fängt mit kleinen Schritten an

Die Forscher nutzten für das Training der KI fast 4.000 Videos menschlicher Bewegungen. Über die Aufnahmen ist ein für die KI erkennbares Skelett gelegt.

Jede Aufnahme enthält zudem mindestens eine transkribierte Beschreibung der Bewegung, etwa "eine Person geht vorwärts" oder "ein Mensch führt eine Kniebeuge durch".

Language2Pose-2
Eine Auswahl der KI-Animationen. Gut zu erkennen: Sie kann verschieden Bewegungstypen, Geschwindigkeiten und Richtungen unterscheiden. Bild: Ahuja et al.

Im Laufe des Trainings lernte die KI so, Bewegung und sprachliche Beschreibung zu verknüpfen. Was heißt "Laufen","Springen" oder "Drehen"? Was ist "schnell", was "langsam"? Mit diesem Wissen kann die KI eigene Animationen erstellen.

Die Generierung der Animationen lernte die KI in kleinen Schritten: Zu Beginn erstellte sie nur kurze und einfache Animationen, wie Bein- und Handbewegungen oder Drehungen des Oberkörpers.

Anschließend wurden ihr komplexere Aufgaben gestellt für längere Sequenzen von springenden oder joggenden Personen.

Empfehlung

Einsatz in der Filmindustrie denkbar

In einem Vergleich mit anderen KI-generierten und per Hand erstellten Animationen sollten Testpersonen die besten zwei aus sechs Animationen auswählen. In 75 Prozent der Fälle lag die KI-Animation in den Top zwei. Das sei ein Sprung von 15 Prozent im Vergleich zu ähnlichen KI-Verfahren, so die Forscher.

In Zukunft könnte die KI etwa für die Visualisierung von Filmskripten, für Animationen in Spielen und Filmen oder für die Bewegungsplanung von Robotern eingesetzt werden. Autoren könnten ihre Ideen so schneller visualisieren. Im Zusammenspiel mit anderen KI-Technologien wie Deepfakes könnte das die Bewegtbildbranche verändern.

Titelbild: Ahuja et al., Quelle: Arxiv.org

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Weiterlesen über Künstliche Intelligenz:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!