Neural Actor: KI-Technik animiert Schauspieler
Forscher des Max-Planck-Instituts für Informatik und von Facebook AI stellen ein neues KI-Verfahren für die flexible 3D-Digitalisierung und Animation von Menschen vor.
"Neural Actor" nennt die Forschergruppe ihre neue Methode, die allein auf Basis von 2D-Bildern Menschen dreidimensional rekonstruieren und beliebig animieren kann. Ist eine Person einmal durch das System digitalisiert, kann sie außerdem nach Gutdünken vergrößert oder verkleinert, schlanker oder dicker werden.
Die Forscher setzen für den Neural Actor auf bestehenden KI-Renderingmethoden für 3D-Szenen und automatische Animationen auf, erreichen aber durch zusätzliche Schritte eine neue Qualitätsstufe. Unter anderem erstellten sie für das KI-Training einen ergänzenden Datensatz, für den sie mit zahlreichen Kameras aus verschiedenen Blickwinkeln menschliche Darsteller bei unterschiedlichen Bewegungen vor einem Greenscreen filmten. Den Datensatz wollen sie zeitnah veröffentlichen.
Der KI-automatisierte Schauspieler
Die Neural-Actor-Methode kann neben den beim Training gelernten Bewegungen auch Bewegungen übertragen, die nicht Teil der Trainingsdatensätze waren und sich visuell deutlich von diesen unterscheiden. Als Eingabe genügen die Posen eines rudimentär extrahierten Bewegungsskeletts, das dann auf 3D-Modelle von Personen gelegt wird. Das folgende Video zeigt die Übertragung einer Tanz-Performance, die nicht Teil des Trainings war.
Das funktioniert gleichzeitig für mehrere Personen, sodass beispielsweise perfekt synchronisierte Tänze unterschiedlicher Personen möglich sind. Sogar feine Faltenbildung in der Kleidung soll die Methode dabei realistisch synthetisieren und aus verschiedenen Blickwinkeln darstellen können.
Die Forscher nennen die Filmindustrie als Anwendungsszenario für den "Neural Actor". Hier müssten zum Beispiel Schauspieler für die Rolle eines Riesen oder eines Zwergs nicht mehr passend nach der Körpergröße ausgewählt werden. Stattdessen kann ein beliebiger Schauspieler zunächst in 3D rekonstruiert werden, dann in den Körperproportionen passend zur Rolle gestaltet und letztlich sogar automatisch in der Szene bewegt werden. Das folgende Video zeigt dieselbe Person riesenhaft und klein mit jeweils derselben Animation.
Gut vorstellbar ist, dass diese oder eine ähnliche Technik in Zukunft beispielsweise für Komparsenrollen verwendet wird oder um Stunts oder motorisch anspruchsvolle Szenen einfacher mit bekannten Schauspielern umzusetzen.
Auch bei Social-Media-Plattformen könnte sich das KI-Animationsverfahren etablieren, wenn man beispielsweise ein Ganzkörperfoto in ein Tanzvideo umwandeln kann. Die KI-Karaoke-App Wombo.ai verdeutlicht dieses Prinzip qualitativ weniger hochwertig und beschränkt auf Gesichtsbewegungen.
Quelle: Projektseite
KI-News ohne Hype – von Menschen kuratiert
Mit dem THE‑DECODER‑Abo liest du werbefrei und wirst Teil unserer Community: Diskutiere im Kommentarsystem, erhalte unseren wöchentlichen KI‑Newsletter, 6× im Jahr den „KI Radar“‑Frontier‑Newsletter mit den neuesten Entwicklungen aus der Spitze der KI‑Forschung, bis zu 25 % Rabatt auf KI Pro‑Events und Zugriff auf das komplette Archiv der letzten zehn Jahre.
Jetzt abonnierenKI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.