Forscher des Max-Planck-Instituts für Informatik und von Facebook AI stellen ein neues KI-Verfahren für die flexible 3D-Digitalisierung und Animation von Menschen vor.
"Neural Actor" nennt die Forschergruppe ihre neue Methode, die allein auf Basis von 2D-Bildern Menschen dreidimensional rekonstruieren und beliebig animieren kann. Ist eine Person einmal durch das System digitalisiert, kann sie außerdem nach Gutdünken vergrößert oder verkleinert, schlanker oder dicker werden.
Die Forscher setzen für den Neural Actor auf bestehenden KI-Renderingmethoden für 3D-Szenen und automatische Animationen auf, erreichen aber durch zusätzliche Schritte eine neue Qualitätsstufe. Unter anderem erstellten sie für das KI-Training einen ergänzenden Datensatz, für den sie mit zahlreichen Kameras aus verschiedenen Blickwinkeln menschliche Darsteller bei unterschiedlichen Bewegungen vor einem Greenscreen filmten. Den Datensatz wollen sie zeitnah veröffentlichen.
Der KI-automatisierte Schauspieler
Die Neural-Actor-Methode kann neben den beim Training gelernten Bewegungen auch Bewegungen übertragen, die nicht Teil der Trainingsdatensätze waren und sich visuell deutlich von diesen unterscheiden. Als Eingabe genügen die Posen eines rudimentär extrahierten Bewegungsskeletts, das dann auf 3D-Modelle von Personen gelegt wird. Das folgende Video zeigt die Übertragung einer Tanz-Performance, die nicht Teil des Trainings war.
Das funktioniert gleichzeitig für mehrere Personen, sodass beispielsweise perfekt synchronisierte Tänze unterschiedlicher Personen möglich sind. Sogar feine Faltenbildung in der Kleidung soll die Methode dabei realistisch synthetisieren und aus verschiedenen Blickwinkeln darstellen können.
Die Forscher nennen die Filmindustrie als Anwendungsszenario für den "Neural Actor". Hier müssten zum Beispiel Schauspieler für die Rolle eines Riesen oder eines Zwergs nicht mehr passend nach der Körpergröße ausgewählt werden. Stattdessen kann ein beliebiger Schauspieler zunächst in 3D rekonstruiert werden, dann in den Körperproportionen passend zur Rolle gestaltet und letztlich sogar automatisch in der Szene bewegt werden. Das folgende Video zeigt dieselbe Person riesenhaft und klein mit jeweils derselben Animation.
Gut vorstellbar ist, dass diese oder eine ähnliche Technik in Zukunft beispielsweise für Komparsenrollen verwendet wird oder um Stunts oder motorisch anspruchsvolle Szenen einfacher mit bekannten Schauspielern umzusetzen.
Auch bei Social-Media-Plattformen könnte sich das KI-Animationsverfahren etablieren, wenn man beispielsweise ein Ganzkörperfoto in ein Tanzvideo umwandeln kann. Die KI-Karaoke-App Wombo.ai verdeutlicht dieses Prinzip qualitativ weniger hochwertig und beschränkt auf Gesichtsbewegungen.
Quelle: Projektseite
