RunwayMLs neues "Act-One"-Modell soll gängige Motion-Capture-Verfahren angreifen - und hat darüber hinausgehende Implikationen.
Traditionelle Methoden zur Gesichtsanimation erfordern oft komplexe, mehrstufige Arbeitsabläufe mit spezieller Motion-Capture-Ausrüstung, mehreren Referenzaufnahmen und manueller Nachbearbeitung. Act-One soll diesen Prozess stark vereinfachen, indem es die Performance eines Schauspielers direkt auf Basis von Video- und Sprachaufnahmen auf einen animierten Charakter überträgt.
Demo-Video für Act One. | Video: RunwayML
Laut RunwayML ist das Modell in der Lage, selbst feinste Details der Schauspielleistung zu erfassen und zu übertragen. Bemerkenswert ist, dass dafür laut Unternehmen bereits ein Smartphone ausreicht.
Vielseitige Anwendungsmöglichkeiten
RunwayML betont die Vielseitigkeit von Act-One. Das Modell lässt sich demnach auf eine Vielzahl von Referenzbildern anwenden und soll realistische Gesichtsausdrücke bewahren, selbst wenn die Proportionen des Zielcharakters von denen im ursprünglichen Quellvideo abweichen.
In einem Demovideo zeigt das Unternehmen, wie Act-One die Performance aus einem einzigen Eingabevideo auf verschiedene Charakterdesigns und in unterschiedliche Stile übertragen kann. Dabei soll das Modell laut RunwayML filmische und realistische Ergebnisse produzieren und robust bei verschiedenen Kamerawinkeln und Brennweiten funktionieren.
Das naheliegende Anwendungsszenario ist die Übertragung menschlicher Mimik und Stimme auf animierte Charaktere, ähnlich wie bei klassischen Motion-Capture-Projekten für Spiele und Filme.
RunwayML stellt jedoch noch ein weiteres Szenario vor: die Übertragung der Schauspielleistung auf fotorealistische Avatare. In einer weiteren Demo zeigt das Unternehmen, wie ein einzelner Schauspieler in einer Szene zwei virtuelle Avatare spielen kann.
Video: RunwayML
"Sie können jetzt narrative Inhalte erstellen, indem Sie nichts weiter als eine handelsübliche Kamera und einen Schauspieler verwenden, der verschiedene Charaktere aus einem Skript liest und darstellt", erklärt RunwayML.
Der Zugang zu Act-One wird laut RunwayML ab sofort schrittweise für Nutzer freigeschaltet und soll bald allen zur Verfügung stehen.
