Erwarten uns bald Star-Wars-Filme mit dem jungen Han Solo oder unendliche Staffeln von Hannah Montana? Disney forscht an hochwertigen Deepfakes und schafft den Sprung zum Megapixel.
Disney entwickelt die neue Deepfake-KI in Kooperation mit der ETH Zürich. Die zugrundeliegende Technik ist bekannt von anderen Deepfake-Projekten: Ein neuronales Netz tauscht nach personenspezifischem Training Gesichter in Fotos und Videos gegen andere Gesichter aus.
Neu ist die hohe Auflösung, mit der Disneys KI die Gesichter wechselt: Ganze 1.024 mal 1.024 Bildpunkte groß sind die Aufnahmen, die die Deepfake-KI produziert. Bisherige Techniken wie DeepFaceLab schaffen gerade mal 256 mal 256 Pixel.
Die ersten Megapixel-Deepfakes sehen im Vergleich mit anderen Methoden dementsprechend deutlich schärfer aus. Möglich wird der Qualitätssprung durch höher aufgelöste Fotos für das KI-Training, bessere Stabilisierungstechniken und automatische Licht- und Kontrastanpassung.
Ältere Ansätze produzieren bei höheren Auflösungen sichtbare Artefakte wie etwa ein Zittern des kopierten Gesichts oder stoßen schon im Training mit hochauflösenden Fotos direkt an ihre Speicherlimits.
Disney macht Deepfakes reif für die Leinwand
Die niedrige Auflösung älterer Deepfakes mag auf einem Smartphone-Bildschirm kaum auffallen – doch auf größeren Bildschirmen sind die Beschränkungen sichtbar. Doch genau dort – vorzugsweise auf einer Kinoleinwand – liegt für einen Unterhaltungsgiganten wie Disney die Motivation, Deepfakes zu erforschen.
Disneys Star-Wars-Reihe hat bereits mehrfach alte oder tote Schauspieler verjüngt, um diese noch einmal in ihren alten Rollen auftreten zu lassen. Traditionelle VFX-Techniken verhalfen etwa den verstorbenen Schauspielern Peter Cushing und Carrie Fisher zu einem Auftritt im Star-Wars-Film Rogue One.
Schon Anfang 2018 schuf ein Hobby-Deepfaker eine glaubwürdige Deepfake-Variante der Szene mit der jungen Prinzessin Leia. Seitdem gab es zahlreiche Nachahmer, die noch bessere Ergebnisse zeigen und sogar das Original der Disney-Techniker verbessern wollen.
Die Hobby-Deepfakes sind zwar aufgrund der niedrigen Auflösung noch nicht reif für die Kinoleinwand, aber verhältnismäßig schnell produziert - von einer einzelnen Person. Die von Disney verwendeten VFX-Techniken benötigen dagegen oft Monate Arbeit für wenige Sekunden Filmmaterial.
Wenn Disney das Deepfake-Experiment also gelingt, stünde die Tür offen, ältere oder verstorbene Schauspieler reihenweise in moderne Filme zu integrieren.
Rob Bredow, Leiter des Spezialeffektestudios Industrial Light & Magic, geht davon aus, dass KI die Arbeit der Spezialeffektebranche grundlegend verändern wird - in ein bis zwei Jahren sei es so weit, prognostizierte er 2018.
Über das Deepfake-Potenzial in Hollywood sprechen wir ausführlich im MIXED-Podcast #169.
Quelle: Disney; Titelbild: Shamook (Screenshot bei YouTube, Deepfake)
