Deepfake-Technologie kommt wie erwartet im Medienproduktionsalltag an und ersetzt oder ergänzt bisherige Verfahren. Eine neue Kooperation zwischen Paul McCartney und Beck zeigt das. Ein bekannter Deepfake-YouTuber hatte seine GANs im Spiel.
In seinem neuen Musikvideo "Find My Way" ist Paul McCartney wieder jung. Mit schätzungsweise digitalen Mitte 20 tanzt der 79-Jährigen beschwingt durch die Gänge eines Hotels, als würde Zeit nicht existieren.
Klar, hier steckt ein digitaler Trick dahinter: Der junge McCartney ist eigentlich der Künstler Beck, der dem alten McCartney seinen Körper leiht und unter anderen mit Deepfake-Technologie (Anleitung) sein Gesicht gegen das des jungen Beatle-Stars tauschen lässt. Das Resultat (siehe Titelbild, Video unten) ist täuschend echt, vergleicht man es mit dem jungen Original.
SIR WHAT WAS THAT pic.twitter.com/9HwbE8IRyD
— Kaileigh ?? (@billyybudapest) July 22, 2021
Digitaler Gesichtertausch: GAN + X
Interessant ist der Blick auf die Produktion des digital verjüngten McCartney. Der Künstler kooperierte mit der Firma Hyperreal, die sich die digitale Konservierung von Stars in Form von fotorealistischen Avataren auf die Fahne geschrieben hat: Das "Hypermodel" soll ein Künstlerleben ins Digitale verlängern etwa für virtuelle Auftritte.
Beispielsweise brachte die Firma die Sängerin Madison Beer als realistischen Echtzeit-3D-Avatar in ein Live-Konzert für Sonys Playstation VR oder den Rapper Travis Scott als Comic-Giganten in Fortnite.
Für den jungen Paul McCartney kombinierte Hyperreal die eigene Scanning- mit KI-Technik: Ähnlich wie bei Beer erstellte sie einen aufwendigen 3D-Scan von McCartneys Gesicht während der Song-Performance. Außerdem arbeiteten sie mit Spezialeffekte-Teams für die Nachbearbeitung des Gesichts und das Tracking der Animationen.
Deepfake-YouTuber hilft aus
Für den grundlegenden Deepfake-Gesichtertausch engagierte die Firma den YouTuber Shamook, der in den letzten Monaten mit zahlreichen realistischen Deepfakes auf sich aufmerksam machte. Er tauschte etwa in der Star-Wars-Serie "The Mandalorian" Disneys CGI-Version des jungen Luke Skywalker gegen eine technisch überlegene Deepfake-Variante.
Shamook arbeitet für gewöhnlich mit öffentlich frei verfügbarer GAN-Technologie wie DeepFaceLab 2.0. Für einen guten Deepfake sind Trainingsdauer und insbesondere die Qualität des Trainingsmaterials entscheidend. Durch die Zusammenarbeit direkt mit McCartney dürfte Shamook Zugang gehabt haben zu besserem Material, als es ihm für seine Projekte normalerweise zur Verfügung steht. Das zeigt sich im Ergebnis.
Hier gibt’s unsere Liste mit zwölf beeindruckenden Deepfakes. Über ein Deepfake-Hollywood, bei dem man die Schauspieler per Knopfdruck nach eigenem Gusto tauscht, sprechen wir im MIXEDCAST-Folge #169.
Titelbild: Paul McCartney, Screenshot bei YouTube