Die Mitglieder der New Yorker Rockband The Strokes sehen in ihrem neuen Musikvideo wieder aus wie vor zwanzig Jahren. KI-Technologie half bei diesem Spezialeffekt.
Im Musikvideo "Bad Decisions" erscheinen die Rockmusiker als junge Männer. In Wirklichkeit werden sie von Schauspielern verkörpert, deren Gesichter nachträglich durch dasjenige der Bandmitglieder ausgetauscht wurden.
Verantwortlich für den KI-Gesichtertausch ist der Deepfake-Spezialist Paul Shales, Betreiber der Internetseite The Fakening. Bekannt geworden ist Shales durch Deepfake-Internetmeme von Politikern und Stars, die er auf Instagram und anderen sozialen Medien veröffentlichte. Eines seiner neueren Deepfake-Videos zeigt Jeff Bezos und Elon Musk in einem Star-Trek-Film.
Neue Berufskategorie: Deepfake-Produzent
Shales stieg Anfang 2019 in die Deepfake-Produktion ein, weil er Chancen im Bereich Unterhaltung witterte. Heute hat er allein auf Instagram 170.000 Follower und arbeitet Vollzeit an Deepfake-Autragsarbeiten, schreibt The Verge.
Einige Aufträge lehnte er aus ethischen Gründen ab. Als Beispiel nennt Shales nicht einvernehmliche Pornovideos oder bewusste irreführende Inhalte, die zur Börsenmanipulation genutzt werden könnten.
Musiker gehörten zu Shales ersten Kunden. Er setzte ein Projekt für The Chainsmokers und den US-DJ Diplo um. The Strokes sind sein bislang größter Auftrag.
Für das Musikvideo-Deepfake brauchte Shales einen ganzen Monat. Die KI-Gesichtstransplantation wurde von einem PC-Verbund berechnet, der ursprünglich dem Mining von Kryptowährungen diente und neun Grafikkarten einsetzt.
Ein auf Deepfakes abgestimmter Dreh
Als KI-Trainingsmaterial nutzte Shales vom Plattenlabel zusammengestellte Videos der Band, die mindestens ein Jahrzehnt alt waren sowie selbst recherchiertes Material auf Youtube.
Die Herausforderung war, Inhalte zu finden, die alle fünf Mitglieder aus möglichst vielen Winkeln zeigen. Denn nur so lernt die KI die Gesichtszüge ausreichend kennen und kann sie in Videos glaubhaft austauschen.
Weil das Plattenlabel von Anfang an Deepfakes einsetzen wollte, wurde das Musikvideo so gedreht, dass der KI-Gesichtertausch später leichter zu bewerkstelligen ist und glaubwürdiger erscheint. Hierfür gab Shales der Filmcrew Anweisungen: Die jungen Schauspieler, über die später das Gesicht der Bandmitglieder gelegt werden würde, durften weder aus zu großer noch aus zu kleiner Entfernung gefilmt werden.
Profilaufnahmen waren untersagt, weil es nicht genügend KI-Trainingsmaterial aus dieser Zeit gab, dass die Bandmitglieder aus dem Winkel zeigt. Das Produktionsteam achtete zudem darauf, dass die Schauspieler eine ähnliche Kopfform haben wie die Bandmitglieder, weil sich diese nicht austauschen lässt. Ein körniger Filmeffekt half zudem dabei, Artefakte und Ungenauigkeiten zu kaschieren.
Titelbild: Screenshot, Quelle: The Verge
