Bei Faceboks Deepfake-Erkennungswettbewerb soll KI durch KI entlarvt werden. Jetzt sind die Ergebnisse da.
Facebook hat KI-gefälschten Videos, sogenannten Deepfakes, den Kampf angesagt: Ende 2019 löschte Facebook ein riesiges Netzwerk an Fake-Accounts mit KI-gefälschten Deepfake-Profilfotos. Anfang Januar folgte dann ein generelles Verbot für Deepfakes bei Facebook.
Doch was bringt ein Deepfake-Verbot, wenn Detektoren die Videos nicht verlässlich identifizieren können? Genau, nichts.
Im Herbst letzten Jahres startete Facebook daher einen Deepfake-Wettbewerb, bei dem Experten aus aller Welt um die besten Erkennungsalgorithmen konkurrieren. Jetzt liegen Ergebnisse vor.
Deepfake-Erkennung wird besser, ist aber lange nicht perfekt
Er sei frustriert gewesen, so Facebooks Technikchef Mike Schroepfer, dass die KI-Industrie mehr Zeit darauf verwende, bessere Deepfakes zu generieren, als darauf, sie zu bekämpfen. So kam ihm die Idee zum weltweiten Wettbewerb, der mit einem Preisgeld von einer Million US-Dollar dotiert ist.
Laut Schroepfer nahmen rund 2.200 Teams an dem Wettbewerb teil. Die Erkennungsrate für Deepfakes sei im Verlauf des Wettbewerbs von 50 bis 59 Prozent auf 82 Prozent gestiegen.
Getestet wurden die mehr als 35.000 Erkennungsalgorithmen an circa 100.000 kurzen Videos und Deepfakes, die Facebook zuvor von mehr als 3.000 Schauspielern aufnehmen ließ. Einige der Videos landeten unverändert im Datensatz, andere wurden mit Deepfake-Technologie manipuliert. Facebook instruierte die Schauspieler und bezahlte sie.
Video: Drei der sechs Clips sind Deepfakes. Könnt ihr sie besser als die KI erkennen? Die Auflösung steht unter dem Artikel.
Doch die 82-Prozent-Erkennungsrate hat einen Haken: Sie gilt nur für Videos aus dem Datensatz, der für das KI-Training verwendet wurde.
Die durchschnittliche Genauigkeit bei unbekannten Videos, wie sie beispielsweise bei Facebook veröffentlicht werden, liegt nur bei 65,18 Prozent. Für ein automatisiertes Erkennungssystem ist dieser Wert zu gering.
Facebook arbeitet an eigener Deepfake-Erkennung
Dennoch sieht Schroepfer einen großen Fortschritt: Die Erkennungstechnologie habe sich von nutzlos hin zu nützlich entwickelt. "Das ist eine große Sache."
Die beim Wettbewerb generierten Datensätze und Algorithmen werden der KI-Branche als Open Source zur Verfügung gestellt. Details dazu werden in der kommenden Woche im Rahmen der Fachkonferenz "Computer Vision and Pattern Recognition (CVPR)" genannt.
Facebook arbeitet laut Schroepfer parallel an einer eigenen Deepfake-Erkennung, die aber nicht veröffentlicht wird - sonst wäre das Manipulationspotenzial zu hoch. Derzeit sind Deepfakes bei Facebook-Plattformen laut Schroepfer noch kein Problem. Das Unternehmen wolle aber gerade mit Blick auf den US-Wahlkampf 2020 vorbereitet sein.
Auflösung: Im ersten Video oben sind die Clips 1, 4 und 6 unbearbeitete Videos. Bei den Clips 2, 3 und 5 handelt es sich um Deepfakes, die für die Deepfake Detection Challenge erstellt wurden.
Quelle: Facebook AI
