Eine pro-chinesische Organisation soll mit KI-gesteuerten Avataren Online-Propaganda betrieben haben.
Das berichtet Graphika, ein Unternehmen, das sich auf die KI-gestützte Analyse von Online-Communities spezialisiert hat. Demnach habe die pro-chinesische Organisation "Spamouflage", die auf Spam-Operationen spezialisiert sein soll, Ende November 2022 "mit ziemlicher Sicherheit" erstmals Videoinhalte mit KI-Avataren unter anderem auf Facebook, Twitter und YouTube verbreitet. Diese Videos sollen "ziemlich sicher" mit einer KI-Video-Software des britischen Anbieters Synthesia generiert worden sein.
Falsche Moderator:innen im Fake News Studio
Konkret verbreitete Spamouflage laut Graphika zwei Videos mit einem Nachrichtensprecher und einer Nachrichtensprecherin unter der Medienmarke "Wolf News" (siehe Titelbild). Unter dieser Marke soll Spamouflage bereits in der Vergangenheit Inhalte verbreitet haben.
Die Nachrichtensprecherin "Anna" und der Nachrichtensprecher "Jason" basieren auf Originalaufnahmen von Schauspielern, bei denen die Originalstimmen durch synthetische Stimmen in verschiedenen Sprachen ersetzt und die Lippen sowie die Mimik mithilfe von KI-Technologie an die Sprache und die Aussagen angepasst werden.
Der Sprecher und die Sprecherin sind in zahlreichen anderen Online-Videos zu sehen, die von Unternehmen mit dem Synthesia-Dienst erstellt werden.
Propaganda per Deepfake-Nachrichtensprecher
Die Propagandavideos verwenden einen Zusammenschnitt von Archivbildern und Nachrichtenmaterial aus Online-Quellen und werden von synthetischen Stimmen kommentiert. Die KI-Nachrichtensprecher sprechen von einer "heuchlerischen Wiederholung leerer Rhetorik" gegen Waffengewalt in den USA und von der Bedeutung der chinesisch-amerikanischen Zusammenarbeit für die Erholung der Weltwirtschaft und der besonders wichtigen Rolle Chinas.
Damit verstoßen die Videos gegen die Regeln von Synthesia, die den KI-Service nach eigenen Angaben nur für kommerzielle Zwecke mit strikter Moderation zur Verfügung stellt. "Politische, sexuelle, persönliche, kriminelle oder diskriminierende Inhalte werden weder toleriert noch gebilligt", heißt es auf der Website.
Wir glauben, dass der Einsatz von kommerziell erhältlichen KI-Produkten es den Beeinflussungs-Akteuren ermöglichen wird, immer hochwertigere betrügerische Inhalte in größerem Umfang und schneller zu erstellen.
In den Wochen, seit wir die in diesem Bericht beschriebenen Aktivitäten aufgedeckt haben, haben wir beobachtet, dass andere Akteure schnell genau dieselben Taktiken anwenden. Zuletzt nutzten nicht identifizierte Akteure dieselben KI-Tools, um Videos zu erstellen, die auf Online-Gespräche in Burkina Faso abzielen.
Graphika
Graphika veröffentlicht seine eigene Untersuchung in dem Bericht "Deepfake It Till You Make It". Die beschriebenen Deepfake-Videos sind online bei der New York Times ansehbar. Mehr zur Geschichte der Deepfakes finden Sie in unserer Geschichte der Deepfakes.
Sollte sich der Verdacht von Graphika bestätigen, wäre dies der erste bestätigte Einsatz von Deepfake-Videos für politische Propaganda. Ein Deepfake-Video von Selenskyj aus dem letzten Jahr war vermutlich ebenfalls mit KI manipuliert und daher teils als Deepfake eingestuft worden, was aber bisher nicht verifiziert werden konnte.
Kürzlich warnte auch OpenAI vor dem Missbrauch von KI für Propaganda mit großen Sprachmodellen. Entsprechende Kampagnen seien mit KI leichter skalierbar und könnten sogar in Echtzeit agieren.
