Inhalt
summary Zusammenfassung

Eine pro-chinesische Organisation soll mit KI-gesteuerten Avataren Online-Propaganda betrieben haben.

Anzeige

Das berichtet Graphika, ein Unternehmen, das sich auf die KI-gestützte Analyse von Online-Communities spezialisiert hat. Demnach habe die pro-chinesische Organisation "Spamouflage", die auf Spam-Operationen spezialisiert sein soll, Ende November 2022 "mit ziemlicher Sicherheit" erstmals Videoinhalte mit KI-Avataren unter anderem auf Facebook, Twitter und YouTube verbreitet. Diese Videos sollen "ziemlich sicher" mit einer KI-Video-Software des britischen Anbieters Synthesia generiert worden sein.

Falsche Moderator:innen im Fake News Studio

Konkret verbreitete Spamouflage laut Graphika zwei Videos mit einem Nachrichtensprecher und einer Nachrichtensprecherin unter der Medienmarke "Wolf News" (siehe Titelbild). Unter dieser Marke soll Spamouflage bereits in der Vergangenheit Inhalte verbreitet haben.

Die Nachrichtensprecherin "Anna" und der Nachrichtensprecher "Jason" basieren auf Originalaufnahmen von Schauspielern, bei denen die Originalstimmen durch synthetische Stimmen in verschiedenen Sprachen ersetzt und die Lippen sowie die Mimik mithilfe von KI-Technologie an die Sprache und die Aussagen angepasst werden.

Anzeige
Anzeige

Der Sprecher und die Sprecherin sind in zahlreichen anderen Online-Videos zu sehen, die von Unternehmen mit dem Synthesia-Dienst erstellt werden.

Propaganda per Deepfake-Nachrichtensprecher

Die Propagandavideos verwenden einen Zusammenschnitt von Archivbildern und Nachrichtenmaterial aus Online-Quellen und werden von synthetischen Stimmen kommentiert. Die KI-Nachrichtensprecher sprechen von einer "heuchlerischen Wiederholung leerer Rhetorik" gegen Waffengewalt in den USA und von der Bedeutung der chinesisch-amerikanischen Zusammenarbeit für die Erholung der Weltwirtschaft und der besonders wichtigen Rolle Chinas.

Damit verstoßen die Videos gegen die Regeln von Synthesia, die den KI-Service nach eigenen Angaben nur für kommerzielle Zwecke mit strikter Moderation zur Verfügung stellt. "Politische, sexuelle, persönliche, kriminelle oder diskriminierende Inhalte werden weder toleriert noch gebilligt", heißt es auf der Website.

Wir glauben, dass der Einsatz von kommerziell erhältlichen KI-Produkten es den Beeinflussungs-Akteuren ermöglichen wird, immer hochwertigere betrügerische Inhalte in größerem Umfang und schneller zu erstellen.

In den Wochen, seit wir die in diesem Bericht beschriebenen Aktivitäten aufgedeckt haben, haben wir beobachtet, dass andere Akteure schnell genau dieselben Taktiken anwenden. Zuletzt nutzten nicht identifizierte Akteure dieselben KI-Tools, um Videos zu erstellen, die auf Online-Gespräche in Burkina Faso abzielen.

Graphika

Graphika veröffentlicht seine eigene Untersuchung in dem Bericht "Deepfake It Till You Make It". Die beschriebenen Deepfake-Videos sind online bei der New York Times ansehbar. Mehr zur Geschichte der Deepfakes finden Sie in unserer Geschichte der Deepfakes.

Sollte sich der Verdacht von Graphika bestätigen, wäre dies der erste bestätigte Einsatz von Deepfake-Videos für politische Propaganda. Ein Deepfake-Video von Selenskyj aus dem letzten Jahr war vermutlich ebenfalls mit KI manipuliert und daher teils als Deepfake eingestuft worden, was aber bisher nicht verifiziert werden konnte.

Empfehlung

Kürzlich warnte auch OpenAI vor dem Missbrauch von KI für Propaganda mit großen Sprachmodellen. Entsprechende Kampagnen seien mit KI leichter skalierbar und könnten sogar in Echtzeit agieren.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Das Unternehmen Graphika, das sich auf die Analyse sozialer Medien spezialisiert hat, berichtet, dass pro-chinesische Akteure gefälschte Nachrichtenvideos in sozialen Medien verbreitet haben.
  • Dabei sollen sie einen britischen Videodienst genutzt haben, der politische Videos eigentlich verbietet.
  • Sollte sich der Verdacht bestätigen, wäre dies der erste dokumentierte Einsatz von Deepfakes für politische Propaganda.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!