Inhalt
summary Zusammenfassung

Eine Analyse von OpenAI zeigt die Bemühungen staatlich unterstützter Akteure, mithilfe von KI-Systemen Online-Desinformationskampagnen durchzuführen. Trotz raffinierter Taktiken haben die Kampagnen bislang kaum Reichweite erzielt.

OpenAI hat einen Bericht veröffentlicht, der beschreibt, wie zum Teil staatlich unterstützte Akteure aus Russland, China, dem Iran und Israel versucht haben, generative-KI-Modelle des Unternehmens für verdeckte Propagandaoperationen im Internet zu missbrauchen. Laut OpenAI konnten die Kampagnen bisher jedoch nicht nennenswert an Reichweite und Engagement gewinnen.

Die Untersuchung identifizierte fünf Operationen: zwei aus Russland, eine aus China, eine aus dem Iran und eine kommerzielle Firma in Israel.

Alle Akteure nutzten KI-Modelle, um Inhalte zu generieren oder effizienter zu arbeiten, jedoch nicht ausschließlich. Stattdessen mischten sie KI-generiertes Material mit traditionellen Formaten wie manuell erstellten Texten oder kopierten Memes.

Anzeige
Anzeige

So nutzte ein bisher unbekanntes russisches Netzwerk namens "Bad Grammar" OpenAI-Modelle, um politische Kommentare auf Telegram zu erstellen und zu posten, die sich auf Russland, die Ukraine, die USA, Moldau und die baltischen Staaten konzentrierten.

Die chinesische Operation "Spamouflage" generierte Inhalte, um China zu loben und Kritiker zu attackieren. Die iranische "International Union of Virtual Media" (IUVM) erstellte pro-iranische, anti-israelische und anti-amerikanische Artikel.

KI-gefälschtes Social-Media-Engagement

Alle Kampagnen nutzten KI auch, um falsches Engagement für ihre Beiträge zu erzeugen, indem sie etwa Antworten auf eigene Posts generierten. Authentische Interaktionen erreichte laut der Untersuchung keines der Netzwerke in nennenswertem Umfang. Laut OpenAI überstiegen die Operationen nicht die Kategorie 2 auf einer sechsstufigen "Breakout Scale" zur Bewertung der Auswirkungen von Beeinflussungsoperationen.

Inmitten des technischen Wandels blieben menschliche Fehler: Operatoren veröffentlichten versehentlich OpenAI-Systemnachrichten, die ihre generierten Inhalte als KI-Produkte entlarvten. Auch irreführende Bildunterschriften oder Vermischungen von Themen kamen vor.

Der Bericht betont die Bedeutung von "Defensive Design" beim Aufbau von KI-Systemen, also das Einbauen von Schutzmaßnahmen. OpenAI nutzt zudem selbst KI-Modelle, um verdächtige Aktivitäten effizienter aufzuspüren. Da die untersuchten Kampagnen Inhalte auf vielen Plattformen verbreiteten, sei der Informationsaustausch mit Branchenkollegen entscheidend, um die Akteure zu stören.

Empfehlung

Bereits Mitte Februar berichteten Microsoft und OpenAI von staatsnahen Akteuren aus China, Iran, Nordkorea und Russland, die die KI-Dienste des Unternehmens zur Erstellung von Inhalten, für Code oder zur Forschung im Bereich Cybersicherheit nutzten. Den Unternehmen zufolge konnten alle Akteure erfolgreich ausgeschaltet werden.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • OpenAI veröffentlicht einen Bericht über staatlich unterstützte Akteure aus Russland, China, dem Iran und Israel, die KI-Modelle für verdeckte Onlinepropaganda missbrauchen, jedoch bisher kaum Reichweite und Engagement erzielten.
  • Die Kampagnen mischen KI-generierte Inhalte mit traditionellen Formaten wie manuell erstellten Texten oder kopierten Memes. Sie nutzten KI auch für die Erzeugung von falschem Engagement, erreichen aber kaum authentische Interaktionen.
  • Menschliche Fehler wie versehentlich veröffentlichte Systemnachrichten oder irreführende Bildunterschriften entlarven die generierten Inhalte als KI-Produkte.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!