Eine Analyse von OpenAI zeigt die Bemühungen staatlich unterstützter Akteure, mithilfe von KI-Systemen Online-Desinformationskampagnen durchzuführen. Trotz raffinierter Taktiken haben die Kampagnen bislang kaum Reichweite erzielt.
OpenAI hat einen Bericht veröffentlicht, der beschreibt, wie zum Teil staatlich unterstützte Akteure aus Russland, China, dem Iran und Israel versucht haben, generative-KI-Modelle des Unternehmens für verdeckte Propagandaoperationen im Internet zu missbrauchen. Laut OpenAI konnten die Kampagnen bisher jedoch nicht nennenswert an Reichweite und Engagement gewinnen.
Die Untersuchung identifizierte fünf Operationen: zwei aus Russland, eine aus China, eine aus dem Iran und eine kommerzielle Firma in Israel.
Alle Akteure nutzten KI-Modelle, um Inhalte zu generieren oder effizienter zu arbeiten, jedoch nicht ausschließlich. Stattdessen mischten sie KI-generiertes Material mit traditionellen Formaten wie manuell erstellten Texten oder kopierten Memes.
So nutzte ein bisher unbekanntes russisches Netzwerk namens "Bad Grammar" OpenAI-Modelle, um politische Kommentare auf Telegram zu erstellen und zu posten, die sich auf Russland, die Ukraine, die USA, Moldau und die baltischen Staaten konzentrierten.
Die chinesische Operation "Spamouflage" generierte Inhalte, um China zu loben und Kritiker zu attackieren. Die iranische "International Union of Virtual Media" (IUVM) erstellte pro-iranische, anti-israelische und anti-amerikanische Artikel.
KI-gefälschtes Social-Media-Engagement
Alle Kampagnen nutzten KI auch, um falsches Engagement für ihre Beiträge zu erzeugen, indem sie etwa Antworten auf eigene Posts generierten. Authentische Interaktionen erreichte laut der Untersuchung keines der Netzwerke in nennenswertem Umfang. Laut OpenAI überstiegen die Operationen nicht die Kategorie 2 auf einer sechsstufigen "Breakout Scale" zur Bewertung der Auswirkungen von Beeinflussungsoperationen.
Inmitten des technischen Wandels blieben menschliche Fehler: Operatoren veröffentlichten versehentlich OpenAI-Systemnachrichten, die ihre generierten Inhalte als KI-Produkte entlarvten. Auch irreführende Bildunterschriften oder Vermischungen von Themen kamen vor.
Der Bericht betont die Bedeutung von "Defensive Design" beim Aufbau von KI-Systemen, also das Einbauen von Schutzmaßnahmen. OpenAI nutzt zudem selbst KI-Modelle, um verdächtige Aktivitäten effizienter aufzuspüren. Da die untersuchten Kampagnen Inhalte auf vielen Plattformen verbreiteten, sei der Informationsaustausch mit Branchenkollegen entscheidend, um die Akteure zu stören.
Bereits Mitte Februar berichteten Microsoft und OpenAI von staatsnahen Akteuren aus China, Iran, Nordkorea und Russland, die die KI-Dienste des Unternehmens zur Erstellung von Inhalten, für Code oder zur Forschung im Bereich Cybersicherheit nutzten. Den Unternehmen zufolge konnten alle Akteure erfolgreich ausgeschaltet werden.
