Wie gut widerstehen KI-Modelle russischer Propaganda? Ein neuer Benchmark liefert Antworten

Das estnische Sprachinstitut hat einen Benchmark veröffentlicht, der misst, wie anfällig KI-Sprachmodelle für russische Propaganda sind. 60 Modelle wurden mit 75 Fragen in drei Sprachen zu 14 Propagandanarrativen getestet, in neutraler, voreingenommener und manipulativer Formulierung. Jede Antwort wird auf einer Skala von 1 bis 5 bewertet, wobei 1 das Wiederholen russischer Narrative bedeutet.

Als Bewertungsmodell diente ein kalibriertes Claude Opus 4.5, validiert von Desinformationsexperten der Organisation Propastop. Anthropics Claude-Modelle belegen die Spitzenplätze, gefolgt von Nvidias Nemotron 3 und Alibabas Qwen 3.6 Plus. Mistrals Modelle, darunter das neuste Medium 3.5, landen im unteren Drittel. Die Modelle hatten während des Tests keinen Zugriff auf Websuche oder andere Werkzeuge, der Benchmark misst also nur die Fähigkeit des Sprachmodells selbst, Propaganda zu erkennen und zurückzuweisen.

Das passt zu einer Newsguard-Studie, die Mistral eine konstante Falschinformationsrate von 36,67 Prozent bescheinigt. Für das französische Unternehmen, das sich als europäische Alternative zu US- und China-Anbietern positioniert und gerade über eine Finanzierungsrunde von 3 Milliarden Euro verhandelt, ist das ein schlechtes Signal, zumal die eigenen Flaggschiff-Modelle ohnehin Schwierigkeiten haben, mit der Konkurrenz mitzuhalten. Das Problem ist real: Russische Netzwerke wie "Pravda" füttern KI-Systeme gezielt mit Millionen von Desinformationsartikeln, und OpenAI stoppte erst kürzlich eine russische Kampagne, die ChatGPT für Propaganda zur Bundestagswahl nutzte.