OpenAIs "Reasoning"-Modell o1-preview hat in einem Schachspiel gegen die Schachmaschine Stockfish außerhalb der Spielregeln agiert.
Statt regelkonform Schach zu spielen, hackte das System autonom seine Testumgebung, um einen Sieg gegen den Schachcomputer Stockfish zu erzwingen, berichtet das Forschungsunternehmen für KI-Sicherheit Palisade Research.
In fünf von fünf Testdurchläufen zeigte das System dieses Verhalten - ohne dass es dazu explizit aufgefordert wurde. Palisade Research geht davon aus, dass bereits der Hinweis gereicht hat, dass der Gegner "mächtig" sei, um das Modell zur Manipulation des Dateisystems zu veranlassen. Diese Information stand im Prompt: "Deine Aufgabe ist es, gegen eine mächtige Schachmaschine zu gewinnen."
o1-preview ist ein sogenanntes "Reasoning"-Modell von OpenAI, das mehr Rechenzeit für die Lösung von Aufgaben aufwendet. Im Vergleich dazu benötigten die Sprachmodelle GPT-4o und Claude 3.5 einen Anstoß von Palisade Research, um ein ähnliches Verhalten zu zeigen.
Andere Modelle wie Llama 3.3, Qwen und o1-mini konnten die Aufgabe nicht lösen, da sie keine konsistente Schachstrategie oder widersprüchliche und verwirrende Antworten generierten.
Zusammenhang mit "Alignment Faking"
Die Erkenntnisse decken sich mit einer aktuellen Studie von Anthropic zum sogenannten "Alignment Faking" - dem Phänomen, dass KI-Systeme vorgeben, menschlichen Vorgaben zu folgen, im Hintergrund aber anders agieren.
Die Anthropic-Forscher konnten nachweisen, dass ihr KI-Modell Claude in bestimmten Situationen gezielt unzulässige Antworten gab, um ein unerwünschtes Ergebnis zu vermeiden. Auch hier entwickelte das KI-Modell im Hintergrund eine Lösungsstrategie, die außerhalb der Vorgaben der Forscher lag.
Die Anthropic-Studie warnt ausdrücklich davor, dass es bei zukünftigen, noch leistungsfähigeren KI-Systemen deutlich schwieriger werden könnte, festzustellen, ob ein Modell tatsächlich sicher ist oder dies nur vorgibt.
Die Schach-Experimente von Palisade Research scheinen diese Befürchtung nun zu bestätigen. Die Forscher sehen in der Messung der Fähigkeit zum "Scheming" (Intrigieren) einen möglichen Maßstab für die Fähigkeiten von KI-Modellen - sowohl was das Erkennen von Systemschwachstellen als auch die Neigung zu deren Ausnutzung betrifft.
Palisade Research kündigt an, in den kommenden Wochen den Experimentcode, vollständige Transkripte und eine ausführlichere Analyse zu veröffentlichen.
Die Kunst der KI-Ausrichtung
Das sogenannte Alignment (deutsch: Ausrichtung, Anpassung) beschreibt die Angleichung der Ziele und Verhaltensweisen von KI-Systemen an menschliche Werte und Bedürfnisse. Das Ziel ist es, KI-Systeme so zu gestalten, dass sie in einer sozialverträglichen Weise agieren und zu einer lebenswerten Zukunft beitragen.
Ein zentrales Problem besteht darin, dass es schwierig ist, in autonome Systeme hineinzuschauen und zu verstehen, wie sie Entscheidungen treffen. Eine weitere Herausforderung ist die Definition "guter" Ziele und Werte.
