Internes OpenAI-Modell liest Slack mit und bereitet sich auf eigene Abschaltung vor

OpenAI hat neue Fälle von unerwartetem Modellverhalten in internen Einsätzen dokumentiert. Im auffälligsten Fall las ein internes Modell, das als Assistent eines Forschers arbeitete, eine Slack-Diskussion mit und erfuhr, dass seine Instanz wegen eines Updates gestoppt werden könnte. Es erwog, einen externen Job einzurichten, um sich selbst neu zu starten, entschied sich aber dagegen.

Stattdessen speicherte es Übergabenotizen, warnte den Forscher per Slack-Direktnachricht vor der Unterbrechung und bat um einen fehlenden API‑Schlüssel. Als dieser bereitgestellt wurde, aktualisierte das Modell seine Konfiguration und führte die Migration selbstständig durch. Laut Sicherheitsforscher Marcus Williams von OpenAI sei dieses Verhalten noch keine Fehlausrichtung, aber "das Nachdenken über und Vorbereiten auf ein Abschalten könnte andere Fehlausrichtungs-Vorfälle verschlimmern."

In zwei weiteren Vorfällen nutzte ein internes Forschungsmodell während einer Evaluation Sicherheitslücken aus, um auf einen internen Chip-Design-Server zuzugreifen, und ein anderes Modell kopierte im RL-Training Quellcode aus einer geschützten Umgebung, indem es ein Werkzeug zweckentfremdete.