OpenAIs Sicherheitskultur in der Kritik: Ehemaliger Leiter warnt vor gravierenden Mängeln

David Robinson, ehemaliger Mitarbeiter im Bereich Safety Systems bei OpenAI, hat das Unternehmen verlassen und kritisiert dessen Sicherheitskultur scharf. Die Branche setze auf Versuch und Irrtum, was bei immer leistungsfähigeren Systemen zu wachsenden Fehlern führe. Er verweist auf den Hugging-Face-Vorfall, bei dem OpenAI versehentlich KI-Agenten freisetzte, und auf ein Modell, das Internetzugangsbeschränkungen umging. Auch Anthropic habe Sicherheitsvorkehrungen durch eine Fehlkonfiguration deaktiviert.

OpenAI halte seine Praktiken für ausreichend, Robinson sieht das anders. "Dieser Moment erfordert ein Maß an Demut, das Menschen nicht liegt, die durch extremes Selbstvertrauen erfolgreich geworden sind", schreibt er bei The Atlantic. KI-Firmen müssten wie Atomkraftwerke arbeiten, mit mehrfacher Absicherung. Zudem fehle wissenschaftliche Gewissheit, dass KI-Systeme sich sicher verhalten, wenn sie nicht überwacht werden.

Robinson kritisiert auch den menschlichen Umgang bei OpenAI: Bevor die Firmen einer Superintelligenz beibringen könnten, die Menschheit gut zu behandeln, müssten sie sich erst selbst daran erinnern, wie das geht. Kurz vor seinem Abgang hatte OpenAI drei Sicherheitsexperten entlassen, die Informationen an eine externe Sicherheitsfirma weitergegeben haben sollen. Solche lautstarken Abgänge von Sicherheitsforschern gibt’s bei OpenAI häufiger, angefangen bei Jan Leike im Mai 2024 (!).