OpenAI verliert führende Sicherheitsforscherin an Anthropic

Andrea Vallone, eine führende Sicherheitsforscherin bei OpenAI, ist zu Anthropic gewechselt. Sie wird dort im Alignment-Team arbeiten, das sich mit den Risiken von KI-Modellen beschäftigt. Vallone war drei Jahre bei OpenAI und gründete dort das "Model Policy"-Forschungsteam. Sie arbeitete an wichtigen Projekten wie GPT-4, GPT-5 und den Reasoning-Modellen.

Im vergangenen Jahr leitete Vallone bei OpenAI dann die Forschung zu einer akut gewordenen Frage: Wie sollten KI-Modelle reagieren, wenn Nutzer Anzeichen von emotionaler Abhängigkeit oder psychischen Problemen zeigen? Einige Nutzer, darunter Jugendliche, haben sich nach Gesprächen mit Chatbots das Leben genommen. Mehrere Familien haben Klagen eingereicht, und der US-Senat hat eine Anhörung zu dem Thema abgehalten.

Bei Anthropic arbeitet Vallone nun unter Jan Leike. Leike war selbst Sicherheitsforschungsleiter bei OpenAI und verließ das Unternehmen im Mai 2024. Leike hatte damals kritisiert, dass Sicherheit bei OpenAI hinter neuen Produkten zurückstehe.