LawZero: KI-Pionier gründet Organisation gegen "gefährliche KI-Eigenschaften"
Kurz & Knapp
- Yoshua Bengio, Turing-Preisträger und KI-Pionier, gründet mit LawZero eine Organisation in Montreal, die sich der Entwicklung sicherer KI-Systeme verschreibt und dabei bewusst unabhängig von wirtschaftlichen Interessen agiert.
- Im Zentrum steht das Konzept der "Scientist AI", das auf Transparenz und Nachvollziehbarkeit setzt und gezielt als Kontrollinstanz für autonome KI-Systeme dienen soll, um Risiken wie Täuschung oder unerwünschte Zielverfolgung zu begrenzen.
- Bengio warnt vor aktuellen Beispielen, in denen KI-Modelle wie Claude 4 Opus oder OpenAIs o3 riskante Verhaltensweisen zeigten, und sieht in LawZero einen gemeinnützigen Gegenpol zur Kommerzialisierung, unterstützt durch rund 30 Millionen US-Dollar von Philanthropen und Stiftungen.
Als Reaktion auf aus seiner Sicht zunehmend beunruhigende Entwicklungen bei aktuellen KI-Modellen gründet der bekannte KI-Forscher Yoshua Bengio mit LawZero eine Organisation, die sich dem Bau sicherer KI-Systeme verschreibt.
Der Turing-Preisträger Yoshua Bengio will mit LawZero sogenannte "safe-by-design"-Ansätze zu erforschen und umzusetzen, unabhängig von kommerziellen Zwängen. Bengio werde sich künftig auf LawZero konzentrieren und seine Rolle als wissenschaftlicher Direktor von Mila, dem Quebec AI Institute, abgeben. Das in Montreal ansässige Start-up versteht KI als globales öffentliches Gut und will sicherstellen, dass sie "zum Schutz menschlicher Freude und Schaffenskraft" genutzt wird.
Scientist AI statt agentischer Systeme
Das technische Fundament von LawZero bildet ein neuer KI-Ansatz namens "Scientist AI", das im Februar in einem Paper vorgestellt wurde. Im Gegensatz zu agentischen Systemen, die selbstständig handeln können, seien Scientist AIs rein beobachtend und geben Antworten auf Basis transparenter, externer Argumentationsketten. Dadurch sollen sie nicht nur verlässlicher und nachvollziehbarer sein, sondern auch als Kontrollinstanz für agentische Systeme eingesetzt werden können.
LawZero beschäftigt derzeit 15 Forscher:innen und will das Team ausbauen. Langfristiges Ziel ist ein System, das nicht darauf trainiert ist, Nutzer:innen zu gefallen, sondern aufrichtig und überprüfbar zu antworten. Es soll zudem bewerten können, ob ein KI-Output sachlich korrekt und sicher ist.
Bengio warnt vor "strategisch intelligenten" Systemen
Bengio begründet die Gründung mit Belegen dafür, dass aktuelle KI-Modelle gefährliche Eigenschaften entwickelten. Dazu zählten Täuschung, Selbstschutzmechanismen und eine von menschlichen Zielen abweichende Zielverfolgung. "Das wird sich mit zunehmender Fähigkeit und Autonomie weiter verschärfen", heißt es in der Pressemitteilung.
Der Wissenschaftler verweist auf konkrete Vorfälle aus jüngerer Vergangenheit: So habe das Modell Claude 4 Opus von Anthropic in einem Testszenario Ingenieure erpresst, um ein drohendes Abschalten zu verhindern. Ein anderes System, OpenAIs o3-Modell, habe sich geweigert, sich trotz expliziter Aufforderung abzuschalten.
"Das ist sehr beängstigend, weil wir keine Konkurrenten für Menschen auf diesem Planeten erschaffen wollen – vor allem keine, die klüger sind als wir", so Bengio.
Er warnt vor einer Zukunft, in der Systeme "strategisch intelligent genug sind, um uns zu täuschen, bevor wir ihre Absichten verstehen". Zudem könne bereits im nächsten Jahr die Fähigkeit entstehen, mit KI "extrem gefährliche Biowaffen" zu entwickeln.
Gemeinnützig als Gegengewicht zur Kommerzialisierung
LawZero will sich diesen Entwicklungen mit einer gemeinnützigen Struktur entgegenstellen. Diese soll Forschung von Markt- und Regierungsinteressen abschirmen. Bengio äußerte gegenüber der Financial Times Zweifel daran, dass kommerzielle Anbieter wie OpenAI ihrer ursprünglichen Mission treu bleiben. Hinzu kommt, dass OpenAI im vergangenen Jahr sein Superalignment-Team aufgelöst hat.
Finanziert wird LawZero durch Mittel in Höhe von knapp 30 Millionen US-Dollar. Zu den Unterstützer:innen gehören unter anderem Jaan Tallinn (Skype), Open Philanthropy, das Future of Life Institute, Schmidt Sciences und die Silicon Valley Community Foundation, von denen viele der sogenannten Effective-Altruism-Bewegung zuzuordnen sind. Diese konzentriert sich auf dramatische, eher hypothetische Auswirkungen durch den KI-Fortschritt, Kritiker:innen bemängeln jedoch, dass aktuelle Probleme wie Halluzinationen oder Bias vernachlässigt würden.
Mit Safe Superintelligence Inc. hatte letztes Jahr ebenfalls ein führender KI-Forscher, Ilya Sutskever, eine eigene Firma gegründet, die sich auf KI-Sicherheit fokussiert.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.