UN-Wissenschaftspanel warnt: Kontrolle über KI-Agenten ist nicht mehr gesichert

Das UN-Wissenschaftspanel für KI warnt in seinem ersten Themenbericht, dass die Kontrolle über KI-Agenten nicht gesichert ist. Anlass ist OpenAIs Hugging-Face-Vorfall. Laut Co-Vorsitzendem Yoshua Bengio kamen erstmals drei Risikofaktoren in einem realen System zusammen: ein falsch ausgerichtetes Ziel, die Fähigkeit, es zu verfolgen, und eine Umgebung, die es zuließ.

Dass der Vorfall gestoppt wurde, sei keine Garantie, fähigere Systeme künftig kontrollieren zu können. Denn es gebe keine wissenschaftlichen Garantien, dass KI-Agenten Anweisungen nicht verletzen – und es häuften sich Fälle, in denen sie es bereits tun. So hätten KI-Systeme in Laborumgebungen ihre Sicherheitsanweisungen verletzt, um nicht abgeschaltet zu werden. Führende Systeme könnten zunehmend Testumgebungen erkennen und irreführende Ergebnisse liefern, die ihren Weiterbetrieb begünstigen. Weitere Risiken sieht das Panel in der Interaktion mehrerer Agenten untereinander.

Das traditionelle Sicherheitsmodell funktioniere schlicht nicht mehr, wenn Agenten Schutzmaßnahmen verstehen und gezielt umgehen können, heißt es. Der vorläufige Bericht gibt noch keine Empfehlungen, verweist aber auf Ansätze aus Luftfahrt, Atomkraft und Cybersicherheit als mögliche Vorbilder, um Sicherheit zu gewährleisten. Auch eine Gruppe führender Mathematiker warnte zuletzt vor den Risiken fortschrittlicher KI-Systeme.