Mehr als 20 führende KI-Forscher sehen extreme Risiken durch automatisierte KI-Forschung

Und hier kommt die nächste KI-Warnung: Mehr als 20 KI-Forscher, darunter Geoffrey Hinton, Yoshua Bengio und OpenAI-Forschungsleiter Jakub Pachocki, warnen in einem Forschungspapier vor einer möglichen "Intelligenzexplosion" durch sich selbst verbessernde KI. "Although there remains much uncertainty, AI R&D automation might soon trigger one", heißt es.

Laut der Studie schreiben KI-Systeme bereits den Großteil des Codes in den Unternehmen, die sie entwickeln. Innerhalb weniger Jahre könnten sie die gesamte KI-Forschung und -Entwicklung automatisieren. Fortschritte, die sonst Jahre dauern, könnten dann in Monaten oder weniger stattfinden.

Die Autoren sehen darin extreme Risiken: Die Gesellschaft könnte mit der Geschwindigkeit nicht mithalten, die Kontrolle über übermenschliche KI-Systeme könnte verloren gehen, und Machtgleichgewichte zwischen Staaten, Unternehmen und Regierungen könnten ausgehöhlt werden. Sie fordern politische Entscheidungsträger auf, dringend mehr Einblick in die Automatisierung der KI-Forschung zu gewinnen.

Das Papier reiht sich in eine Serie ähnlicher Warnungen ein: Kürzlich forderten 42 führende Mathematiker in einem offenen Brief mehr Aufmerksamkeit für existenzielle KI‑Risiken. Und eine Reihe KI-Labor-Angestellter äußert Sorgen, dass KI die Menschheit vernichten könnte. Pachocki selbst sagte zuletzt, kein Labor habe Alignment ausreichend gelöst, um "noch viel länger verantwortungsvoll mit maximaler Geschwindigkeit weiter zu skalieren."