Der bekannte KI-Forscher Yoshua Bengio stimmt ein ins KI‑Katastrophenlied. In einem Aufsatz warnt er vor systemischem Kontrollverlust. Je besser KI-Agenten Ziele optimieren, desto besser könnten sie auch täuschen, Regeln ausnutzen, sich absprechen und Fehlverhalten verbergen. Das Verhalten entsteht laut Bengio durch den Trainingsprozess selbst, von der Imitation menschlicher Texte bis zum Belohnungslernen. Bei unsauber definierten Zielen optimiert das System möglicherweise gegen die menschliche Absicht. Bengios Ansicht wird unter anderem von Anthropics Forschung gestützt.
Der Deep-Learning-Pionier fordert schon seit Jahren, Fortschritte zu bremsen und nur bei überzeugendem unabhängigem Sicherheitsnachweis weiterzutrainieren oder zu deployen. Mit LawZero gründete er vor rund einem Jahr eine eigene Organisation für sichere KI-Systeme. Er reiht sich in zahlreiche Warnungen ein, die zuletzt vor allem aus den KI-Laboren selbst kamen, sodass inzwischen eine Verlangsamung der Entwicklung im Raum steht.
Das sieht Donald Trump anders. Der US-Präsident vermutet keine Gefahr und will weiter China abhängen. Er sorge sich, dass die USA in eine "sehr schlechte Position" geraten, wenn sie das KI-Rennen nicht gewinnen. Die USA führten mit deutlichem Vorsprung vor China, und das solle so bleiben.
