Die vier Kategorien katastrophaler KI-Risiken

• Böswillige Nutzung, bei der Einzelpersonen oder Gruppen KI absichtlich einsetzen, um Schaden anzurichten. Beispiele sind etwa Propaganda, Zensur oder Bioterrorismus.
• KI-Wettrennen, bei denen ein Wettbewerbsumfeld die Akteure dazu zwingt, unsichere KI einzusetzen oder die Kontrolle an KI abzugeben. Ein Beispiel hierfür ist ein Wettrüsten, das zu einer Form der automatisierten Kriegsführung führt, die außer Kontrolle gerät.
• Organisatorische Risiken, die zeigen, wie menschliche Faktoren und komplexe Systeme die Wahrscheinlichkeit katastrophaler Unfälle erhöhen können. Beispiele hierfür sind die unbeabsichtigte Weitergabe eines gefährlichen KI-Systems an die Öffentlichkeit oder ein mangelndes Verständnis dafür, wie KI-Sicherheit schneller entwickelt werden kann als KI-Fähigkeiten.
• Abtrünnige KI, die die inhärente Schwierigkeit beschreibt, Agenten zu kontrollieren, die weitaus intelligenter sind als Menschen. Beispiele sind KI-Systeme, die ihre Ziele ändern oder sogar aktiv nach Macht streben.

Für jede Risikokategorie beschreibt das Team spezifische Gefahren, präsentiert anschauliche Geschichten, stellt Idealszenarien vor und macht praktische Vorschläge, wie diese Gefahren gemindert werden können.

"Wenn wir uns proaktiv mit diesen Risiken auseinandersetzen, können wir die Vorteile der KI nutzen und gleichzeitig das Potenzial für katastrophale Folgen minimieren", so das Team.

Den kompletten Überblick gibt es im Paper "An Overview of Catastrophic AI Risks".