Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Ungewissheit ist bei Mensch und Tier ein ständiger Begleiter. Wer besser mit ihr umgehen kann, ist im Vorteil. Das gilt auch für Künstliche Intelligenz, wie Deepmind zeigt.

Biologische Lebewesen sind in ihrer Umwelt ständig Ungewissheit ausgesetzt. Ihr Wissen über ihre direkte Umgebung, zukünftige Ereignisse oder die Auswirkung eigener Handlungen ist beschränkt. Der mehr oder weniger kompetente Umgang menschlicher Intelligenz mit Ungewissheit ist eine ihrer großen Stärken.

Auch im Feld der Künstlichen Intelligenz ist der Umgang mit Ungewissheit ein wichtiges Thema: KI-Systeme sollten gerade in Hoch-Risiko-Anwendungsbereichen wie kritischer Infrastruktur, dem Gesundheitswesen oder im Militär wissen, wann sie etwas nicht wissen, wann sie vorsichtig sein sollten und wann sie Risiken eingehen müssen.

Ungewissheit in der Entscheidungsfindung kommt in zwei Formen

Der Ökonom Frank H. Knight schlug 1921 eine Unterscheidung von zwei grundsätzlich unterschiedlichen Formen der Ungewissheit in Entscheidungsfindungen vor: Risiko und Unsicherheit.

Anzeige
Anzeige

Ein Risiko liegt immer dann vor, wenn in einer bekannten Situation der Ausgang eines Ereignisses ungewiss ist, aber Wahrscheinlichkeiten berechnet werden können. Ein Beispiel ist etwa das Würfeln. Unsicherheit bezieht sich dagegen auf unbekannte Situationen, in denen die Wahrscheinlichkeiten nicht bekannt sind oder nicht bestimmt werden können.

In diesem Beispiel soll aus der Urne links oder rechts eine zufällige Kugel gezogen werden. Für welche Urne sollte man sich für maximalen Ertrag entscheiden? Ein Beispiel für Situationen, in denen die Wahrscheinlichkeiten bekannt sind und solche, in denen Informationen unvollständig sind. | Bild: Grau-Moya, Delétang, Kunesch et al.

Knapp 40 Jahre nach Knights Veröffentlichung argumentierte Daniel Ellsberg, ebenfalls ein Ökonom, für die evolutionären Vorteile verschiedener Entscheidungsmechanismen für bekannte, aber ungewisse Situationen (Risiko) gegenüber völlig neuen Situationen (Unsicherheit).

Seitdem fanden Forschende Korrelationen zwischen den Entscheidungsmechanismen und unterschiedlichen Mustern neuronaler Aktivität im menschlichen Gehirn.

Deepmind zeigt, wie KI mit Risiko und Unsicherheit umgehen kann

In der neuen Arbeit zeigt ein Team von Deepmind nun, wie KI-Agenten per Meta-Learning lernen können, mit beiden Formen von Ungewissheit umzugehen. Dafür modifiziert das Team für KI-Agenten genutzte Meta-Learning-Algorithmen, um diese sensitiv für Risiko und Unsicherheit zu machen.

Bisher habe das Meta-Learning-Training primär KI-Agenten hervorgebracht, die risiko- und unsicherheitsneutral sind, da sie sich ausschließlich am erwarteten Gewinn orientieren und in neuen Situationen so handeln, als ob die Unsicherheit bekannt wäre.

Empfehlung

Deepmind möchte mit der neuen Forschung zeigen, dass dies nicht zwangsläufig das einzige Ergebnis des Meta-Learnings - und damit eine implizite Lösung für Optimierungsprobleme - sei.

Dafür verändert das Team den Prozess der Erfahrungsgenerierung des KI-Agenten, etwa indem während des Trainings ein zweiter Agent in der Umgebung die Pläne des ersten KI-Agenten vorhersieht und deren Erfolgswahrscheinlichkeit erhöht. Daraus entstehe dann ein Risiko-suchender KI-Agent, so die Autor:innen.

Eine Sensitivität für Unsicherheit entstehe dagegen, wenn ein KI-Agent etwa Ratschläge von mehreren Agenten erhält, die in völlig neuen Situationen sich naturgemäß unterscheiden. So lerne der KI-Agent, wie er am besten mit widersprüchlichen Ratschlägen umgehe.

Deepminds KI-Agenten lernen Sensitivität für Risiko und Unsicherheit

In ihrer Arbeit trainieren die Forschenden von Deepmind KI-Agenten mit den vorgeschlagenen Meta-Learning-Algorithmen und zeigen in verschiedenen Entscheidungsfindungsexperimenten, dass ihre Agenten eine Sensitivität für Risiko und Unsicherheit entwickeln und dadurch in bestimmten Fällen besser abschneiden als Agenten ohne diese.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Der KI-Agent, der Unsicherheit sucht, sammelt deutlich mehr graue Steine (unbekannt). Dadurch sammelt er allerdings auch mehr rote Steine (negativ). Insgesamt sammelt er jedoch deutlich mehr grüne Steine (positiv) als sein Konkurrent. | Bild: Grau-Moya, Delétang, Kunesch et al.

Sie zeigen zudem, wie Agenten etwa in den Urnen-Experimenten aus ihren Ziehungen fehlende Informationen lernen und so Unsicherheit zu Risiko reduzieren können.

Mit Ziehungen können Informationen über die Verteilung in den Urnen gelernt werden. Das macht aus einer unsicheren Situation eine Risiko-Situation. | Bild: Grau-Moya, Delétang, Kunesch et al.

Die meisten KI-Modelle heute könnten nicht unterscheiden, was sie wissen und was sie nicht wissen, schließt Deepmind. Diese Fähigkeit sei jedoch entscheidend für robuste KI-Systeme, die mit unserer hochgradig unsicheren und dynamischen Welt verlässlich umgehen sollen. Häufig werde diese Robustheit mit einer Risikosensitivität verbunden, sie sei jedoch auch tief verknüpft mit Knights Unsicherheit.

"Wir haben gezeigt, wie man mit unseren Meta-Trainingsmechanismen datenabhängig mit Risiko und Unsicherheit umgehen kann", schreibt das Team.

Man hoffe, dass die dargestellten Mechanismen der Ausgangspunkt für eine Fülle von datenabhängigen Methoden zur Untersuchung und Anwendung von Sensitivität für Ungewissheit bei Menschen und Maschinen seien.

Alle Details und weitere interessante Überlegungen, etwa zum Verhältnis von Unsicherheit zu geschlossenen und offenen Welten, stehen im Paper "Beyond Bayes-Optimality: Meta-Learning What You Know You Don’t Know".

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Ungewissheit ist bei Mensch und Tier ein ständiger Begleiter. Wer besser mit ihr umgehen kann, ist im Vorteil. Das gilt auch für KI.
  • Ein Deepmind Forschungsteam zeigt, dass es möglich ist, KI-Agenten Sensitivität für Risiko und Unsicherheit beizubringen.
  • Diese Fähigkeit sei entscheidend für robuste KI-Systeme, die mit unserer hochgradig unsicheren und dynamischen Welt verlässlich umgehen sollen.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!