Inhalt
summary Zusammenfassung

Eine aktuelle Studie untersucht, wie sich das Hinzufügen einer Vorhersagekomponente auf das Lernen in künstlichen neuronalen Netzen auswirkt. Die Ergebnisse werfen neues Licht auf die Funktion des Hippocampus.

Anzeige

Forschende der Columbia University und Google DeepMind haben ein Deep Reinforcement Learning (RL) Modell entwickelt, das nicht nur lernt, eine Aufgabe optimal zu lösen, sondern auch vorhersagt, wie sich der Zustand der Umgebung durch die eigenen Aktionen verändern wird.

In Experimenten zeigte sich: Das KI-Modell mit Vorhersagekomponente lernte schneller und benötigte weniger Trainingsdurchgänge als Modelle ohne diese Zusatzaufgabe. Insbesondere bei begrenzten Rechenressourcen half das Vorhersagelernen, eine Überanpassung und einen Zusammenbruch der gelernten Repräsentationen zu verhindern.

Je weiter die Vorhersagen in die Zukunft reichten, desto besser erfassten die gelernten Repräsentationen im Modell die globale Struktur der Umgebung. Das erleichterte dem Modell, sich an neue Ziele in ähnlichen Umgebungen anzupassen, ohne neu trainiert zu werden.

Anzeige
Anzeige

Vorhersagemodul ähnelt Hippocampus von Tieren

Interessanterweise ähnelten die Aktivitätsmuster in dem Vorhersagemodul des künstlichen neuronalen Netzes denen im Hippocampus von Tieren: Es bildeten sich sogenannte Ortszellen ("place fields"), die bevorzugt an bestimmten Positionen im virtuellen Raum aktiv wurden. Das Belohnungslernen in anderen Netzwerkbereichen beeinflusste die Verteilung dieser Ortszellen.

Auch im Eingabemodul des Netzes, das in seiner Funktion Hirnarealen wie dem visuellen Kortex ähnelt, beobachtete das Forschungsteam lernbedingte Veränderungen: Einheiten des neuronalen Netzes reagierten selektiver auf belohnte visuelle Reize - ähnlich wie Neuronen im visuellen Kortex.

Die Wissenschaftler schlussfolgern, dass Vorhersagelernen ein Schlüsselmechanismus sein könnte, mit dem der Hippocampus nützlich strukturierte Repräsentationen für andere Hirnareale bereitstellt. Dabei muss er selbst gar nicht direkt Handlungssequenzen generieren oder Planungsprozesse unterstützen.

Deep RL Systeme als Modell für interagierende Hirnregionen

Die Studie demonstriert laut dem Team, wie Deep RL Systeme als Modell für die Interaktion verschiedener Hirnregionen dienen können. In der Zukunft wollen die Forschenden diesen Ansatz weiter ausbauen:

Geplant sind Untersuchungen mit komplexeren Aufgaben und weiteren lernunterstützenden Zusatzzielen. Auch die Auswirkungen von Rückkopplungen zwischen den Netzwerkmodulen sollen erforscht werden, um die Modelle noch biologisch realistischer zu gestalten.

Empfehlung

Die Ergebnisse werfen ein neues Licht auf die Rolle des Hippocampus beim Lernen und Problemlösen. Sie könnten aber auch neue Ansätze für effizienteres maschinelles Lernen und flexiblere künstliche Intelligenz inspirieren.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Eine Studie von Forschern der Columbia University und Google DeepMind untersucht, wie sich das Hinzufügen einer Vorhersagekomponente zu einem Deep Reinforcement Learning (RL) Modell auf das Lernen in künstlichen neuronalen Netzen auswirkt.
  • Modelle mit Vorhersagekomponente lernten schneller, benötigten weniger Trainingsdurchgänge und erfassten die globale Struktur der Umgebung besser. Die Aktivitätsmuster im Vorhersagemodul ähnelten denen im Hippocampus von Tieren.
  • Die Ergebnisse deuten darauf hin, dass Vorhersagelernen ein Schlüsselmechanismus sein könnte, mit dem der Hippocampus nützliche Repräsentationen für andere Hirnareale bereitstellt. Die Studie zeigt auch, wie Deep RL Systeme als Modell für die Interaktion verschiedener Hirnregionen dienen können.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!