Eine aktuelle Studie untersucht, wie sich das Hinzufügen einer Vorhersagekomponente auf das Lernen in künstlichen neuronalen Netzen auswirkt. Die Ergebnisse werfen neues Licht auf die Funktion des Hippocampus.
Forschende der Columbia University und Google DeepMind haben ein Deep Reinforcement Learning (RL) Modell entwickelt, das nicht nur lernt, eine Aufgabe optimal zu lösen, sondern auch vorhersagt, wie sich der Zustand der Umgebung durch die eigenen Aktionen verändern wird.
In Experimenten zeigte sich: Das KI-Modell mit Vorhersagekomponente lernte schneller und benötigte weniger Trainingsdurchgänge als Modelle ohne diese Zusatzaufgabe. Insbesondere bei begrenzten Rechenressourcen half das Vorhersagelernen, eine Überanpassung und einen Zusammenbruch der gelernten Repräsentationen zu verhindern.
Je weiter die Vorhersagen in die Zukunft reichten, desto besser erfassten die gelernten Repräsentationen im Modell die globale Struktur der Umgebung. Das erleichterte dem Modell, sich an neue Ziele in ähnlichen Umgebungen anzupassen, ohne neu trainiert zu werden.
Vorhersagemodul ähnelt Hippocampus von Tieren
Interessanterweise ähnelten die Aktivitätsmuster in dem Vorhersagemodul des künstlichen neuronalen Netzes denen im Hippocampus von Tieren: Es bildeten sich sogenannte Ortszellen ("place fields"), die bevorzugt an bestimmten Positionen im virtuellen Raum aktiv wurden. Das Belohnungslernen in anderen Netzwerkbereichen beeinflusste die Verteilung dieser Ortszellen.
Auch im Eingabemodul des Netzes, das in seiner Funktion Hirnarealen wie dem visuellen Kortex ähnelt, beobachtete das Forschungsteam lernbedingte Veränderungen: Einheiten des neuronalen Netzes reagierten selektiver auf belohnte visuelle Reize - ähnlich wie Neuronen im visuellen Kortex.
Die Wissenschaftler schlussfolgern, dass Vorhersagelernen ein Schlüsselmechanismus sein könnte, mit dem der Hippocampus nützlich strukturierte Repräsentationen für andere Hirnareale bereitstellt. Dabei muss er selbst gar nicht direkt Handlungssequenzen generieren oder Planungsprozesse unterstützen.
Deep RL Systeme als Modell für interagierende Hirnregionen
Die Studie demonstriert laut dem Team, wie Deep RL Systeme als Modell für die Interaktion verschiedener Hirnregionen dienen können. In der Zukunft wollen die Forschenden diesen Ansatz weiter ausbauen:
Geplant sind Untersuchungen mit komplexeren Aufgaben und weiteren lernunterstützenden Zusatzzielen. Auch die Auswirkungen von Rückkopplungen zwischen den Netzwerkmodulen sollen erforscht werden, um die Modelle noch biologisch realistischer zu gestalten.
Die Ergebnisse werfen ein neues Licht auf die Rolle des Hippocampus beim Lernen und Problemlösen. Sie könnten aber auch neue Ansätze für effizienteres maschinelles Lernen und flexiblere künstliche Intelligenz inspirieren.
