In einer neuen Forschungsarbeit von Deepmind spielen vier KI-Agenten gegeneinander Fußball. Die Besonderheit ist, dass sie das Fußballspiel von der Pi(c)ke auf gelernt haben und dabei verschiedene Fähigkeiten miteinander verbinden.
Im September 2019 veröffentlichte OpenAI einige Videos, in denen vier KI-Agenten aus zwei Teams Verstecken spielen. Die KI-Agenten wurden mit der KI-Trainingsmethode bestärkendes Lernen (Erklärung) trainiert und lernten im Laufe zahlreicher Durchgänge immer komplexeres Verhalten: Ein Team versperrte Durchgänge mit Boxen, um nicht gefunden zu werden. Doch das andere Team kletterte mit Rampen über die Boxen. Daraufhin schob das erste Team die Rampen außer Reichweite des zweiten Teams, bevor es sich erneut mit den Boxen verbarrikadierte.
Keines dieser Verhaltensmuster wurde explizit trainiert. Die KI-Agenten entwickelten stattdessen eigene Strategien durch die Interaktion mit anderen KI-Agenten.
Dieses erstmals während des Trainings auftretende KI-Verhalten wird "emergentes Verhalten" genannt. Es tritt oft beim bestärkenden Lernen auf, speziell dann, wenn mehrere KI-Agenten miteinander interagieren.
Deepmind zeigt jetzt ein mit OpenAIs Versteckspiel vergleichbares Projekt: Statt sich zu verstecken, kicken vier KI-Agenten mit- und gegeneinander.
Das Runde muss ins Eckige
Anders als OpenAIs Versteckexperten müssen Deepminds Fußballer sogar das Laufen selbst lernen. Deepmind trainiert seine KI-Agenten in vier Schritten: Zuerst lernen die KI-Spieler, einen virtuellen Körper zu steuern und menschliche Bewegungen wie Rennen oder Drehungen nachzuahmen.
Anschließend lernen sie den Umgang mit einem Ball und die Fähigkeit, mit dem Ball zu laufen oder zu schießen. Im finalen Trainingsabschnitt spielen die KI-Fußballer zusammen auf dem virtuellen Rasen und entwickeln so Aufmerksamkeit für andere Spieler.
Wie beim KI-Versteckspiel entsteht auch bei Deepminds Fußballexperiment emergentes Verhalten: Die Spieler greifen ihre Gegner an, passen ihrem Mitspieler zu oder laufen sich frei, ohne dass Deepminds Forscher diese Fähigkeiten explizit vorab festgelegt hätten.
Das Niveau erinnert zwar an meine Kinderfußballzeiten, aber es wird deutlich, dass sich die KI-Agenten die Grundlagen des Fußballsports erarbeitet haben.
Vom virtuellen Rasen in die echte Welt
Deepminds Fußballer sind abseits ihrer Dribbelkünste bemerkenswert, da die Forscher zeigen, dass es mit dem bestärkenden Lernen möglich ist, mehrere üblicherweise separat gelöste Aufgaben in einem System zu verbinden: das Erlernen von menschenähnlicher Bewegung, von strukturiertem Verhalten wie Dribbeln und von Teamplay und Koordination in herausfordernden Multi-Agenten-Szenarien.
"Die Ergebnisse zeigen, dass künstliche Agenten in der Tat lernen können, komplexe Bewegungen zu koordinieren, um mit Objekten zu interagieren und in Kooperation mit anderen Agenten zeitlich entfernte Ziele zu erreichen", so die Deepmind-Forscher.
Das sei ein weiterer Hinweis, dass dem Training von Robotern in der Simulation für komplexe Echtweltaufgaben grundsätzlich nichts im Wege stehe.
Ob und wie die hier angewandten Methoden des stufenweisen KI-Trainings helfen können, einen "ähnlichen Grad an Raffinesse in der motorischen Intelligenz für agile Roboter" zu erreichen, soll weitere Forschung klären.
Titelbild: Deepmind | Via: Arxiv