Sonys neue Gaming-KI "GT Sophy" wurde per Deep Learning trainiert. Sie kann die schnellsten Gran-Turismo-Profis abhängen.
Als erste "übermenschliche KI" hat GT Sophy laut Sony in der Rennsimulation Gran Turismo vier der weltweit besten menschlichen Fahrer:innen geschlagen. Die Wettbewerbe Mensch vs. KI fanden im Juli und Oktober 2021 statt.
GT Sophy übertraf dabei die Spieleprofis bei Zeitfahrrennen und bei einem Kopf-an-Kopf-Rennen im Format der FIA-zertifizierten Gran-Turismo-Meisterschaft. "GT Sophy zeigte uns neue Möglichkeiten, die wir uns vorher nicht vorstellen konnten", sagt etwa Igor Fraga, Meister der FIA Gran Turismo Meisterschaft 2018.
Entwickelt wurde die KI in einer Zusammenarbeit von Sonys Playstation-Abteilung, Sony AI, gegründet im April 2020, und dem Gran-Turismo-Studio Polyphony Digital. Die wissenschaftliche Arbeit "Outracing champion Gran Turismo drivers with deep reinforcement learning" wurde im Fachmagazin Nature veröffentlicht.
Per modellfreiem Reinforcement Learning zur unschlagbaren Racing-KI
Die aktuelle Arbeit hängt mit einer Publikation aus dem Herbst 2020 zusammen: Damals veröffentlichte Sony in Zusammenarbeit mit der Universität Zürich eine per Reinforcement Learning trainierte KI für Gran Turismo Sport.
Sie eignete sich ihr fahrerisches Geschick ohne menschliche Vorgaben, etwa zur Ideallinie oder zur Physik des Spiels, allein per Versuch und Irrtum und gezielte Belohnungen an.
Auch das jetzt fortentwickelte KI-Modell "GT Sophy" ist per Reinforcement Learning ohne vorgegebenes Modell trainiert, wenn auch mit menschlicher Nachhilfe: Für einige besonders anspruchsvolle Manöver, etwa das Windschattenfahren, erstellte Sony händisch beispielhafte Trainingsszenarien pro Rennstrecke und setzte zusätzlich Sparringspartner für die KI ein.
Sony betont, dass Sophy gleichermaßen schnell wie fair fährt. Die Künstliche Intelligenz habe durch das Reinformcent Learning in Kombination mit dem Mixed-Szenario-Training
- ein tiefes Verständnis für die Dynamik eines Autos und für Ideallinien entwickelt,
- wende verschiedene Renntaktiken passend zur Rennsituation an: Windschattenfahren, Überholmanöver oder defensives Blockieren anderer Autos,
- und halte sich an "unpräzise spezifizierte Regeln" zu Fairness im Motorsport. Sophy vermeide etwa Zusammenstöße und respektiere gegnerische Fahrlinien.
Das folgende Video demonstriert ein komplexes Überholmanöver von GT Sophy.
Wer tiefer in modellfreies Reinforcement Learning einsteigen und den Unterschied zu modellbasiertem KI-Training lernen will, kann sich unseren KI-Podcast mit Tim Rocktäschel von Facebook AI ansehen - bei unserem Gespräch ist ebenfalls Gaming als Experimentierfeld für die KI-Trainingstechnik ein Thema.
Sophy soll in zukünftige Gran-Turismo-Spiele integriert werden
Für das KI-Training entwickelte Sony außerdem die Cloud-basierte Rechenplattform DART (Distributed, Asynchronous Rollouts and Training ), die Zugriff auf mehr als 1000 PS4-Konsolen hat. Über DART sammelten die Forschenden das Trainingsmaterial und evaluierten bereits trainierte Sophy-Modelle, um die KI weiter zu verbessern.
Laut Sony könnte GT Sophy als KI-Gegner in zukünftige Versionen der Gran-Turismo-Reihe integriert werden. Die Entwicklung der KI sei zudem ein Beitrag zu Bereichen außerhalb des Gamings wie dem autonomen Fahren und Hochgeschwindigkeitsrobotik und -steuerung, sagt Sony AI-Ceo Hiroaki Kitano.
Dass Sony recht stolz auf diesen laut eigenen Angaben "KI-Durchbruch" ist, zeigt die aufwendig gestaltete offizielle Webseite, die die Entwicklung von GT Sophy ausführlich dokumentiert. Sony AI will sich zukünftig noch mehr mit KI im Gaming befassen.
