Google DeepMind hat einen Roboter vorgestellt, der Tischtennis auf dem Niveau eines menschlichen Amateurspielers beherrscht.
Tischtennis gilt laut Google Deepmind seit den 1980er-Jahren als Maßstab für die Robotikforschung, da ein System sowohl in grundlegenden Fähigkeiten wie dem Zurückspielen des Balls als auch im strategischen und langfristigen Planen gut sein muss.
Die Forscher sammelten zunächst eine kleine Menge an Daten von menschlichen Spielern, um die anfänglichen Aufgabenbedingungen festzulegen. Dann trainierten sie den Roboter in der Simulation mit Reinforcement Learning und wandten eine Reihe von Techniken an, um die Steuerung ohne weitere Beispiele oder Demonstrationen (zero-shot) auf die reale Hardware zu übertragen.
Dieser Roboter spielte dann gegen Menschen, um weitere Trainingsdaten zu generieren. Mit der Verbesserung des Roboters wurde das Spielniveau immer komplexer, blieb aber im realen Tischtennisspiel verankert. Der Roboter kann sich auch in Echtzeit auf unbekannte Gegner einstellen.
Hierarchische Steuerung und Anpassung an Gegner
Die Architektur des Roboters besteht aus einer Bibliothek von Low-Level-Fähigkeiten wie Vorhand-Topspin, Rückhand-Targeting oder Vorhand-Aufschlag. Zusätzlich zum Training der Steuerung selbst sammeln die Forscher Informationen über die Stärken, Schwächen und Grenzen jeder Low-Level-Fähigkeit. Ein High-Level-Controller wählt dann die optimale Fähigkeit basierend auf den aktuellen Spielstatistiken, den Fähigkeitsbeschreibungen und den Fähigkeiten des Gegners aus.
Die Leistung des Roboters wurde in 29 Spielen gegen menschliche Gegner getestet, von denen der Roboter 45 Prozent gewann. Alle menschlichen Spieler waren dem Roboter vorher unbekannt und ihr Können reichte von Anfängern bis zu Turnierspielern. Während der Roboter alle Spiele gegen die fortgeschrittensten Spieler verlor, gewann er 100 Prozent der Spiele gegen Anfänger und 55 Prozent gegen Spieler mit mittlerem Niveau.
Laut Google DeepMind zeigt diese Arbeit, wie Roboter lernen können, komplexe Aufgaben in der realen Welt zu bewältigen, die physisches Geschick, Wahrnehmung und strategische Entscheidungsfindung erfordern, auch wenn sie sich auf Tischtennis konzentriert.
