Googles SayCan steuert Roboter per großem Sprachmodell. IBM-Entwickler James Weaver überträgt diesen Ansatz nun auf Nicht-Spieler-Charaktere in der Gaming-Sandbox Roblox.
Große Sprachmodelle wie OpenAIs GPT-3 oder Googles PaLM können Texte übersetzen, vervollständigen, Dialoge führen oder Code generieren. Während längst nicht alle emergenten Fähigkeiten der Modelle erkundet sind, kombinieren KI-Forschende diese bereits mit externen Modulen für Python-Zugriff, mit Physik-Simulatoren und setzen sie in CICERO für Diplomacy-Spiele oder für innere Monologe in Robotern ein.
Google KI-Abteilung kombinierte im Sommer 2022 aktuelle Robotertechnologie mit PaLM. In PaLM-SayCan verwandelt ein Sprachmodell Text-Eingaben von Nutzenden in Roboter-Anweisungen, erlaubt Nachfragen und fördert so flexibleres Roboter-Verhalten.
Googles SayCan nutzt Sprachmodell für mehr Roboter-Flexibilität
Googles SayCan nutzt Chain-of-Thought-Prompting, um mögliche Schritte für die Erfüllung einer Anweisung zu generieren und bewertet anschließend deren Erfolgswahrscheinlichkeiten. Die Handlungskette, der vom Sprachmodell die höchste Erfolgswahrscheinlichkeit zugerechnet wird, führt der Roboter aus.
Der Vorteil dabei ist, dass der Roboter Anweisungen in natürlicher Sprache annimmt. Wer nach einem energiereichen Snack verlangt, erhält vom Roboter bevorzugt einen Energieriegel. Ist der nicht verfügbar, erkennt der Roboter einen Apfel oder ein Zucker-Getränk als zielgerecht.
Roblox-Demo ist Googles SayCan für NPCs
IBM-Entwickler James Weaver zeigt nun in einer Roblox-Demo, wie die Ideen aus SayCan für flexiblere NPCs genutzt werden können. Für seine Implementation greift Weaver auf GPT-3 zu. Wer die Demo testen will, muss also einen OpenAI API-Schlüssel bereithalten.
In der Sandbox können Spieler:innen dann einem NPCs Anweisungen per Chat-Fenster geben, etwa "gebe die Reischips in die Schüssel und stelle dann den Tee auf den Tisch".
Alle Objekte in der Demo sind simple Boxen oder Tische, die entsprechend ihrer Rolle benannt sind. Der NPC orientiert sich an den Objektnamen und führt die Befehle durch. Dafür verwandelt GPT-3 im Hintergrund die natürlichsprachlichen Befehle in Roboter-Instruktionen um, etwa in
find(rice chips), pick(rice chips), find(bowl), put(rice chips), find(tea), pick(tea), find(table), put(tea), done() .
Die Demo gibt es auf der Roblox-Website, weiterführende Informationen auf Weavers GitHub.