Das Robotikunternehmen Boston Dynamics integriert OpenAIs GPT-4 in den Roboterhund Spot und spricht von überraschenden neuen Fähigkeiten, die sich daraus ergeben.
Für den sprechenden und interaktiven Roboterhund hat Boston Dynamics einen Bluetooth-Lautsprecher und ein Mikrofon am Körper von Spot angebracht.
Außerdem hat Boston Dynamics einen mit einer Kamera ausgestatteten Arm als Hals und Kopf hinzugefügt. Die Greifhand von Spot imitiert einen sprechenden Mund, indem sie sich auf und ab bewegt. So verfügt der Roboter über eine Art Körpersprache.
Für die Sprach- und Bildverarbeitung nutzt der aufgerüstete Spot OpenAIs neuestes Modell GPT-4 sowie Visual Question Answering (VQA)-Datensätze und die OpenAI-Spracherkennungssoftware Whisper, um realistische Unterhaltungen mit Menschen zu ermöglichen.
Mit dem Weckruf "Hey, Spot!" reagiert der Roboterhund auf Fragen, während er seine Aufgabe, zum Beispiel als Tourguide, erfüllt. Der sprechende Spot kann etwa die nächste Person erkennen und sich ihr im Gespräch zuwenden.
Spot mit ChatGPT zeigt emergente Fähigkeiten
Bei Experimenten mit dem Roboter stellte Boston Dynamic emergente Fähigkeiten fest, also Fähigkeiten, die der Roboter überraschenderweise zeigte, obwohl sie ihm nicht explizit vorgegeben oder einprogrammiert worden waren.
Auf die Frage nach dem Gründer von Boston Dynamics, Marc Raibert, antwortete Spot, dass er die Person nicht kenne, man aber beim IT Help-Desk nachfragen könne. Diese Hilfesuche war keine explizite Anweisung im Prompt.
Auf die Frage nach seinen Eltern verwies ChatGPT-Spot auf die Vorgängermodelle "Spot V1" und "Big Dog" im Labor und bezeichnete sie als seine Vorfahren.
Außerdem sei der ChatGPT-Roboter hervorragend darin, einen vorgegebenen Charakter einzuhalten und sich etwa permanent sarkastisch zu äußern, schreibt Boston Dynamics.
Boston Dynamics orientierte sich bei der Implementierung an Microsofts ChatGPT-Regeln für Roboter. Eine detaillierte Beschreibung der Prompts steht im Firmenblog.
Spot denkt sich Yoga-Roboter aus
Boston Dynamics weist aber auch auf die vielen Fehler hin. Der ChatGPT-Hund behaupte oft falsche Dinge, zum Beispiel, dass der Logistikroboter "Stretch" für Yoga sei. Außerdem dauere es etwa sechs Sekunden von der Frage bis zur Antwort.
Um es klar zu sagen, diese Anekdoten bedeuten nicht, dass das LLM bewusst oder sogar intelligent im menschlichen Sinne ist - sie zeigen nur die Kraft der statistischen Assoziation zwischen den Begriffen "Helpdesk" und "eine Frage stellen" und "Eltern" und "alt". Aber die Illusion, die das LLM benutzt, um intelligent zu erscheinen, kann ziemlich überzeugend sein.
Boston Dynamics
Boston Dynamics beschreibt keine konkreten Zukunftspläne für den verbesserten Spot. Roboter seien aber generell eine vielversprechende Möglichkeit, Sprachmodelle in der realen Welt zu verankern. Die Möglichkeiten seien vielfältig und reichten von Touristenführern über Kundendienst bis zu persönlichen Begleitern.
Dadurch, dass ein Roboter durch Sprache neue Aufgaben erlernen könne, würde sich auch die Lernkurve der Systeme verkürzen. "Die beiden Technologien passen perfekt zusammen", schreibt Boston Dynamics.
Das Experiment von Boston Dynamics mit Spot ist ein weiteres Beispiel für die Verknüpfung der Fähigkeiten großer Sprachmodelle mit der Präsenz von Robotern in der realen Welt, wie sie etwa Google in den Projekten RT-2 und SayCan erforscht. Das Weltwissen großer Sprachmodelle hilft Robotern, sich intuitiv in der realen Welt zu bewegen und komplexe Aktionen auf Zuruf auszuführen, ohne dass diese extra programmiert werden müssen.
