Auf Twitter teilt das KI-Team von Tesla seine Pläne für Foundation-Modelle für autonome Roboter wie den Tesla Bot.
Das Ziel von Tesla mit dem Tesla Bot ist die Entwicklung eines universellen, autonomen, zweibeinigen humanoiden Roboters, der gefährliche, sich wiederholende oder langweilige Aufgaben ausführen kann. Wie andere Robotikprojekte hofft Tesla, dieses Ziel mithilfe von Foundation-Modellen für autonome Roboter zu erreichen.
Solche Modelle werden mit großen Datenmengen trainiert und bilden mit ihren allgemeinen Fähigkeiten die Grundlage für spezialisierte Anwendungen. In der Computerlinguistik ist GPT-4 ein Beispiel für ein solches Modell.
Tesla setzt auf große Datenmengen
Für die Robotik-Modelle will Tesla auf multimodale neuronale Netze zurückgreifen, die bereits in Tesla-Fahrzeugen für das autonome Fahren zum Einsatz kommen. Diese verarbeiten derzeit mehrere Modalitäten wie Kameravideos, Karten, Navigation, IMU (Inertial Measurement Unit) oder GPS und sagen beispielsweise voraus, ob sich Fahrzeuge, Radfahrer, Menschen oder andere Objekte im Weg befinden.
Video: Tesla
Nach Ansicht des KI-Teams von Tesla könnten diese Netze auch zur Kollisionsvermeidung in jedem beliebigen Roboter eingesetzt werden. Alle Daten der gesamten Fahrzeugflotte werden auch genutzt, um Straßenabschnitte zu rekonstruieren, in denen die KI dann weiter trainiert werden kann. Darüber hinaus entwickelt das Team generative Modelle, die in der Lage sind, auf der Basis der vielfältigen realen Daten zum Beispiel kurze neue Videoclips zu produzieren, in denen sich das Fahrzeug anders verhält.
Video: Tesla
Dadurch erhöht sich die verfügbare Datenmenge - eine Grundvoraussetzung für Foundation-Modelle. In einem kurzen Clip ist auch zu sehen, wie ein Tesla-Bot oder ein ähnliches System Daten in Büroräumen sammelt.
Video: Tesla
Video-Foundation-Modelle als "Gehirn" von Optimus-Bot
Zusammen sollen so Video-Foundation-Modelle entstehen, die das "Gehirn" von Autos und Robotern bilden. Auch Google experimentiert mit der Idee solcher Foundation-Modelle für Roboter und hat mit dem multimodalen Robotic Transformer gezeigt, dass damit bessere Roboter gebaut werden können.
Tesla hat zumindest im Bereich des autonomen Fahrens einen klaren Datenvorteil und könnte mit dem für die Massenproduktion geplanten Optimus-Bot auch für Roboter die für Foundation-Modelle notwendigen Daten sammeln.
Tesla is building the foundation models for autonomous robots pic.twitter.com/VUES9jU3ze
— Tesla AI (@Tesla_AI) June 21, 2023
Dafür braucht es Rechenleistung und Tesla will den eigenen Supercomputer Dojo bis Oktober 2024 auf 100 Exaflops bringen, was etwa 400.000 Nvidia A100 GPUs entspricht. Der interessante Einblick ist jedoch vor allem ein Rekrutierungsversuch für Expert:innen, die Tesla dringend sucht.
Wer mehr über Foundation-Modelle und Herausforderungen in der Robotik erfahren möchte, kann sich unseren DEEP MINDS #15 mit Robotik-Experte Prof. Dr. Jan Peters anhören.
