Inhalt
summary Zusammenfassung

Forscher stellen ORBIT-Surgical vor, eine Simulationsumgebung, mit der Roboter für chirurgische Aufgaben trainiert werden können.

ORBIT-Surgical ist ein neues Open-Source-Framework für die Simulation chirurgischer Roboter, das von Wissenschaftlern der University of Toronto, UC Berkeley, ETH Zürich, Georgia Tech und Nvidia entwickelt wurde. Es soll die Forschung im Bereich des maschinellen Lernens für die robotergestützte Chirurgie erleichtern und beschleunigen. Das Framework nutzt Nvidias Robotik-Simulationsplattform Isaac Sim für GPU-beschleunigte Physik und das 3D-Entwicklungswerkzeug Omniverse mit Raytracing-Rendering, um schnelle und präzise Simulationen zu ermöglichen.

Die Simulationsumgebung enthält detaillierte Modelle von zwei chirurgischen Roboterplattformen: dem da Vinci Research Kit (dVRK) und dem Smart Tissue Autonomous Robot (STAR). Zusätzlich bietet ORBIT-Surgical 14 Benchmark-Aufgaben, die grundlegende chirurgische Fähigkeiten abbilden. Diese umfassen sowohl einfache Bewegungen als auch die Interaktion mit starren und deformierbaren Objekten wie Nadeln und Schläuchen.

Durch GPU-Parallelisierung können bis zu 8000 Simulationen gleichzeitig auf einer Grafikkarte ausgeführt werden. Dies ermöglicht ein effizientes Training von Reinforcement-Learning-Algorithmen innerhalb weniger Stunden. Klassische CPU-basierte Simulatoren benötigen dafür Tage oder Wochen.

Anzeige
Anzeige

Darüber hinaus unterstützt ORBIT-Surgical verschiedene Eingabegeräte wie VR-Controller und die Steuereinheit des dVRK-Systems. Damit können menschliche Experten die simulierten Roboter in Echtzeit steuern. Die aufgezeichneten Bewegungen können dann verwendet werden, um Algorithmen für das Lernen durch Nachahmung zu trainieren.

Fotorealistische Simulation ermöglicht synthetische Daten für weiteres Training

Ein weiterer Vorteil der Plattform ist die Möglichkeit, fotorealistische synthetische Bilder zu erzeugen. Die Kombination solcher Daten mit realen Bildern hat in einem Experiment die Leistung eines Modells zur Segmentierung chirurgischer Nadeln mehr als verdoppelt.

Auch die Übertragung von Bewegungsabläufen und trainierten Reinforcement-Learning-Modellen aus der Simulation auf einen realen dVRK-Roboter konnten die Forscher demonstrieren. Allerdings ist die Erfolgsquote mit 50 Prozent noch verbesserungswürdig. Das Team führt dies unter anderem darauf zurück, dass Dehnungseffekte des Kabels noch nicht berücksichtigt werden.

In zukünftigen Versionen soll ORBIT-Surgical auch die Simulation von Schnitten in Weichgewebe und Algorithmen für komplexere Aufgaben wie das Nähen unterstützen. Mit der Plattform wollen die Forscher die lernbasierte robotergestützte Chirurgie vorantreiben. Ziel sind Systeme, die den Chirurgen bei anspruchsvollen Eingriffen unterstützen und entlasten.

 

Empfehlung

 

ORBIT-Surgical ist jetzt auf GitHub verfügbar.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Forscher haben mit ORBIT-Surgical ein Open-Source-Framework für die Simulation chirurgischer Roboter entwickelt, das die Forschung im Bereich des maschinellen Lernens für die robotergestützte Chirurgie erleichtern und beschleunigen soll.
  • Die Simulationsumgebung enthält detaillierte Modelle von zwei chirurgischen Roboterplattformen, bietet 14 Benchmark-Aufgaben zur Abbildung grundlegender chirurgischer Fähigkeiten und ermöglicht durch GPU-Parallelisierung bis zu 8000 gleichzeitige Simulationen auf einer Grafikkarte.
  • ORBIT-Surgical unterstützt verschiedene Eingabegeräte zur Echtzeitsteuerung durch menschliche Experten, die Erzeugung fotorealistischer synthetischer Bilder für das Training und die Übertragung von Bewegungsabläufen und trainierten Modellen auf reale Roboter, um lernbasierte robotergestützte Chirurgie voranzutreiben.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!