Forscher stellen ORBIT-Surgical vor, eine Simulationsumgebung, mit der Roboter für chirurgische Aufgaben trainiert werden können.
ORBIT-Surgical ist ein neues Open-Source-Framework für die Simulation chirurgischer Roboter, das von Wissenschaftlern der University of Toronto, UC Berkeley, ETH Zürich, Georgia Tech und Nvidia entwickelt wurde. Es soll die Forschung im Bereich des maschinellen Lernens für die robotergestützte Chirurgie erleichtern und beschleunigen. Das Framework nutzt Nvidias Robotik-Simulationsplattform Isaac Sim für GPU-beschleunigte Physik und das 3D-Entwicklungswerkzeug Omniverse mit Raytracing-Rendering, um schnelle und präzise Simulationen zu ermöglichen.
Die Simulationsumgebung enthält detaillierte Modelle von zwei chirurgischen Roboterplattformen: dem da Vinci Research Kit (dVRK) und dem Smart Tissue Autonomous Robot (STAR). Zusätzlich bietet ORBIT-Surgical 14 Benchmark-Aufgaben, die grundlegende chirurgische Fähigkeiten abbilden. Diese umfassen sowohl einfache Bewegungen als auch die Interaktion mit starren und deformierbaren Objekten wie Nadeln und Schläuchen.
Durch GPU-Parallelisierung können bis zu 8000 Simulationen gleichzeitig auf einer Grafikkarte ausgeführt werden. Dies ermöglicht ein effizientes Training von Reinforcement-Learning-Algorithmen innerhalb weniger Stunden. Klassische CPU-basierte Simulatoren benötigen dafür Tage oder Wochen.
Darüber hinaus unterstützt ORBIT-Surgical verschiedene Eingabegeräte wie VR-Controller und die Steuereinheit des dVRK-Systems. Damit können menschliche Experten die simulierten Roboter in Echtzeit steuern. Die aufgezeichneten Bewegungen können dann verwendet werden, um Algorithmen für das Lernen durch Nachahmung zu trainieren.
Fotorealistische Simulation ermöglicht synthetische Daten für weiteres Training
Ein weiterer Vorteil der Plattform ist die Möglichkeit, fotorealistische synthetische Bilder zu erzeugen. Die Kombination solcher Daten mit realen Bildern hat in einem Experiment die Leistung eines Modells zur Segmentierung chirurgischer Nadeln mehr als verdoppelt.
Auch die Übertragung von Bewegungsabläufen und trainierten Reinforcement-Learning-Modellen aus der Simulation auf einen realen dVRK-Roboter konnten die Forscher demonstrieren. Allerdings ist die Erfolgsquote mit 50 Prozent noch verbesserungswürdig. Das Team führt dies unter anderem darauf zurück, dass Dehnungseffekte des Kabels noch nicht berücksichtigt werden.
In zukünftigen Versionen soll ORBIT-Surgical auch die Simulation von Schnitten in Weichgewebe und Algorithmen für komplexere Aufgaben wie das Nähen unterstützen. Mit der Plattform wollen die Forscher die lernbasierte robotergestützte Chirurgie vorantreiben. Ziel sind Systeme, die den Chirurgen bei anspruchsvollen Eingriffen unterstützen und entlasten.
ORBIT-Surgical ist jetzt auf GitHub verfügbar.
