Das 3D-Rekonstruktionsmodell SPAR3D von Stability AI verspricht Echtzeit-Bearbeitung und Generierung kompletter 3D-Objektstrukturen aus einem einzigen Bild.
Auf der Consumer Electronics Show (CES) hat das Unternehmen Stability AI in Zusammenarbeit mit Nvidia das 3D-Rekonstruktionsmodell SPAR3D (Stable Point Aware 3D) vorgestellt. SPAR3D soll die Echtzeit-Bearbeitung und -Generierung der vollständigen Struktur von 3D-Objekten aus einem einzigen Eingabebild in weniger als einer Sekunde ermöglichen. Das Modell wurde für den Einsatz auf PCs mit Nvidias RTX-Grafikkarten entwickelt.
Video: Stability AI
SPAR3D bietet laut Stability AI eine hohe Kontrolle über die 3D-Objekterstellung. Die generierte Punktwolke kann direkt bearbeitet werden, indem Punkte gelöscht, dupliziert, gestreckt, eingefärbt oder neue Merkmale hinzugefügt werden. SPAR3D soll zudem eine genaue Geometrie und detaillierte 360-Grad-Ansichten liefern, einschließlich typischerweise verdeckter Bereiche.
Video: Stability AI
Bearbeitete Punktwolken wandelt SPAR3D den Angaben zufolge in nur 0,3 Sekunden in fertige Netze um und ermöglicht so eine Echtzeit-Bearbeitung. Aus einem einzigen Bild soll das Modell hochdetaillierte 3D-Netze in nur 0,7 Sekunden pro Objekt generieren.
Damit könnte SPAR3D potenziell das 3D-Prototyping für Spieleentwickler:innen, Produktdesigner:innen und Umgebungsgestalter:innen vereinfachen.
Zweistufige Architektur kombiniert Präzision und Flexibilität
Die Architektur von SPAR3D besteht aus zwei Stufen: In der ersten Stufe erzeugt ein spezialisiertes Punkt-Diffusionsmodell eine detaillierte Punktwolke, die die grundlegende Struktur des Objekts erfassen soll.
In der zweiten Stufe verarbeitet der sogenannte Triplane-Transformer diese Punktwolke zusammen mit den Merkmalen des Originalbilds. Dabei sollen hochauflösende Triplane-Daten entstehen, die die endgültige Rekonstruktion mit Geometrie, Textur und Beleuchtung aus dem Quellbild steuern.
Kostenlose Nutzung unter Community-Lizenz
SPAR3D steht ab sofort unter der Stability AI Community Lizenz kostenlos sowohl für die kommerzielle als auch für die nicht-kommerzielle Nutzung zur Verfügung. Organisationen mit einem Jahresumsatz von mehr als einer Million Dollar können sich für eine Enterprise-Lizenz an Stability AI wenden.
Die Gewichte von SPAR3D können auf Hugging Face heruntergeladen werden. Der Quellcode ist auf GitHub verfügbar und das Modell kann über die Stability AI Developer Platform API integriert werden.
Stability AI forscht schon seit einiger Zeit an immer effizienteren 3D-Modellen. Auch die Zusammenarbeit mit Nvidia scheint logisch, das US-Unternehmen hat erst Ende 2024 mit Edify 3D ein weiteres Text-zu-3D-System vorgestellt. Weiterhin sind unter anderem Meta, Midjourney und Luma AI mit KI-Modellen in dieser Richtung beschäftigt.
