Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Stabilty AI veröffentlicht ein neues Bildmodell und Workflow, um bessere 3D-Modelle zu generieren.

Das neue Modell heißt Stable Zero123 und ist eine neue Version der gleichnamigen Modellreihe. Stable Zero123 erzeugt nicht direkt 3D-Modelle – es ist vielmehr ein zentraler Baustein in einem generativen Workflow, an dessen Anfang ein Textprompt und an dessen Ende ein 3D-Modell steht. Konkret kann Zero123 ausgehend von einem Bild eines Objekts mehrere neue Bilder des Objekts aus unterschiedlichen Blickwinkeln erzeugen.

Diese Panoramabilder können dann von einem anderen Modell verwendet werden, um etwa ein NeRF auf diese Bilder zu konditionieren und so am Ende ein 3D-Modell zu generieren.

Stable Zero123 wurde mit riesigem 3D-Datensatz trainiert

Stable Zero123 soll dabei laut Stability AI deutlich bessere Ergebnisse erzielen als sein Vorgänger Zero123-XL. Möglich wird dies vor allem durch einen besseren Trainingsdatensatz. Dafür hat das Start-up ausschließlich hochwertige 3D-Modelle aus dem Objaverse-Datensatz gefiltert. Während des Trainings und der Inferenz erhält Stable Zero123 dann neben den Bildern auch geschätzte Kamerawinkel, die die Vorhersagen des Modells unterstützen.

Anzeige
Anzeige
Zero123 erzeugt konsistenter Ergebnisse als Zero123-XL. | Bild: Stability AI

Zusammen mit weiteren Verbesserungen, die beispielsweise das Training mit größeren Chargen ermöglichen, hat dies zu einer 40-fachen Beschleunigung der Trainingseffizienz im Vergleich zu Zero123-XL geführt, so Stability AI.

StableZero123 plus threestudio für 3D-Generierung

Stable Zero123 wird ausschließlich zu Forschungszwecken veröffentlicht und ist nicht für den kommerziellen Einsatz vorgesehen. Interessenten, die die 3D-Lösungen von Stability AI für kommerzielle Produkte oder Zwecke nutzen möchten, sollten sich direkt an das Unternehmen wenden.

Zur Erzeugung von 3D-Objekten mit Stable Zero123 veröffentlicht das Team auf HuggingFace das Modell mit Anleitung. Benötigt werden das Framework threestudio und das Modell. Während die VRAM-Anforderungen für die Generierung der neuen Ansichten auf dem Niveau von Stable Diffusion 1.5 liegen, benötigt die Generierung der 3D-Objekte deutlich mehr Zeit und 24 Gigabyte VRAM werden empfohlen.

Stable Zero123 ist auch über die Stable 3D Private Preview für die Text-zu-3D-Generierung verfügbar.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Stabilty AI veröffentlicht Stable Zero123, ein neues Bildmodell, das mehrere Bilder eines Objekts aus verschiedenen Blickwinkeln erzeugt, die dann zu einem 3D-Modell weiterverarbeitet werden können.
  • Stable Zero123 erzielt bessere Ergebnisse als sein Vorgänger Zero123-XL, dank eines verbesserten Trainingsdatensatzes und einer 40-fachen Beschleunigung der Trainingseffizienz.
  • Das Modell wird für Forschungszwecke veröffentlicht und ist nicht für den kommerziellen Einsatz vorgesehen.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!