Nvidia hat ein neues KI-Modell vorgestellt, das aus Text- oder Bildeingaben in nur zwei Minuten hochwertige 3D-Objekte erstellen kann. Die Technologie könnte die Erstellung von 3D-Assets für Spiele, Filme und XR verändern.
Das System erzeugt neben der 3D-Geometrie auch hochauflösende Texturen bis zu 4K sowie Physical Based Rendering (PBR). Die generierten Assets sind laut Nvidia direkt für die Produktion geeignet.
Edify 3D wurde mit einer Kombination aus nicht öffentlichen, hochauflösenden Bildern, vorgerenderten Mehrfachansichten und 3D-Formdatensätzen entwickelt. Ein mehrstufiger Vorverarbeitungsprozess gewährleistet die Qualität und Konsistenz der Trainingsdaten.
Komplexe Pipeline für konsistente 3D-Generierung
Edify 3D arbeitet in einem mehrstufigen Prozess: Zunächst erzeugt ein Diffusionsmodell mehrere konsistente Ansichten des beschriebenen Objekts aus verschiedenen Perspektiven. Ein spezielles Rekonstruktionsmodell wandelt diese Ansichten dann in ein vollständiges 3D-Modell um.
Besonders bemerkenswert ist, dass die erzeugten 3D-Modelle als sogenannte Quad-Meshes ausgegeben werden - mit sauberen Topologien und UV-Maps, die für die Weiterverarbeitung durch 3D-Künstler optimiert sind. Im Vergleich zu den bisher vorgestellten Modellgeneratoren sehen die Modelle von Edify deutlich sauberer aus.
Vom Einzelobjekt zur kompletten 3D-Szene
Die Technologie eignet sich nicht nur für einzelne Objekte. Wie Nvidia demonstriert, kann Edify 3D auch zur Generierung ganzer 3D-Szenen eingesetzt werden. Dabei werden mehrere Objekte auf Basis einer textuellen Beschreibung erzeugt und automatisch zu einer zusammenhängenden Szene zusammengefügt.
Die Forscher betonen, dass sich die generierten Assets nahtlos in bestehende 3D-Workflows integrieren lassen und für verschiedene Anwendungen wie Videospiele, Augmented Reality und Filmproduktionen geeignet sind.
Ob und wann Edify 3D öffentlich verfügbar sein wird, geht aus dem technischen Bericht von Nvidia nicht hervor.
