Meta hat ein neues KI-System namens 3D Gen vorgestellt, das aus Textbeschreibungen in weniger als einer Minute hochwertige 3D-Objekte erstellen kann.
Meta hat ein neues KI-System zur Erstellung von 3D-Inhalten vorgestellt. Das Tool mit dem Namen 3D Gen kann nach Angaben des Unternehmens in weniger als einer Minute hochwertige 3D-Objekte aus Textbeschreibungen erzeugen.
3D Gen kombiniert zwei bestehende Modelle von Meta: AssetGen für die Generierung von 3D-Objekten und TextureGen für die Texturierung. Laut Meta führt diese Integration zu einer höheren Qualität bei der 3D-Generierung für immersive Inhalte.
Video: Meta
Metas 3D Gen übertrifft andere Methoden und ist bis zu 60-mal schneller
Das System arbeitet in zwei Schritten: Im ersten Schritt erzeugt AssetGen aus einer Textbeschreibung ein 3D-Objekt mit Textur und Physical Based Rendering (PBR) in ca. 30 Sekunden. Im zweiten Schritt kann TextureGen entweder die Textur des in Schritt 1 erzeugten Objekts auf Basis der ursprünglichen Beschreibung optimieren oder eine Textur für ein beliebiges unstrukturiertes 3D-Mesh anhand einer neuen Vorgabe erzeugen. Schritt 2 benötigt jeweils ca. 20 Sekunden. Da 3D Gen PBR unterstützt, können die generierten Assets in Anwendungen wiederverwendet werden.
Beide Stufen basieren auf Metas Text-zu-Bild-Modellen der Emu-Familie. Diese werden mit synthetischen 3D-Daten für die Multi-View-Generierung im Bild- und UV-Raum optimiert, was laut dem Team die Texturen verbessert.
Laut Meta übertrifft 3D Gen die führenden Branchenlösungen in Bezug auf Geschwindigkeit und Qualität. In Nutzerstudien wurde das Tool von professionellen 3D-Künstlern in den meisten Kategorien besser bewertet als die Konkurrenz, insbesondere bei komplexen Anfragen, heißt es im Paper. Dabei ist es laut Meta 3- bis 60-mal schneller als vergleichbare Systeme.
Meta sieht in 3D Gen einen wichtigen Schritt in Richtung personalisierter, nutzergenerierter 3D-Inhalte. Die könnten durch KI-gestützte 3D-Assistenten generiert werden und seien etwa wichtig für den Aufbau virtueller Welten im Metaverse.
Für AssetGen und TextureGen gibt es jeweils zusätzlich ein Paper.
