3D-GPT generiert 3D-Welten in Blender
Kurz & Knapp
- Forschende haben 3D-GPT entwickelt, ein KI-Modell, das 3D-Welten mithilfe von Prompting und Blender generiert und Anweisungen in natürlicher Sprache für die prozedurale 3D-Generierung interpretiert.
- Das KI-System unterteilt komplexe Modellierungsaufgaben in kleinere Komponenten, die von KI-Agenten verwaltet werden, darunter ein Agent für die Aufgabenverteilung, ein Agent für die Konzeptualisierung und ein Agent für die Modellierung.
- Während der Ansatz den Arbeitsaufwand für die Erstellung von 3D-Inhalten erheblich reduzieren kann, schränkt seine Abhängigkeit von prozeduralen Rendering-Algorithmen sein Potenzial in bestimmten Modellierungskategorien und einigen 3D-Softwarefunktionen ein.
Forschende zeigen 3D-GPT, ein KI-Modell, das 3D-Welten über Prompting und Blender generiert.
Das Team sieht in 3D-GPT eine mögliche Unterstützung für klassische prozedurale Methoden, die 3D-Inhalte über anpassbare Parameter und regelbasierte Systeme generieren.
3D-GPT nutzt stattdessen große Sprachmodelle von OpenAI, um natürliche Sprachanweisungen von Menschen für die prozedurale 3D-Generierung zu interpretieren.
3D-GPT setzt auf Chatbot-Agenten und Blender
Dazu teilt das KI-System komplexe Modellierungsaufgaben in kleinere Komponenten auf, die von KI-Agenten bearbeitet werden. Der Task-Dispatch-Agent kennt alle verfügbaren Funktionen innerhalb des prozeduralen Generierungssystems und ordnet diese entsprechend der Eingabeaufforderung zu. Diese Information wird an die anderen Agenten weitergegeben.
Der Conceptualization Agent hat die Aufgabe, fehlende Details und Ungenauigkeiten im Originaltext zu erkennen und zu korrigieren. Welche Farbe sollen die Blüten eines Baumes haben? Um welche Bäume handelt es sich und wie lang sind die Äste? Der Agent ergänzt also die vom Menschen gegebene Beschreibung um die notwendigen Details.
Alle Informationen werden dann an den Modeling Agent weitergeleitet, der aus der erweiterten Eingabeaufforderung, den zugehörigen Funktionen und der Dokumentation der Tool-Funktionalität Python-Code schreibt, der direkt die 3D-Software steuert und so die 3D-Inhalte erzeugt.
3D-GPT zeigt das Potenzial von KI für die 3D-Entwicklung
An einigen Beispielen zeigen die Forschenden, dass der Ansatz eine präzise Steuerung durch prozedurale Generierung ermöglichen kann. Dies könne den Arbeitsaufwand erheblich reduzieren, da viele Parameter nicht mehr manuell definiert werden müssen.
Video: Sun, Han et al.
Video: Sun, Han et al.
Diese Abhängigkeit von prozeduralen Rendering-Algorithmen sei jedoch auch eine Einschränkung von 3D-GPT, schreibt das Team. Das Potenzial in bestimmten Modellierungskategorien, wie etwa Haare oder Fell, sei daher begrenzt. Außerdem könne 3D-GPT einige fortgeschrittene Funktionen von 3D-Software noch nicht steuern, sodass die Manipulation von Ästen oder das Mischen von Farben und Texturen eine Herausforderung bleibe.
Mehr Informationen und den Code gibt es auf der Projektseite von 3D-GPT.
KI-News ohne Hype
Von Menschen kuratiert.
- Mehr als 20 Prozent Launch-Rabatt.
- Lesen ohne Ablenkung – keine Google-Werbebanner.
- Zugang zum Kommentarsystem und Austausch mit der Community.
- Wöchentlicher KI-Newsletter.
- 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
- Bis zu 25 % Rabatt auf KI Pro Online-Events.
- Zugang zum kompletten Archiv der letzten zehn Jahre.
- Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.