Forschende zeigen 3D-GPT, ein KI-Modell, das 3D-Welten über Prompting und Blender generiert.
Das Team sieht in 3D-GPT eine mögliche Unterstützung für klassische prozedurale Methoden, die 3D-Inhalte über anpassbare Parameter und regelbasierte Systeme generieren.
3D-GPT nutzt stattdessen große Sprachmodelle von OpenAI, um natürliche Sprachanweisungen von Menschen für die prozedurale 3D-Generierung zu interpretieren.
3D-GPT setzt auf Chatbot-Agenten und Blender
Dazu teilt das KI-System komplexe Modellierungsaufgaben in kleinere Komponenten auf, die von KI-Agenten bearbeitet werden. Der Task-Dispatch-Agent kennt alle verfügbaren Funktionen innerhalb des prozeduralen Generierungssystems und ordnet diese entsprechend der Eingabeaufforderung zu. Diese Information wird an die anderen Agenten weitergegeben.
Der Conceptualization Agent hat die Aufgabe, fehlende Details und Ungenauigkeiten im Originaltext zu erkennen und zu korrigieren. Welche Farbe sollen die Blüten eines Baumes haben? Um welche Bäume handelt es sich und wie lang sind die Äste? Der Agent ergänzt also die vom Menschen gegebene Beschreibung um die notwendigen Details.
Alle Informationen werden dann an den Modeling Agent weitergeleitet, der aus der erweiterten Eingabeaufforderung, den zugehörigen Funktionen und der Dokumentation der Tool-Funktionalität Python-Code schreibt, der direkt die 3D-Software steuert und so die 3D-Inhalte erzeugt.
3D-GPT zeigt das Potenzial von KI für die 3D-Entwicklung
An einigen Beispielen zeigen die Forschenden, dass der Ansatz eine präzise Steuerung durch prozedurale Generierung ermöglichen kann. Dies könne den Arbeitsaufwand erheblich reduzieren, da viele Parameter nicht mehr manuell definiert werden müssen.
Video: Sun, Han et al.
Video: Sun, Han et al.
Diese Abhängigkeit von prozeduralen Rendering-Algorithmen sei jedoch auch eine Einschränkung von 3D-GPT, schreibt das Team. Das Potenzial in bestimmten Modellierungskategorien, wie etwa Haare oder Fell, sei daher begrenzt. Außerdem könne 3D-GPT einige fortgeschrittene Funktionen von 3D-Software noch nicht steuern, sodass die Manipulation von Ästen oder das Mischen von Farben und Texturen eine Herausforderung bleibe.
Mehr Informationen und den Code gibt es auf der Projektseite von 3D-GPT.