Inhalt
summary Zusammenfassung

Forschende zeigen 3D-GPT, ein KI-Modell, das 3D-Welten über Prompting und Blender generiert.

Anzeige

Das Team sieht in 3D-GPT eine mögliche Unterstützung für klassische prozedurale Methoden, die 3D-Inhalte über anpassbare Parameter und regelbasierte Systeme generieren.

3D-GPT nutzt stattdessen große Sprachmodelle von OpenAI, um natürliche Sprachanweisungen von Menschen für die prozedurale 3D-Generierung zu interpretieren.

3D-GPT setzt auf Chatbot-Agenten und Blender

Dazu teilt das KI-System komplexe Modellierungsaufgaben in kleinere Komponenten auf, die von KI-Agenten bearbeitet werden. Der Task-Dispatch-Agent kennt alle verfügbaren Funktionen innerhalb des prozeduralen Generierungssystems und ordnet diese entsprechend der Eingabeaufforderung zu. Diese Information wird an die anderen Agenten weitergegeben.

Anzeige
Anzeige

Der Conceptualization Agent hat die Aufgabe, fehlende Details und Ungenauigkeiten im Originaltext zu erkennen und zu korrigieren. Welche Farbe sollen die Blüten eines Baumes haben? Um welche Bäume handelt es sich und wie lang sind die Äste? Der Agent ergänzt also die vom Menschen gegebene Beschreibung um die notwendigen Details.

3D-GPT erlaubt auch bestehende Szenen über Prompting anzupassen. | Bild: Sun, Han et al.

Alle Informationen werden dann an den Modeling Agent weitergeleitet, der aus der erweiterten Eingabeaufforderung, den zugehörigen Funktionen und der Dokumentation der Tool-Funktionalität Python-Code schreibt, der direkt die 3D-Software steuert und so die 3D-Inhalte erzeugt.

3D-GPT zeigt das Potenzial von KI für die 3D-Entwicklung

An einigen Beispielen zeigen die Forschenden, dass der Ansatz eine präzise Steuerung durch prozedurale Generierung ermöglichen kann. Dies könne den Arbeitsaufwand erheblich reduzieren, da viele Parameter nicht mehr manuell definiert werden müssen.

Video: Sun, Han et al.

Video: Sun, Han et al.

Empfehlung

Diese Abhängigkeit von prozeduralen Rendering-Algorithmen sei jedoch auch eine Einschränkung von 3D-GPT, schreibt das Team. Das Potenzial in bestimmten Modellierungskategorien, wie etwa Haare oder Fell, sei daher begrenzt. Außerdem könne 3D-GPT einige fortgeschrittene Funktionen von 3D-Software noch nicht steuern, sodass die Manipulation von Ästen oder das Mischen von Farben und Texturen eine Herausforderung bleibe.

Mehr Informationen und den Code gibt es auf der Projektseite von 3D-GPT.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Forschende haben 3D-GPT entwickelt, ein KI-Modell, das 3D-Welten mithilfe von Prompting und Blender generiert und Anweisungen in natürlicher Sprache für die prozedurale 3D-Generierung interpretiert.
  • Das KI-System unterteilt komplexe Modellierungsaufgaben in kleinere Komponenten, die von KI-Agenten verwaltet werden, darunter ein Agent für die Aufgabenverteilung, ein Agent für die Konzeptualisierung und ein Agent für die Modellierung.
  • Während der Ansatz den Arbeitsaufwand für die Erstellung von 3D-Inhalten erheblich reduzieren kann, schränkt seine Abhängigkeit von prozeduralen Rendering-Algorithmen sein Potenzial in bestimmten Modellierungskategorien und einigen 3D-Softwarefunktionen ein.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!