Ein neuer Übersichtsartikel gibt einen detaillierten Einblick in Methoden, Datensätze und Anwendungen, wie KI die 3D-Entwicklung grundlegend verändern könnte.
Die Erstellung von 3D-Modellen hat durch den Einsatz von neuronalen Repräsentationen und generativen KI-Modellen viele neue Möglichkeiten gewonnen.
Ein neues Übersichtspapier bietet einen strukturierten Einblick in die zugrundeliegenden Methoden, Datensätze und Anwendungen im Bereich der Generierung von 3D-Inhalten.
Interessant ist die enorme Vielfalt und Komplexität der Methoden und Techniken, die sich innerhalb kürzester Zeit entwickelt haben. Die Autoren sprechen von einem "explosiven Wachstum" mit wöchentlichen oder sogar täglichen Neuentwicklungen.
Sie unterteilen das Feld in vier Hauptaspekte:
- 3D-Repräsentationen,
- Generierungsmethoden,
- Datensätze
- und verschiedene Anwendungen.
Nach Ansicht der Autoren kann die 3D-Generierung in nahezu allen Bereichen von Nutzen sein, in offensichtlichen Anwendungen wie Spielen und virtueller Realität, aber auch im Film oder in der Robotik.
Die Anwendungsgebiete reichen von der Erzeugung virtueller Menschen über realistische Gesichter bis zu einzelnen 3D-Objekten oder ganzen 3D-Szenen.
Neben der 3D-Generierung werden auch 3D-Editing-Aufgaben behandelt, die sich in globales und lokales Editieren unterteilen lassen.
Globales Editieren zielt darauf ab, das Aussehen oder die Geometrie der gesamten 3D-Szene zu verändern. Lokale Bearbeitung konzentriert sich auf die Änderung eines bestimmten Bereichs einer Szene oder eines Objekts.
Beispiele für globale Bearbeitungsaufgaben sind die Stilisierung und die Manipulation einzelner Objekte, während lokale Bearbeitungsaufgaben die Manipulation des Erscheinungsbildes, die Verformung der Geometrie und das Duplizieren/Löschen von Objekten umfassen.
Herausforderung 3D-Daten
Die Studie diskutiert auch die verfügbaren Datensätze im Bereich der 3D-Generierung. Die Autoren betonen die Bedeutung großer und vielfältiger Datensätze für die Entwicklung von KI-gestützten 3D-Generierungsmethoden.
Zwar gibt es bereits zahlreiche Datensätze, die für das Training von Modellen für die 3D-Generierung verwendet werden können. Sie sind jedoch häufig auf bestimmte Anwendungen oder Domänen beschränkt oder einfach nur klein.
Ein Grund dafür ist, dass 3D-Daten im Gegensatz zu Text oder Bildern nicht so einfach erfasst werden können. 3D-Künstler und -Designer würden viel Zeit damit verbringen, hochwertige 3D-Inhalte zu erstellen.
Außerdem können 3D-Daten in Maßstab, Qualität und Stil sehr unterschiedlich sein, was die Komplexität der Datenerfassung erhöht. Die Standardisierung unterschiedlicher 3D-Daten benötige neue Regeln.
Weitere Herausforderungen seien die Entwicklung besserer Metriken zur objektiven Bewertung der Qualität und Vielfalt der generierten Modelle, die Erstellung umfangreicher, qualitativ hochwertiger 3D-Datensätze und die Nutzung von 2D-Daten für die 3D-Generierung.