Forschende stellen Objaverse-XL vor, einen Datensatz mit über 10 Millionen 3D-Objekten, der die Entwicklung der KI in den Bereichen 3D-Computer Vision und generative KI vorantreiben soll.
Die Entwicklung der KI wurde durch den verbesserten Zugang zu großen Mengen an Trainingsdaten beschleunigt. Dies gilt auch für generative text- und bildbasierte KI-Systeme wie ChatGPT oder Midjourney, die auf großen Datensätzen aus dem Internet trainiert werden.
In der 3D-Computer Vision und der generativen KI für 3D ist es jedoch bisher schwierig, qualitativ hochwertige 3D-Daten zu erhalten,
Objaverse-XL enthält 10 Millionen 3D-Objekte
Um dieses Problem zu lösen, hat ein Forscherteam Objaverse-XL vorgestellt, eine umfangreiche Sammlung von über 10 Millionen 3D-Objekten.
Die Sammlung stammt aus verschiedenen Online-Quellen, darunter Sketchfab, Thingiverse und Polycam, und ist eine zehnfache Erweiterung des im April veröffentlichten Objaverse-Datensatzes.
Damals erklärte Sketchfab, die Daten seien ohne Wissen des Unternehmens oder das der Künstler:innen massenhaft gesammelt worden. Im Februar führte Sketchfab einen NoAI-Tag ein, um dies zu verhindern - zu spät, wie sich herausstellte.
Zero123 ist ein generatives KI-Modell für 3D
Mithilfe von Objaverse-XL haben die Forschenden zudem erfolgreich ein generatives KI-Modell trainiert. Zero123-XL zeige starke Generalisierungsfähigkeiten für eine Reihe komplexer Modalitäten, einschließlich fotorealistischer Assets, Cartoons, Zeichnungen und Skizzen.
Introducing Objaverse-XL, an open dataset of over 10 million 3D objects!
With it, we train Zero123-XL, a foundation model for 3D, observing incredible 3D generalization abilities: 🧵👇
📝 Paper: https://t.co/2oNakoka7v pic.twitter.com/GJnNbOegab
— Matt Deitke (@mattdeitke) July 11, 2023
Laut den Forschenden haben die Experimente vielversprechende Skalierungstendenzen für 3D-Vision-Aufgaben mit Objaverse-XL gezeigt. Sie gehen daher davon aus, dass ein noch größerer Datensatz mit Milliarden von Objekten die potenziellen Fähigkeiten solcher KI-Modelle weiter verbessern würde.
Die Forschenden sind davon überzeugt, dass Objaverse-XL KI für 3D vorantreiben wird, indem es die Leistung aktueller Modelle erheblich verbessert und auch Anwendungen in Bereichen wie Augmented Reality und Virtual Reality ermöglicht.
Objaverse-XL und Zero123 sind das Ergebnis einer Zusammenarbeit zwischen dem Allen AI Institute, der Columbia University, UWCSE, Stability AI, LAION und Caltech.
