Seit Anfang Dezember erkundet die Menschheit die Tiefen des neuronalen Netzes von OpenAIs ChatGPT. Ein Entwickler hat die Dialog-KI dazu gebracht, funktionsfähigen AR-Code auszuspucken.
OpenAIs Dialog-KI ChatGPT ist eigentlich auf die Generierung von Texten und die Beantwortung von Wissensfragen optimiert. Doch die ersten Tests von Anfang Dezember zeigten schnell, dass in dem System mehr steckt als nur ein paar ordentlich formulierte Sätze. Programmiercode beispielsweise.
ChatARKit - AR-Apps von ChatGPT
Der Entwickler Bart Trzynadlowski wollte herausfinden, ob er mit ChatGPT eine AR-App entwickeln kann, die digitale 3D-Objekte eigenständig nur per Sprachbefehl in der Umgebung platziert. Die Sprachbefehle erkennt er ebenfalls per KI-Modell - OpenAIs Whipser - und bringt sie dann als KI-Prompt in die JavaScript-Umgebung der ChatARKit-App.
Das Ergebnis: ChatGPT wählt zum Sprachbefehl passende 3D-Objekte bei Sketchfab aus und platziert sie je nach Aufforderung etwa auf den Schreibtisch oder den Fußboden, skaliert und dreht die 3D-Modelle. Den Code hierfür erzeugt ChatGPT eigenständig.
Laut Trzynadlowski arbeitet ChatGPT jedoch nicht verlässlich. Für identische Befehle erzeuge das KI-Modell sehr unterschiedliche Ausgaben und platziere fehlerhafte JavaScript-Code-Zeilen in der App. Vereinzelt verwandele ChatGPT Objektbeschreibungen in Code-Identifier, wodurch diese dann nicht mehr bei Sketchfab abgerufen werden könnten.
Trzynadlowski stellt seine ChatGPT-AR-App als Open Source kostenlos bei Github zur Verfügung.
Objektgenerierung in VR per KI-Befehl
Für VR zeigte kürzlich die Entwicklerin Jasmine Roberts eine Implementierung von OpenAIs neuer 3D-KI Point-E: Sie kann wie die Bild-KI DALL-E 2 allein anhand eines Textbefehls 3D-Punktewolken generieren, die ein 3D-Modell repräsentieren. Pro Generierung benötigt Point-E nur rund ein bis zwei Minuten auf einer einzelnen Nvidia V100 GPU. Die Demo von Roberts läuft in Echtzeit.
thrilled our preliminary research on #generativeai in #vr was accepted into #neurips2022
here is a bare-bones "holodeck" #3d implementation real-time in #unity. spoken user commands are compiled at runtime. 3d objects are created, loaded and manipulated via @openai's gpt-3. pic.twitter.com/4xg0FKYkEk
— jasmine roberts (@jasminezroberts) October 20, 2022
Point-E ist für OpenAI ein Startpunkt für weitere Arbeiten in der Text-zu-3D-Synthese. Auch Google mit Dreamfusion oder Nvidia mit Magic3D stellten kürzlich Text-zu-3D-Systeme vor, die bei der weiteren Verbreitung von 3D-Inhalten - eine grundlegende Annahme der Metaverse-These - zukünftig eine wichtige Rolle spielen könnten.
