Update vom 17. April 2021:
Die Forscher hinter GANcraft sind mit ihrer Projektseite und dem Studienpapier online gegangen. Wie vermutet, kann GANcraft eine semantisch beschriebene digitale Blockwelt wie die aus Minecraft in eine neue 3D-Welt konvertieren, die das gleiche Layout mit fotorealistischer Grafik bietet. Die Konvertierung unterstützt beliebige Blickwinkel und unterschiedliche Stile wie beispielsweise Sonnenauf- und untergang.
Außerdem ist GANCraft nicht auf Trainingsdaten angewiesen, die eine Blockwelt-Szene samt einer passenden Realwelt-Aufnahme beispielsweise aus dem Internet beinhalten. Stattdessen verwendeten die Forscher KI-generierte fiktionale Landschaftsfotos, um der KI den Unterschied zwischen Blockwelt und realer Szene beizubringen. Die Generierung dieser fiktionalen Landschaftsfotos erfolgt dabei entlang der segmentierten Blockwelt-Szenen ähnlich wie beim unten beschriebenen GauGAN.
Laut der Forscher vereinfacht GANcraft den Prozess der 3D-Modellierung komplexer Landschaftsszenen, der ohne GAN-Unterstützung "jahrelanges Fachwissen" benötige.
Ursprünglicher Artikel vom 14. April 2021:
Minecraft-Fans aufgepasst: Nvidia entwickelt ein KI-Werkzeug, das aus simplen Blockwelten grafisch detaillierte Welten generiert. Der kurze Teaser könnte ein Vorgeschmack auf ein mächtiges Werkzeug für Spieleentwickler sein.
Künstliche Intelligenz verändert die Spieleindustrie: Sie verbesserte alte Texturen, generiert synthetische Stimmen für überzeugendere Dialoge oder rechnet Pixelmatsch in schöne Grafik - bei deutlichem Leistungsgewinn.
Doch diese neuen Werkzeuge und Möglichkeiten sind erst der Anfang: Nvidia forscht seit einigen Jahren an vollständig KI-generierten Welten.
Während Entwickler in einer klassischen Spieleengine Texturen, Sounds, Leveldesign und andere Elemente aufwendig per Hand erstellen, speichern und anschließend in Echtzeit rendern lassen müssen, könnte KI in Zukunft viele Inhalte oder gar das ganze Spiel in Echtzeit generieren. Das würde die Spieleentwicklung und -berechnung grundlegend verändern.
Erste Prototypen für so eine Computerwelt-KI hat Nvidia mit einem KI-generierten 3D-Straßenzug und einem von GameGAN generierten Pacman bereits gezeigt. Beide Experimente setzen auf GAN-Netze (Erklärung), die vor allem durch ihre Fähigkeit, fotorealistische Bilder von Gesichtern, Nahrung oder Tieren generieren zu können, bekannt geworden sind.
Im Rahmen der GTC 2021 zeigt Nvidia jetzt ein neues GAN-Experiment speziell für Computerwelten: GANcraft.
Minecraft + KI-Zauber = Vorgeschmack auf die Gaming-Zukunft?
In dem wenige Sekunden kurzen Videoausschnitt ist eine an Minecraft erinnernde Blockwelt zu sehen, die sich dank GANcraft in grafisch deutlich detailliertere und abwechslungsreiche Welten verwandelt. In Zukunft könnte die KI – wie es der Name GANcraft nahelegt – den zahlreichen beeindruckenden Minecraft-Welten ein digitales Facelifting verpassen.
Die kurze Demo erinnert an eine 3D-Version von Nvidias GauGAN: Das KI-Werkzeug erstellt aus einfachen Strichzeichnungen realistische Bilder. Künstler nutzen verschiedene Pinsel, die für bestimmte Objektklassen stehen, etwa Grün für Bäume, helles Grün für Wiesen, helles Braun für Holz oder dunkles Braun für Fels. Mit insgesamt 20 verschiedenen Pinseln können sie simple Skizzen zeichnen, die GauGAN dann etwa in passende realistische Gebirgszüge mit bewaldeten Hängen und einem Wasserfall verwandelt.
GANcraft dürfte nach einem ähnlichen Prinzip funktionieren: Die KI nimmt einfache Farb- und Forminformationen auf und verwandelt sie in realistische, detaillierte 3D-Objekte - das legt jedenfalls der kurze Teaser nahe. Aus einem rudimentären Block-Baum wird eine dichte Tanne, aus einer grünen Fläche eine blühende Wiese.
Mit so einer Technik ausgerüstet, müssten Entwickler und Designer Spielewelten in Zukunft nur noch visuell andeuten. Die detaillierte Ausgestaltung übernimmt die KI. Das könnte viel Zeit sparen.
Die Qualität von GANcraft lässt sich im kurzen Video nicht abschließend beurteilen. Auf den ersten Blick wirkt die Grafik nicht so detailliert, wie man sie von modernen Videospielen heute kennt, aber der Detailgrad würde beispielsweise für die Bodengrafik eines Flugsimulators taugen, bei dem die Fläche wichtiger ist als die einzelnen Objekte.
Eine ausführliche Vorstellung von GANcraft könnte Nvidia für die nächsten Tage im Rahmen der GTC planen. Doch schon der kurze Ausschnitt zeigt, wo die Reise hingeht: Das KI-Upscaling DLSS ist erst der Anfang einer technologischen Revolution – KI im Gaming wird groß.
Titelbild: Nvidia
