GANs können Bilder generieren, Videos faken und Musik machen. Jetzt bauen sie auch Minecraft-Welten.
Generative Adversarial Networks sind das kreative Aushängeschild der KI-Entwicklung: Sie generieren Musik, fotorealistische Bilder und Kunstwerke und sind die Kerntechnologie hinter Deepfakes.
Die kreativen Fähigkeiten der GANs finden ihren Weg auch mehr und mehr in den Videospielbereich: Forscher tauschen den Grafikstil von GTA 5 gegen Fotorealismus aus und ein YouTuber generierte kürzlich mit Nvidias Videospiel-Klonsystem Game GAN den GTA-5-KI-Klon „GAN Theft Auto“.
Forscher der Leibniz Universität Hannover zeigen nun mit World-GAN, dass GAN-Technologie auch für die Generierung von Spielewelten in Minecraft taugt.
KI-Hilfe für prozedurale Generierung
Die prozedurale Generierung von Inhalten wird seit Jahrzehnten in Videospielen eingesetzt, etwa in Elder Scrolls II: Daggerfall, Minecraft und jüngst No Man’s Sky. Grundlage für die Generierung der virtuellen Welten sind regelbasierte Algorithmen.
Während aktuelle KI-Fortschritte bereits zu KI-gestützten Generatoren für 2D-Umgebungen etwa für Super Mario Bros. geführt haben, gab es bisher keine solchen Generatoren für 3D-Umgebungen.
World-GAN ändert das: Das KI-System lernt auf Grundlage menschengemachter oder generierter Minecraft-Strukturen, neue 3D-Welten jeder Größe in einem vergleichbaren Stil zu generieren. Das könnte abwechslungsreichere und detailliertere prozedurale Generierung ermöglichen, die an von Menschen erdachte Welten qualitativ aufschließen.
Style-Transfer per Blocktausch
Dafür haben die Forscher World-GAN in mehreren Schritten mit Ausschnitten von Minecraft-Welten trainiert. Der Generator im GAN versucht, glaubwürdige Minecraft-Kopien nachzubauen, der Diskriminator soll unzureichende Fälschungen aufdecken und den Generator so zu besserer Leistung anspornen.
World-GAN greift außerdem auf „block2vec“ zu, eine Repräsentation von allen in einem Biom vorkommenden Blöcken, die die Forscher in einem 32-dimensionalem Vektorraum hinterlegt und nach ihrer Häufigkeit und Nähe zueinander sortiert haben. Das sorgt bei der Generierung für glaubwürdigere Welten.
Durch Austausch der genutzten block2vec-Repräsentation können die Forscher mit World-GAN außerdem den Stil generierter Strukturen ändern.
Auch World-GAN produziert noch Fehler. Als Beispiel nennen die Entwickler Siedlungen, in denen der Algorithmus noch sinnlose Strukturen generiere.
Unter anderem inspiriert von der Minecraft Settlement Generation Challenge, wollen die Forscher World-GAN im nächsten Schritt mit semantischen Regeln verbinden, um so noch glaubwürdigere Welten zu generieren. Mit semantischen Regeln könnten seltsame Generator-Ergebnisse wie Häuser ohne Wände oder in der Decke platzierte Türen der Vergangenheit angehören.
Der Code für World-GAN soll bald auf GitHub verfügbar sein.
Via: Arxiv