Nvidia stellt die nächste Stufe des Bild-KI-Modells GauGAN vor: GauGAN2 kann dank Multimodalität schon anhand eines kurzen Textes ein fotorealistisches Landschaftsbild generieren.
Im Frühjahr 2019 stellten Nvidia-Forschende das neuronale GA-Netzwerk GauGAN vor, das aus einfach zusammengestellten segmentierten Farbflächen fotorealistische Landschaften generieren kann. Künstler:innen nutzen verschiedene Pinsel, die für bestimmte Objektklassen stehen: Ein blauer Fleck am Boden wird zu einem See, oben wird er zu einem Himmel, ein paar grüne Striche lassen einen Wald wachsen und so weiter.
Das funktioniert, weil Nvidias KI-Modell ein grundlegendes Verständnis für den Zusammenhang einzelner Bildelemente auf Landschaftsaufnahmen entwickelt hat, etwa, dass der Himmel nicht auf dem Boden liegt. Trainiert wurde das KI-Modell mit Millionen Landschaftsbildern der Fotoplattform Flickr.
Sprache wird zu Landschaft: Multimodale-KI auf dem Vormarsch
Jetzt stellt Nvidia GauGAN2 vor, das Nachfolgemodell, das nicht mal mehr eine segmentierte Vorzeichnung einer Landschaft benötigt. Stattdessen generiert das KI-Modell Landschaftsaufnahmen rein anhand von Textbeschreibungen.
Eine Beschreibung wie "Sonnenuntergang an einem Strand" generiert ebendiese Szene. Kleine Variationen oder Zusätze im Text verändern das Bild, wenn aus dem Strand etwa ein "steiniger Strand" wird.
Nvidia kombiniert die Texteingabe mit den von GauGAN bekannten Mal-Werkzeugen: Nach der Erstgenerierung einer KI-erdachten Landschaft können einzelne Segmente der Szene mit KI-Pinseln und weiteren Werkzeugen bearbeitet und erweitert werden. Laut Nvidia ist durch diese Multimodalität auch die Generierung von fantastischen Landschaften möglich.
Trainiert wurde GauGAN2 in weniger als einem Monat mit zehn Millionen Landschaftsbildern. Das Modell hat laut Nvidia rund 100 Millionen Parameter und ist rein auf die Generierung von Landschaften eingestellt. Bei der Bildauswahl für das KI-Training achtete Nvidia darauf, dass keine Menschen auf den Bildern zu sehen sind.
Forschungsdemo vefügbar: GauGAN2 selbst testen
Laut Nvidia handelt es sich bei GauGAN2 noch um ein Forschungsprojekt mit dem Ziel, mehre Modalitäten – Text, semantische Segmentierung, Skizze und Stil – in einem KI-Modell zusammenzuführen. Andere Unternehmen wie OpenAI (DALL-E) oder Alphabet (MUM) experimentieren ebenfalls mit solchen multimodalen KI-Modellen, die Künstliche Intelligenz-Anwendungen in eine flexiblere Zukunft führen sollen.
Trotz des Forschungszwischenstands könnt ihr euch mit der interaktiven Browser-Demo von GauGAN 2 schon als KI-Künstler:in versuchen.
Nvidia führte das erste GauGAN-Modell diesen Sommer mit der Canvas-App als kostenlose Software für RTX-Grafikkarten an den Markt. Es dürfte nur eine Frage der Zeit sein, bis die Multimodalität von GauGAN2 ebenfalls in die Canvas-App oder andere Anwendungen integriert wird.
"Die GauGAN2-Forschungsdemo veranschaulicht die zukünftigen Möglichkeiten für leistungsstarke Bilderzeugungswerkzeuge für Künstler", schreibt Nvidia. Mit dem originalen GauGAN soll der Star-Wars-Künstler Colie Wertz Konzeptzeichnungen fantastischer Landschaften generiert haben.
