Googles "Chimera Painter" nimmt einfache Umrisszeichnungen von Tierwesen und erstellt daraus detaillierte Bilder.
Googles KI-Team hat sich für seine neueste Software ein besonders naheliegendes Szenario ausgedacht: Der GAN-basierte "Chimera Painter" kann anhand von Umrissen und groben Zeichnungen von Tiermonstern, sogenannten Chimären, hochwertige Renderings erstellen.
Die Zeichnung könnt ihr in einem MS-Paint-ähnlichen Online-Werkzeug eintragen oder mit einem anderen Programm erstellen und dann hochladen. Ein Klick auf die "Transform"-Schaltfläche macht aus der Skizze eine vollwertige Zeichnung. Die folgende Animation zeigt den Prozess.
Ein wesentlicher Aspekt der Chimera-KI ist, dass sie einzelne Körperteile eines Monsters wie den Kopf, die Augen oder den Rücken segmentieren und individuell generieren kann. Bei den Skizzen stehen die verschiedenen Farben für die unterschiedlichen Körperteile.
Die grundlegende Idee hinter der Software ist, dass die Chimären-Vielfalt durch die Kombination einzelner Tierrassen viel größer ist, als ein Mensch sie jemals zeichnen könnte. Googles KI-Team generierte mit dem Chimera Painter ein Fantasy-Kartenspiel mit vielen unterschiedlichen Tierwesen.
Aufwendige Datenaufbereitung
Während die fertige KI-Software leicht zu bedienen ist und menschlichen Chimären-Zeichnern Zeit sparen könnte, war die Entwicklung des Chimera Painter ein eher aufwendiges Unterfangen.
Die Komplexität der KI-Software liegt insbesondere im Datensatz, den Googles KI-Team gemeinsam mit Künstlern erstellte: Echte Aufnahmen von Chimären existieren bekanntlich nicht und existierende CG-Datensätze erfüllen laut der Google-Forscher ihren Zweck nicht, da Probleme mit Lizenzen existiern, die Stile nicht zueinander passen und den Bildern die Vielfalt fehlt.
Googles KI-Team löste dieses Problem mit einem halbautomatischen Ansatz: Künstler erstellten zunächst einen Satz 3D-Kreaturen für jeden Kreaturentyp, die dann mit zwei Arten von Texturen überzogen wurden, einmal als Vollfarbtextur (links) und eine zweite Version mit einfachen Farben für die Segmentierung der Körperteile (rechts).
Diese 3D-Modelle wanderten dann in die Unreal Engine zum Foto-Shooting: Automatisierte Skripte fotografierten die 3D-Tiere in verschiedenen Posen, aus unterschiedlichen Blickwinkeln und mit zahlreichen Zoom-Stufen.
So kamen mehr als 10.000 beschriftete (Klauen, Rücken, Beine, etc.) Kreaturen-Bilder zusammen für das KI-Training des GA-Netzwerks (Erklärung). In der Trainingsphase testete Google verschiedene Parameter und Modelle und verbesserte den Output des Netzwerks anhand des Feedbacks der am Projekt beteiligten Künstler. Sie wählten die aus ihrer Sicht hochwertigsten generierten Bilder aus, die dann wiederum für das KI-Training eines neuen Modells eingesetzt wurden.
Der digitale Pinsel als Assistent statt als Werkzeug
Googles KI-Team hofft, dass der Chimera Painter Künstlern die Arbeit erleichtert insbesondere bei der Ideenentwicklung. Sie könnten iterativ zeichnen, anstatt bei jeder neuen Kreatur mit dem ersten Strich zu starten. Das Projekt solle als Inspiration verstanden werden, künstlerische Tätigkeit neu zu denken und den digitalen Pinsel stärker als Assistenten zu verstehen statt als reines Werkzeug.
Die Chimera Painter Demo könnt ihr hier kostenlos im Browser ausprobieren.
Der Tech-Konzern Nvidia stellte im letzten Sommer ein ähnliches Projekt vor: Mit GauGAN können Künstler fotorealistische und fantastische Landschaften anhand einfacher Skizzen generieren. Trainiert wurde die KI mit Landschaftsaufnahmen bei Flickr. Ein Star-Wars-Zeichner demonstrierte, wie ihm GauGAN bei seiner Arbeit hilft.
Quelle: Google AI Blog
