KI-Kunst ist immer dann groß, wenn Mensch und Maschine zusammenarbeiten. Doch die Kooperation kann auch einen Einblick in die kreativen Kapazitäten neuronaler Netze geben. Ein Künstler stellt sich die Frage: Was sieht GPT-3? Und er findet Antworten.
Der indische Künstler und Designer Fabin Rasheed arbeitet an der „Schnittstelle von Kreativität und Technologie“ und kooperierte bereits mit Unternehmen wie Xerox Research und Adobe. Rasheed nutzt für seine Kunst neue Technologien, darunter auch Augmented Reality, Virtual Reality und Künstliche Intelligenz.
Rasheed hat etwa mit Greenscreen-Videos in AR experimentiert oder mit seinem „Pilgrimage“ genannten Projekt die erste „Location-based AR Crypto-Kunst“ geschaffen: Neun 3D-Figuren, die Interessierte nur freischalten können, indem sie zu neun verschiedenen Orten auf dem Globus reisen.
Abseits von AR-Kunst hat der Künstler an einigen KI-Projekten gearbeitet. In seiner Kooperation mit Adobe hat er etwa neue digitale Brushes mit KI generiert, darunter einen Lava-Pinsel und den „Character Action Brush“, der aus Strichfiguren direkt Charakterillustrationen generiert.
| Via: Nurecas.com
Zusammen mit dem KI-Ingenieur Sleeba Paul hat Rasheed außerdem die Instagram-Künstlerin Auria Kathi geschaffen. Der Name ist eine Anspielung auf „AI Haiku Art“.
Kathi ist eine Künstliche Intelligenz, die aus kurzen Gedichten Bilder generiert. Die beiden Künstler haben dafür ein neuronales Netz (Erklärung) mit Kurzgedichten trainiert und dem Netz so beigebracht, knappe Textschnipsel zu generieren.
Ein GAN-Netzwerk (Erklärung) erstellt anschließend aus der kurzen Poesie Gemälde. Ein drittes Netz verpasst dem Endprodukt anschließend noch Farben, die den Emotionen im Text entsprechen sollen. Das Netz wurde dafür mit dem "WikiArt Emotions Dataset" trainiert, einem Datensatz von knapp 4.000 Kunstwerken, der Annotationen für die beim Beboachter hervorgerufenen Emotionen enthält.
Im ähnlichen Projekt Ode verknüpft Rasheed KI-generierte Kunstwerke, KI-Poesie und KI-Musik zu beindruckenden Gesamtkunstwerken. Eine Ode an die kreative Kraft, die sich entfaltet, wenn KI und Mensch zusammenarbeiten. Und in seinem "Watercolor Imaginarium" untersucht Rasheed, was eine KI in KI-generierten Aquarell-Gemälden sieht.
| Via: Nurecas.com
Einblicke in GPT-3
In seinem jüngsten Projekt widmet sich der indischen Künstler jetzt der Text-KI GPT-3 von OpenAI. Nutzer können GPT-3 über ein Art Chat-Interface Texteingaben als Arbeitsbeispiele zur Verfügung stellen. Durch das Few-Shot-Learning (Erklärung) kann die KI so erkennen, was von ihr gewollt ist und passt ihre Ausgabe den Beispielen an. Die können beispielsweise HTML-Code, Gedichte, Übersetzungen oder Frage-Antwort-Paare sein.
Rasheeds „GPT3 Sees“-Projekt erkundet diese Fähigkeit aus künstlerischer Perspektive und liefert Beispiele für Bild-Generierung, betreutes Malen und einen GIF-Filmgenerator.
Im ersten Experiment fütterte Rasheed GPT-3 mit einfachem SVG-Code für simple 2D-Zeichnungen und ließ die KI anschließend eigenen Code generieren. Eine der ersten Ausgaben war eine 2D-Darstellung, die an eine alte Diskette erinnert und „den Eindruck von Nostalgie in der Maschine vermittelt“, sagt Rasheed.
In einem anderen Experiment nutzte der Künstler Frage-Antwort-Paare, um simple Zeichenanleitungen für die Form gängiger Objekte und bekannter Tiere zu generieren. Die Beschreibungen setzte Rasheed anschließend per Hand in Zeichnungen um.
Die Ergebnisse schwanken zwischen beunruhigend und beeindruckend und zeigen, dass GPT-3 offenbar Formen in seinem riesigen Netzwerk repräsentiert, obwohl die KI nur mit Textzeichen trainiert wurde.
Betreutes Malen mit GPT-3
In Rasheeds zweitem GPT-3-Projekt ließ der Künstler die Text-KI eine Schritt-für-Schritt Anleitung für ein Gemälde generieren und folgte ihr als Maler.
Als Input nutzte Rasheed: „The machine was talking to the human. The human said, ‘let me be your eyes and hands, and you be my imagination. Let us paint a picture together. Tell me what to paint and I will digitally paint it.’ The machine replied: ‘Ok here it goes:”
GPT-3 generierte anschließend einen Text, der diese Geschichte fortführt. Der Text enthält eine Anleitung für ein Gemälde und am Ende eine Passage, in der GPT-3 die Bedeutung des Kunstwerks für den Künstler reflektiere, schreibt Rasheed.
The girl in the painting was looking at the machine with admiration. The machine had drawn the best picture for the girl in the world. The girl said, "Now that I am a painter, my life has meaning"! Thanks to you, I have a purpose in life!" Before, I had to live, but now, I have a purpose!" - GPT3
Für sein drittes GPT-3-Projekt ließ Rasheed die Text-KI Kurzgeschichten schreiben. Anschließend fütterte er diese Satz für Satz in eine GIF-Suche und legte die einzelnen animierten Clips zu einem gesamten Clip zusammen.
„Das Projekt wirft direkt viele Fragen über die Zukunft von Filmen und ihre Produktion auf“, schreibt Rasheed. In einem weiteren Schritt automatisierte er den Prozess mit „Meme Flix“, einer Schnittstelle, die „Meme-Filme“ automatisch erstellt. Damit könne man auf Abruf neue Geschichten und Filme erstellen, mit der „Aussagekraft und dem Überraschungsfaktor, den Meme mit sich bringen.“
Titelbild: Nurecas.com
