Wie sähe eine fotorealistische Besetzung des Gaming-Klassikers Dark Souls aus? Die Antwort gibt OpenAIs Bild-KI StyleCLIP: Sie verwandelt Dark Souls-Helden in echte Personen.
OpenAI veröffentlichte Anfang 2021 das mit Bild- und Textdaten trainierte KI-Modell CLIP: Das multimodale Modell erkennt, ob eine Bildbeschreibung zu einem Bildinhalt passt. Inspiriert vom gleichzeitig von OpenAI vorgestellten Bildgenerator DALL-E begannen KI-Forschende, CLIP mit GAN-Modellen zu verknüpfen, um anhand von Texteingaben neue Bilder zu generieren.
Im März 2021 entstand so StyleCLIP, eine Kombination aus Nvidias StyleGAN und OpenAIs CLIP. Das KI-Modell kann per Texteingabe gesteuert werden und so etwa Gesichter niedlich machen, Make-up entfernen, Frisuren anpassen oder ein Gesicht in eine Robotervariante verwandeln.
Seitdem experimentieren Künstler mit diesem und ähnlichen KI-Systemen. Ende August zeigte etwa Sasha Toksubaev bei Twitter die Helden von Street Fighter als Porträts echter Menschen.
In den meisten Fälllen sind die Anwender:innen nicht auf KI spezialisiert, sondern hantieren mit frei verfügbaren Open Source-Werkzeugen. Dennoch sind die Ergebnisse visuell oft hochwertig und vergleichsweise leicht zu erreichen - das zeigt die Fortschritte bei bildgebenden KI-Verfahren der letzten Monate.
Dark Souls: StyleCLIP erzeugt täuschend echte Helden-Gesichter
Jetzt zeigt der YouTube-Kanal Illusory Wall, wie Charaktere aus Dark Souls als echte Menschen aussähen. Der Kanal ist auf Dark Souls und andere FromSoftware-Titel spezialisiert, die KI-Konvertierung ist das erste vorgestellte Machine-Learning-Projekt. Wie auch Toksubaev bei Street Fighter setzt Illusory Wall auf StyleCLIP, um die digitalen Gesichter der Dark Souls-Charaktere in real aussehende Porträtaufnahmen zu verwandeln.
In vielen Fällen sind die generierten Porträts beeindruckend nahe an ihrem digitalen Vorbild, zumal Dark Souls grafisch keine qualitativ hochwertige Charaktermodelle bietet, StyleCLIP also bei der Bildgenerierung noch mehr Erfindungsreichtum beweisen muss: Petrus von Thorolund behält seinen charakteristischen Topfschnitt, Quelaags Schwester sieht gewohnt kränklich aus und der Schmied hat struppiges weißes Haar.
Die Idee für sein Projekt hatte der YouTuber laut eigenen Angaben nach einem Video der Visual-Effects-Spezialisten von Corridor Crew, die schon mehrfach mit KI-Technologien wie Deepfakes experimentierten.
Mit Monstern kommt StyleCLIP dagegen weniger gut klar, auch wenn die Ergebnisse, gemessen am Ausgangsmaterial, fantastisch fantasievoll sind: Wer hätte gedacht, dass das Geisterbaby in der Realität mit schickem Schnorres kommt.
StyleCLIP und Co. - KI-Kreativität leich gemacht
Alle KI-Gesichtsumwandlungen gibt es im Video von Illusory Wall zu sehen. In dem berichtet der YouTuber auch detailliert über die Probleme, die KI-Bildgenerierung mit StyleCLIP noch hat - etwa bei Monstern oder Haaren. Illusory Wall plant weitere Experimente mit Charakteren aus anderen FromSoftware-Titeln.
Wer selber mit CLIP-GAN-Systemen experimentieren will, findet hier eine Anleitung für Bigsleep, eine Kombination aus CLIP und Nvidias BigGAN. StyleCLIP direkt ist als Open Source-Software bei Github verfügbar. Die von Illusory Wall genutzte StyleCLIP-Implementation findet ihr bei Colab.
