Inhalt
newsletter Newsletter
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Wie sähe eine fotorealistische Besetzung des Gaming-Klassikers Dark Souls aus? Die Antwort gibt OpenAIs Bild-KI StyleCLIP: Sie verwandelt Dark Souls-Helden in echte Personen.

OpenAI veröffentlichte Anfang 2021 das mit Bild- und Textdaten trainierte KI-Modell CLIP: Das multimodale Modell erkennt, ob eine Bildbeschreibung zu einem Bildinhalt passt. Inspiriert vom gleichzeitig von OpenAI vorgestellten Bildgenerator DALL-E begannen KI-Forschende, CLIP mit GAN-Modellen zu verknüpfen, um anhand von Texteingaben neue Bilder zu generieren.

Im März 2021 entstand so StyleCLIP, eine Kombination aus Nvidias StyleGAN und OpenAIs CLIP. Das KI-Modell kann per Texteingabe gesteuert werden und so etwa Gesichter niedlich machen, Make-up entfernen, Frisuren anpassen oder ein Gesicht in eine Robotervariante verwandeln.

Seitdem experimentieren Künstler mit diesem und ähnlichen KI-Systemen. Ende August zeigte etwa Sasha Toksubaev bei Twitter die Helden von Street Fighter als Porträts echter Menschen.

Anzeige
Anzeige

In den meisten Fälllen sind die Anwender:innen nicht auf KI spezialisiert, sondern hantieren mit frei verfügbaren Open Source-Werkzeugen. Dennoch sind die Ergebnisse visuell oft hochwertig und vergleichsweise leicht zu erreichen - das zeigt die Fortschritte bei bildgebenden KI-Verfahren der letzten Monate.

Ein Videospielcharakter und sein KI-generiertes Porträt
Die Bild-KI StyleCLIP verwandelt Dark Souls-Videospielfiguren in real wirkende Menschen, zum Beispiel den Kultcharakter Solaire of Astora. | Bild: Illusory Wall, YouTube

Dark Souls: StyleCLIP erzeugt täuschend echte Helden-Gesichter

Jetzt zeigt der YouTube-Kanal Illusory Wall, wie Charaktere aus Dark Souls als echte Menschen aussähen. Der Kanal ist auf Dark Souls und andere FromSoftware-Titel spezialisiert, die KI-Konvertierung ist das erste vorgestellte Machine-Learning-Projekt. Wie auch Toksubaev bei Street Fighter setzt Illusory Wall auf StyleCLIP, um die digitalen Gesichter der Dark Souls-Charaktere in real aussehende Porträtaufnahmen zu verwandeln.

Ein Videospielcharakter und sein KI-generiertes Porträt
Die Schwester sieht auch als echte Person gewohnt kränklich aus. | Bild: Illusory Wall, YouTube

In vielen Fällen sind die generierten Porträts beeindruckend nahe an ihrem digitalen Vorbild, zumal Dark Souls grafisch keine qualitativ hochwertige Charaktermodelle bietet, StyleCLIP also bei der Bildgenerierung noch mehr Erfindungsreichtum beweisen muss: Petrus von Thorolund behält seinen charakteristischen Topfschnitt, Quelaags Schwester sieht gewohnt kränklich aus und der Schmied hat struppiges weißes Haar.

Ein Videospielcharakter und sein KI-generiertes Porträt
Petrus hat die Haare schön. | Bild: Illusory Wall, YouTube

Die Idee für sein Projekt hatte der YouTuber laut eigenen Angaben nach einem Video der Visual-Effects-Spezialisten von Corridor Crew, die schon mehrfach mit KI-Technologien wie Deepfakes experimentierten.

Der Schmied aus Dark Souls als reale Person
Ähnlichkeiten mit Personen, die womöglich einmal gelebt haben oder auch nicht, sind rein zufällig und von der KI definitiv vielleicht nicht gewollt. | Bild: Illusory Wall, YouTube

Mit Monstern kommt StyleCLIP dagegen weniger gut klar, auch wenn die Ergebnisse, gemessen am Ausgangsmaterial, fantastisch fantasievoll sind: Wer hätte gedacht, dass das Geisterbaby in der Realität mit schickem Schnorres kommt.

Empfehlung
Ein Videospielcharakter und sein KI-generiertes Porträt
Was ist gruseliger, das Original oder die Mensch-Interpretation der KI? Die Jury vertagt die Entscheidung. | Bild: Illusory Wall, YouTube

StyleCLIP und Co. - KI-Kreativität leich gemacht

Alle KI-Gesichtsumwandlungen gibt es im Video von Illusory Wall zu sehen. In dem berichtet der YouTuber auch detailliert über die Probleme, die KI-Bildgenerierung mit StyleCLIP noch hat - etwa bei Monstern oder Haaren. Illusory Wall plant weitere Experimente mit Charakteren aus anderen FromSoftware-Titeln.

Wer selber mit CLIP-GAN-Systemen experimentieren will, findet hier eine Anleitung für Bigsleep, eine Kombination aus CLIP und Nvidias BigGAN. StyleCLIP direkt ist als Open Source-Software bei Github verfügbar. Die von Illusory Wall genutzte StyleCLIP-Implementation findet ihr bei Colab.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Weiterlesen über visuelle Künstliche Intelligenz:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!