Vampire: The Masquerade - Bloodlines ist uralt. Ein Stable-Diffusion-Filter zeigt jetzt, wie ein KI-Remaster aussehen könnte.
Im Jahr 2021 zeigten Forschende von Intel, wie in Zukunft Künstliche Intelligenz eine Art Fotorealismus-Filter über Videospiele legen könnte. In ihrem Beispiel verpasste das Team Grand Theft Auto 5 einen frischen Look: Vegetation, Asphalt oder Autos mit spiegelnden Oberflächen wurden so von einem Netzwerk auf die Pixelgrafik berechnet.
Das Team trainierte ein Netzwerk mit Bildpaaren aus GTA 5-Screenshots und realen Straßenbildern, die ähnliche Inhalte wie ein Fahrrad oder ein Auto enthielten. So lernte das KI-System von Intel, die Bilder zu ersetzen. Objekte und Szenen, die im Trainingsdatensatz seltener vorkamen, wurden durch die Methode weniger überzeugend dargestellt.
Dennoch zeigte das Beispiel das Potenzial von KI-Filtern für 3D-Inhalte, und auch Nvidia und Tesla stellten ähnliche Methoden vor, um beispielsweise Algorithmen für autonomes Fahren zu trainieren.
So könnte ein KI-Remaster von Vampire: The Masquerade – Bloodlines aussehen
Seitdem hat sich viel getan: Diffusionsmodelle haben ältere Bildsynthese-Architekturen abgelöst und können nahezu jedes Objekt und jede Szene fotorealistisch oder stilisiert darstellen. Firmen wie Runway verwenden diese Modelle bereits, um den Stil von Videos mit Image-to-Image-Methoden zu verändern, und in der Open Source-Community gibt es viele Projekte, die Ähnliches mit Videos und 3D-Inhalten versuchen.
Eines davon ist TemporalKit, eine "Komplettlösung für die zeitliche Stabilität eines Stable Diffusion Rendering". In einem Reddit-Post zeigt ein Nutzer nun mit einem KI-Videofilter, wie ein KI-Remaster des Spieleklassikers Vampire: The Masquerade – Bloodlines aus dem Jahr 2004 aussehen könnte. (Ja, das ist fast 20 Jahre her, sorry.)
Video: Many-ad-6225 / Reddit
Aus kantigen Figuren werden fast fotorealistische Personen, Straßenzüge oder Kücheneinrichtungen sehen fast echt aus. Wie bereits aus anderen Beispielen bekannt, kämpft Stable Diffusion noch etwas mit der Zeitstabilität.
Effizientere Architekturen und hybride Ansätze könnten KI-Filter ermöglichen
Das "Remaster" von Bloodlines ist zwar nur ein Video, zeigt aber, wie Studios oder Modding-Communities in Zukunft alte Klassiker visuell neu auflegen könnten. Mit den generativen Fähigkeiten von Modellen wie Stable Diffusion könnten Nutzer:innen sogar ihren eigenen Remaster-Stil bestimmen.
Ein Hindernis ist die Performance, denn selbst mit den derzeit schnellsten Grafikkarten kann Stable Diffusion noch keine 60 Bilder pro Sekunde erzeugen. Stattdessen könnten in Zukunft wohl effizientere Architekturen wie OpenAI Consistency Models oder ein hybrider Ansatz, der auf Intels Arbeit 2021 aufbaut und das Problem fehlender Trainingsdaten mit einem generativen KI-Modell löst, zum Einsatz kommen.
Mehr über Künstliche Intelligenz für Computergrafik gibt’s in unserem DEEP MINDS KI-Podcast zum Thema.
