KI-gestützte Bildskalierung wurde bislang auf pixelige Retro-Computerspiele und -Videos angewandt, um sie mit geringem Aufwand ins HD-Zeitalter zu übertragen. Ein Twitter-Nutzer hat die Technik jetzt für die Rekonstruktion verpixelter Videos menschlicher Gesichter benutzt.
Künstliche Intelligenz kann Bilder erkennen, generieren - und die Auflösung verbessern. In der Videospielbranche ist die Technologie bereits angekommen: Nvidias KI-Hochrechner DLSS skaliert so niedrigere Auflösungen für hochauflösende Bildschirme. Das soll tolle Grafik auf langsameren PCs ermöglichen.
Auch Spieleklassiker wie Zelda, Doom, Morrowind oder Resident Evil profitieren von KI-Skalierung: Eifrige Modder haben den alten Pixelmatsch auf die vierfache Auflösung hochrechnen lassen für eine fast schon moderne Optik im Stil eines HD-Remakes. Für gewöhnlich müsste hier ein Mensch viel Arbeit investieren und neue, detailliertere Texturen erstellen. Mittlerweile gibt es KI-Texturen auch für neuere Titel wie Fallout 4.
Aus Pixelmatsch entstehen Gesichter
KI-Forscher arbeiten eifrig an weiteren Anwendungen für KI-Skalierung. Eine Gruppe hat jetzt in einer neuen Forschungsarbeit niedrig aufgelöste Porträts in hochauflösendere Gesichter verwandelt.
Für die Gesichtsskalierung trainierten die Forscher ein GAN-Netzwerk mit etwa 160.000 Gesichtern in mehreren Stufen. Zuerst lernte die KI die doppelte, dann die vierfache und zuletzt die achtfache Skalierung der Gesichter.
Am Ende des Trainings konnte sie 16 mal 16 Pixel große Porträts auf 128 mal 128 Pixel hochrechnen. Die Ergebnisse kommen dem Ursprungsbild schon recht nahe.
Wie wär‘s mit Videos?
Twitter-Nutzer Jonathan Fly hat die KI nun genutzt, um ein 16-Pixel-Video hochzurechnen. Das Ergebnis ist zwar als Mensch zu erkennen. Aber es zeigt auch, dass die KI nur für Einzelbilder und nicht für zusammenhängenden Videos gemacht wurde – von Bild zu Bild verändert sich das Gesicht.
Wer das Video auf 0,25-facher Geschwindigkeit laufen lässt, kann der KI beim Arbeiten zusehen. Eine Optimierung des Algorithmus für Videos dürfte wohl nur eine Frage der Zeit sein.
