Skip to content
Subscribe now
Forschung
URL in die Zwischenablage kopieren
Artikel teilen Zum Kommentarbereich

KI-Skalierung: KI rekonstruiert aus verpixelten Aufnahmen Gesichter

Maximilian Schreiner
Maximilian Schreiner View the LinkedIn Profile of Maximilian Schreiner
4. September 2019
Image description

KI-gestützte Bildskalierung wurde bislang auf pixelige Retro-Computerspiele und -Videos angewandt, um sie mit geringem Aufwand ins HD-Zeitalter zu übertragen. Ein Twitter-Nutzer hat die Technik jetzt für die Rekonstruktion verpixelter Videos menschlicher Gesichter benutzt.

Künstliche Intelligenz kann Bilder erkennen, generieren - und die Auflösung verbessern. In der Videospielbranche ist die Technologie bereits angekommen: Nvidias KI-Hochrechner DLSS skaliert so niedrigere Auflösungen für hochauflösende Bildschirme. Das soll tolle Grafik auf langsameren PCs ermöglichen.

Auch Spieleklassiker wie Zelda, Doom, Morrowind oder Resident Evil profitieren von KI-Skalierung: Eifrige Modder haben den alten Pixelmatsch auf die vierfache Auflösung hochrechnen lassen für eine fast schon moderne Optik im Stil eines HD-Remakes. Für gewöhnlich müsste hier ein Mensch viel Arbeit investieren und neue, detailliertere Texturen erstellen. Mittlerweile gibt es KI-Texturen auch für neuere Titel wie Fallout 4.

Die KI rechnet alte Texturen hoch und gibt so angestaubten Klassikern einen neuen Anstrich.
Die KI rechnet alte Texturen in Morrowind hoch und gibt so angestaubten Klassikern einen neuen Anstrich. Wie ein menschlicher Künstler ergänzt sie bei den Texturen neue Details, anstatt nur farblich ähnliche Pixel zu vervielfachen.

Aus Pixelmatsch entstehen Gesichter

KI-Forscher arbeiten eifrig an weiteren Anwendungen für KI-Skalierung. Eine Gruppe hat jetzt in einer neuen Forschungsarbeit niedrig aufgelöste Porträts in hochauflösendere Gesichter verwandelt.

Für die Gesichtsskalierung trainierten die Forscher ein GAN-Netzwerk mit etwa 160.000 Gesichtern in mehreren Stufen. Zuerst lernte die KI die doppelte, dann die vierfache und zuletzt die achtfache Skalierung der Gesichter.

Am Ende des Trainings konnte sie 16 mal 16 Pixel große Porträts auf 128 mal 128 Pixel hochrechnen. Die Ergebnisse kommen dem Ursprungsbild schon recht nahe.

Die Rekonstruktion kann sich sehen lassen und liegt vor allen bisher bekannten Verfahren. Bild: Kim et al.
Die Porträt-Rekonstruktion aus Pixelaufnahmen liefert gute Ergebnisse: Die Menschen sind eindeutig wiedererkennbar. Bild: Kim et al.

Wie wär‘s mit Videos?

Twitter-Nutzer Jonathan Fly hat die KI nun genutzt, um ein 16-Pixel-Video hochzurechnen. Das Ergebnis ist zwar als Mensch zu erkennen. Aber es zeigt auch, dass die KI nur für Einzelbilder und nicht für zusammenhängenden Videos gemacht wurde – von Bild zu Bild verändert sich das Gesicht.

Wer das Video auf 0,25-facher Geschwindigkeit laufen lässt, kann der KI beim Arbeiten zusehen. Eine Optimierung des Algorithmus für Videos dürfte wohl nur eine Frage der Zeit sein.

Quellen: Arxiv.org, Twitter

KI-News ohne Hype
Von Menschen kuratiert.

  • Mehr als 20 Prozent Launch-Rabatt.
  • Lesen ohne Ablenkung – keine Google-Werbebanner.
  • Zugang zum Kommentarsystem und Austausch mit der Community.
  • Wöchentlicher KI-Newsletter.
  • 6× jährlich: „KI Radar“ – Deep-Dives zu den wichtigsten KI-Themen.
  • Bis zu 25 % Rabatt auf KI Pro Online-Events.
  • Zugang zum kompletten Archiv der letzten zehn Jahre.
  • Die neuesten KI‑Infos von The Decoder – klar und auf den Punkt.
The Decoder abonnieren