Inhalt
newsletter Newsletter

Der Haken von GFP-GAN: Die hochauflösenden Bilder sind ein wenig unheimlich.

Anzeige

GFP-GAN restauriert gering aufgelöste Fotos: Die Bild-KI erkennt auf ihnen ein Gesicht, zoomt auf dieses ein und erzeugt dann ein hochauflösendes Porträtfoto, indem es im Gesicht neue Details ergänzt und den Hintergrund unscharf rendert.

Das GA-Netz, die gleiche Technologie wie etwa bei Deepfakes, erzeugt also basierend auf einer Vorlage ein neues Bild, ergänzt um neue Bildinformationen, die sie aus dem KI-Training zieht. Diese neuen Bildinformationen sind der Haken.

Mein alternatives Ich

Denn trainiert wurde GFP-GAN mit 70000 Porträtaufnahmen aus Nvidias FFHQ Datensatz. Die Aufnahmen stammen von der Fotowebseite Flickr und wurden dort zur freien Verfügung hochgeladen. Bedeutet: In dem von der KI-generierten hochauflösenden Porträtfoto stecken die Gesichter vieler Menschen, und mögen es nur einzelne Pixel sein.

Anzeige
Anzeige
Ein unscharfes Foto links und ein hochauflösendes Foto rechts
Ein circa 14 Jahre altes unscharfes Foto von mir macht die KI beeindruckend scharf. Ich erkenne mich wieder, aber gleichzeitig fallen mir Details auf, die nicht zu mir gehören. | Bild: GFP-GAN / MIXED

Und das fällt auf: Bei Tests mit unscharfen Aufnahmen von mir selbst oder mir bekannten Personen, erkenne ich die Gesichter zwar auch im hochauflösenden KI-Porträt wieder. Gleichzeitig nehme ich aber auf den ersten Blick wahr, dass etwas "nicht ganz passt".

Dieses "Uncanny Valley" dürfte zum einen an der Künstlichkeit der Bilder liegen: Sie sehen deutlich digital nachbearbeitet aus. Zum anderen wird es durch kleinste Abweichungen in der Gesichtsgeometrie oder der Mimik erzeugt.

Eher ein Kunstprojekt also ein KI-Fotorestaurator

Diese Abweichungen fallen mir, wie beschrieben, stark bei Menschen auf, die ich kenne. Hier habe ich das Gefühl, in eine Parallelwelt zu blicken. Bei den Beispielfotos der chinesischen Forschenden von Tencenet ARC Lab stören sie mich nicht, weil mir die Menschen auf den Fotos ohnehin fremd sind.

Die Forschenden sind überzeugt von ihrer neu entwickelten Modellarchitektur, die im Vergleich zu ähnlichen Modellen deutlich bessere Ergebnisse bieten soll: "Ausführliche Experimente zeigen, dass unsere Methode sowohl bei synthetischen als auch bei realen Datensätzen eine bessere Leistung als der Stand der Technik erzielt", schreiben sie in ihrer Arbeit.

Beispielaufnahmen der Forschenden im Vergleich zu anderen KI-Modellen. | Bild: Tencent ARC
Beispielrestaurationen der Forschenden im Vergleich zu anderen KI-Modellen. | Bild: Tencent ARC

Der KI-Upscaler für Porträtaufnahmen könnte in seiner aktuellen Form also für Kunstprojekte oder vielleicht historische Ausstellungen taugen, auch wenn bei letztgenannten wahrscheinlich ein möglichst hoher Realitätsbezug wünschenswert ist, ein Anspruch, den die KI-Interpretation nicht erfüllen kann.

Empfehlung

Eine Demo von GFP-Gan könnt hier hinter dem Link testen.

Womöglich gibt es bei zukünftigen Versionen dieser KI-Technik die Möglichkeit, das neuronale Netz mit Nachtraining spezifisch für einzelne Gesichter zu optimieren. Das würde aber voraussetzen, dass man neben einigen unscharfen Fotos einer Person bereits hochauflösende Aufnahmen besitzt, damit die KI die Geometrie des Gesichts lernen kann. Eine zusätzliche Herausforderung ist der Wandel eines Gesichts über die Jahre.

Gefährlich könnten solche KI-Aufbesserungen werden, wenn sie im Kontext der Überwachung eingesetzt werden, etwa um unscharfe Aufnahmen von Überwachungskameras zu schärfen und sie dann durch eine Bilderkennungsdatenbank wie Clearview AI zu jagen. Hier könnten minimale Ungenauigkeiten dazu führen, dass die falschen Personen gefunden werden. Clearview AI kündigte kürzlich an, dass die eigene Bilddatenbank zukünftig mit KI-Werkzeugen optimiert werden soll, etwa um Unschärfen zu entfernen oder um unvollständige Bilder zu ergänzen.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Weiterlesen über KI und Bildbearbeitung:

Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!