Der Haken von GFP-GAN: Die hochauflösenden Bilder sind ein wenig unheimlich.
GFP-GAN restauriert gering aufgelöste Fotos: Die Bild-KI erkennt auf ihnen ein Gesicht, zoomt auf dieses ein und erzeugt dann ein hochauflösendes Porträtfoto, indem es im Gesicht neue Details ergänzt und den Hintergrund unscharf rendert.
Das GA-Netz, die gleiche Technologie wie etwa bei Deepfakes, erzeugt also basierend auf einer Vorlage ein neues Bild, ergänzt um neue Bildinformationen, die sie aus dem KI-Training zieht. Diese neuen Bildinformationen sind der Haken.
Mein alternatives Ich
Denn trainiert wurde GFP-GAN mit 70000 Porträtaufnahmen aus Nvidias FFHQ Datensatz. Die Aufnahmen stammen von der Fotowebseite Flickr und wurden dort zur freien Verfügung hochgeladen. Bedeutet: In dem von der KI-generierten hochauflösenden Porträtfoto stecken die Gesichter vieler Menschen, und mögen es nur einzelne Pixel sein.
Und das fällt auf: Bei Tests mit unscharfen Aufnahmen von mir selbst oder mir bekannten Personen, erkenne ich die Gesichter zwar auch im hochauflösenden KI-Porträt wieder. Gleichzeitig nehme ich aber auf den ersten Blick wahr, dass etwas "nicht ganz passt".
Dieses "Uncanny Valley" dürfte zum einen an der Künstlichkeit der Bilder liegen: Sie sehen deutlich digital nachbearbeitet aus. Zum anderen wird es durch kleinste Abweichungen in der Gesichtsgeometrie oder der Mimik erzeugt.
Eher ein Kunstprojekt also ein KI-Fotorestaurator
Diese Abweichungen fallen mir, wie beschrieben, stark bei Menschen auf, die ich kenne. Hier habe ich das Gefühl, in eine Parallelwelt zu blicken. Bei den Beispielfotos der chinesischen Forschenden von Tencenet ARC Lab stören sie mich nicht, weil mir die Menschen auf den Fotos ohnehin fremd sind.
Die Forschenden sind überzeugt von ihrer neu entwickelten Modellarchitektur, die im Vergleich zu ähnlichen Modellen deutlich bessere Ergebnisse bieten soll: "Ausführliche Experimente zeigen, dass unsere Methode sowohl bei synthetischen als auch bei realen Datensätzen eine bessere Leistung als der Stand der Technik erzielt", schreiben sie in ihrer Arbeit.
Der KI-Upscaler für Porträtaufnahmen könnte in seiner aktuellen Form also für Kunstprojekte oder vielleicht historische Ausstellungen taugen, auch wenn bei letztgenannten wahrscheinlich ein möglichst hoher Realitätsbezug wünschenswert ist, ein Anspruch, den die KI-Interpretation nicht erfüllen kann.
Eine Demo von GFP-Gan könnt hier hinter dem Link testen.
Womöglich gibt es bei zukünftigen Versionen dieser KI-Technik die Möglichkeit, das neuronale Netz mit Nachtraining spezifisch für einzelne Gesichter zu optimieren. Das würde aber voraussetzen, dass man neben einigen unscharfen Fotos einer Person bereits hochauflösende Aufnahmen besitzt, damit die KI die Geometrie des Gesichts lernen kann. Eine zusätzliche Herausforderung ist der Wandel eines Gesichts über die Jahre.
Gefährlich könnten solche KI-Aufbesserungen werden, wenn sie im Kontext der Überwachung eingesetzt werden, etwa um unscharfe Aufnahmen von Überwachungskameras zu schärfen und sie dann durch eine Bilderkennungsdatenbank wie Clearview AI zu jagen. Hier könnten minimale Ungenauigkeiten dazu führen, dass die falschen Personen gefunden werden. Clearview AI kündigte kürzlich an, dass die eigene Bilddatenbank zukünftig mit KI-Werkzeugen optimiert werden soll, etwa um Unschärfen zu entfernen oder um unvollständige Bilder zu ergänzen.
