Das KI-Modell NeuralReshaper macht auf Fotos schwere Menschen leicht, große klein oder zierliche breit. Drei Schieberegler führen zum Wunschkörper.
Die Arbeit "Single-image Human-body Reshaping with Deep Neural Networks" stammt von Forschern und Forscherinnen der Zhejiang University in Hangzhou und der School of Creative Media an der City University of Hong Kong.
In ihrer Arbeit beschreiben sie den "NeuralReshaper", ein mit Deep Learning trainiertes KI-Modell, das die Proportionen von Personen in Bildern unabhängig vom Hintergrund vollständig automatisiert transformieren kann. Die Forschenden verwenden dabei unter anderem die von Deepfakes bekannte GAN-Technologie.
NeuralReshaper: KI-Werkzeug gestaltet menschliche Körper um
Zunächst generiert ein SMPL-Modell (Skinned Multi-Person Linear Model) anhand eines 2D-Fotos eine 3D-Schätzung des gesamten Körpers einer Person auf einem Foto. Das SMPL-Modell ist mit tausenden 3D-Scans von Menschen trainiert. Das Max-Planck-Institut für Intelligente Systeme entwickelte es 2015 gemeinsam mit dem Spezialeffekte-Unternehmen Industrial Light and Magic in erster Linie für effizientere Filmeffekte.
Das SMPL-Modell verändert im nächsten Schritt das aus dem 2D-Foto generierte 3D-Modell in den drei Attributen Größe, Gewicht und Körperproportionen und nimmt die entsprechenden visuellen Umformungen vor. Eine Person kann diesen Umformungsprozess über einfache Schieberegler steuern.
Im zweiten Schritt greift dann das "Neural Reshaping". Hier werden Vorder- und Hintergrund getrennt und unter anderem ein GA-Netz generiert auf Basis einer bei Schritt 1 entstandenen Schablone ein neues 2D-Bild der Person und fügt es ohne Verzerrungen oder Überlappungen in den Hintergrund ein.
Die Methode funktioniert für vollständig bekleidete Menschen ebenso wie für wenig bekleidete. Sogar visuell komplexe Szenen, wie eine Person auf einem Fahrrad, sollen durch Neural Reshaping leicht veränderbar sein. Die Forschenden zeigen in ihrem Papier viele Beispielbilder, die beweisen sollen, dass ihre Methode robust mit vielen unterschiedlichen und komplexen Motiven funktioniert - also alltagstauglich ist.
Eine Innovation der Forschenden ist die Trainingsmethode für die generative Bild-KI. Sie würde im Idealfall mit Vorher-Nachher-Bilderpaaren derselben Person trainiert.
Da solche Daten kaum oder gar nicht existieren, entwickelten die Forschenden eine schwach überwachte Trainingsstrategie, bei der das deformierte Originalbild als Eingabe dient: Das neuronale Netz muss beim KI-Training versuchen, aus dem deformierten Eingangsbild das Originalbild zu rekonstruieren. So lernt es den visuellen Unterschied zwischen etwa groß und klein in Bezug auf eine einzelne Person.
Neuer Körper per Schieberegler
"NeuralReshaper ist die erste Deep-Learning basierte Methode für realistische menschliche Umformung in einzelnen Bilder. Unser Tool ist einfach zu bedienen, vollautomatisch und funktioniert gut für Bilder, die in freier Umgebung aufgenommen wurden. [...] Unsere Methode ermöglicht es den Benutzern, menschliche Bilder durch das Bewegen mehrerer Schieberegler mit sofortiger Rückmeldung umzugestalten", schreiben die Forschenden.
Der NeuralReshaper ist zunächst ein weiteres Werkzeug für KI-Grafik, das zeigt, wie tiefgreifend Künstliche Intelligenz insbesondere die Grafikbranche verändern wird. Die Umformung von Körpern ist lange Standard, etwa in der Modeindustrie. Doch mit Werkzeugen wie NeuralReshaper wird der Prozess so leicht und schnell, dass ihn jeder und jede beherrscht.
Diese Zugänglichkeit birgt Chancen, etwa bei therapeutischen Ansätzen, und Risiken, wenn solche Schieberegler bei Instagram, TikTok und Co. auftauchen. Oder, das ist viel wahrscheinlicher, die mit solchen Schiebereglern veränderten Bilder finden ihren Weg auf entsprechende Plattformen - und zwar in großer Anzahl statt nur bei ausgewählten Accounts mit Photoshop-Unterstützung.
Die daraus resultierende zunehmende Realitätsverzerrung dürfte die Debatte um die Auswirkungen von Social Media auf die Psyche vorwiegend junger Menschen weiter verschärfen.