KI-Forscher der Universität Washington in Seattle und von Facebook erwecken Bilder mittels maschinellen Lernens zum Leben. Der Effekt erinnert an die magischen Fotos aus der Harry-Potter-Reihe, auf denen Figuren und Personen plötzlich zum Leben erwachen.
Ein auf Personenerkennung vortrainiertes neuronales Netz segmentiert zunächst das einzelne Foto und trennt die Figur darauf vom Hintergrund. Das funktioniert für Menschen ebenso gut wie für Comic-Charaktere, die Silhouette muss nur halbwegs an eine Person erinnern.
Ist die Figur erkannt, wird sie in ihre Einzelteile zerlegt: Kopf, Arme, Rumpf, Beine. Ein zweites neuronales Netz schätzt anschließend die 3D-Version der auf dem Foto nur in 2D abgebildeten Figur - verdeckte Körperstellen werden passend ergänzt - und versieht sie mit virtuellen Gelenken.
Auf dieses dann bewegliche 3D-Modell wird im letzten Schritt die ursprüngliche Fototextur wieder aufgetragen. Fertig ist der Zaubertrick im Harry-Potter-Stil, den die Forscher eingangs ihrer wissenschaftlichen Veröffentlichung sogar als Vorbild erwähnen. Die Besonderheit ihrer Methode ist, dass für ein realistisches 3D-Modell ein einzelnes Foto als Vorlage genügt.
Gemälde werden lebendig
In Kombination mit einer AR-Brille können die 3D-Figuren in die Umgebung projiziert werden, laufen beispielsweise aus einem Gemälde heraus. Die dann leere Stelle im Bild wird ebenfalls algorithmisch passend aufgefüllt. Entwickler können die Bewegungen der Figuren nachträglich modifizieren.
Die Forscher testeten ihr System mit 70 Bildern aus dem Internet, bei weitgehend frontal geschossenen Fotos, auf denen der ganze Körper zu sehen ist, soll es verlässlich funktionieren, lautet das Fazit. "Wir glauben, dass unsere Methode neue Möglichkeiten eröffnet, mit Fotos zu interagieren und sie zeigt einen Weg, wie man aus einem einzelnen Foto einen digitalen Avatar [...] generieren kann."
Via: Technology Review
