Auf der am 14. Juni beginnenden virtuellen Konferenz CVPR 2020 stellt Facebook neue KI-Technologien vor, von der nicht zuletzt auch Virtual und Augmented Reality profitieren sollen.
Auf der online stattfindenden Konferenz stehen drei wissenschaftliche Arbeiten im Mittelpunkt. Die erste befasst sich mit Facebooks neuer Bild-KI SynSin, die ein einzelnes Bild räumlich interpretieren und auf dieser Grundlage ein zweites Bild generieren kann, das die dargestellte Szene aus einem neuen Blickwinkel zeigt.
Die KI analysiert zunächst die Szene und erstellt daraus eine Punktewolke. Danach kümmert sich eine GAN-KI (Glossar) um die Generierung des synthetischen Bilds. Facebooks Innovation besteht im KI-Punktewolkenrenderer. Frühere Ansätze setzten auf Voxelberechnungen, also Herleitungen von 3D-Pixeln aus 2D-Material.
Das Punktewolkenrendering habe mehrere Vorteile: Die Künstliche Intelligenz sei flexibel, was Trainings-Datensätze betrifft, könne generalisieren, also mit Szenen arbeiten, die sie noch nicht gesehen hat, funktioniere mit verschiedenen Bildauflösungen und könne sogar komplette Kamerafahrten synthetisieren, wie in folgenden Videos zu sehen ist.
[one_half]
[/one_half][one_half_last]
[/one_half_last]
Als mögliche Anwendungsszenarien nennt Facebook die Erstellung besserer 3D-Fotos und volumetrische Videos. Die wissenschaftliche Arbeit der Facebook-Forscher ist frei im Internet erhältlich.
Vom Foto zum Hologramm dank KI
Die zweite Facebook-KI extrahiert aus 2D-Bildern von Menschen detaillierte 3D-Modelle derselben in noch nie dagewesener Qualität. Selbst Finger, Gesichtsmerkmale und Faltenwürfe in der Kleidung werden originalgetreu rekonstruiert.
Die KI besteht aus zwei neuronalen Netzwerken. Das erste Netzwerk ist auf die Analyse der Gesamterscheinung des Menschen spezialisiert, das zweite kümmert sich um Details.
In der Zusammenarbeit der Netzwerke entsteht so eine überzeugendere und energieffizientere 3D-Rekonstruktion als mit bisherigen Ansätzen, die auf ein einzelnes Netzwerk setzen.
Die KI-Technik könnte laut Facebook helfen, noch realistischere VR-Apps zu kreieren. Man denke etwa an Telepräsenz-Apps, die mit Hilfe einer einzelnen Kamera in Echtzeit glaubhafte 3D-Avatare erstellen könnte.
Mehr über das neue KI-Verfahren steht im wissenschaftlichen Paper.
Clevere KI-Bildmanipulation
Die dritte Facebook-KI kann automatisiert Personen aus einem Bild freistellen und glaubhaft in ein anderes Foto einfügen, ohne Einbußen bei der Bildqualität und unter Berücksichtigung des Kontexts im Zielbild.
Facebook setzt hierfür drei hintereinander geschaltete KI-Subnetzwerke ein. Das erste generiert die groben Umrisse der Personen im Zielbild samt veränderter Pose, das zweite rendert die Person, das dritte kümmert sich um eine originalgetreue Zeichnung der Gesichtszüge.
Die KI ist laut Facebook auf eine Vielzahl von Posen, Blickwinkeln und Aufnahmegrößen anwendbar und funktioniert selbst bei komplexeren Verdeckungen zwischen gezeigten Personen.
Die gelieferten Beispiele zeigen allerdings, dass das noch nicht perfekt funktioniert: Die Bildmanipulation ist noch gut zu erkennen.
Als Anwendungsszenario für die Technologie nennt Facebook Videokonferenzen oder neuartige AR-Erfahrungen. Die wissenschaftliche Arbeit findet man ebenfalls online.
Quelle und Titelbild: Facebook AI Blog
