Forscher generieren mit Hilfe Künstlicher Intelligenz 3D-Modelle von Menschen, die anschließend in die Virtual Reality übertragen werden könnten. Das Verfahren begnügt sich mit einer herkömmlichen Kamera.
Die Forscher betonen, dass für ihr Scan-Verfahren keine aufwendige Kameraausrüstung benötigt wird oder spezielle 3D-Tiefensensoren wie Microsofts Kinect. Es reicht ein einzelner Blickwinkel eines herkömmlichen Videos, wie man es mit jedem Smartphone drehen kann.
Der zu virtualisierende Mensch stellt sich vor die Kamera und dreht sich langsam um die eigene Achse. Ein Algorithmus kreiert anhand der Aufnahme für jedes Einzelbild eine Silhouette, die die Person vom Hintergrund trennt, und erstellt mit Hilfe eines maschinellen Lernverfahrens ein 3D-Körpermodell. Auf diesem werden die Positionen der Gelenke bestimmt, damit der Avatar später animiert werden kann.
Die vielen Einzelbilder der 360-Grad-Körperdrehung kombiniert die KI zu einem detaillierteren 3D-Modell. Laut den Forschern stimmte bei bisherigen Tests die Formgebung der Avatare mit den Proportionen der gefilmten Menschen mit einer Genauigkeit innerhalb von fünf Millimetern überein - unabhängig vom Hintergrund, der Kleidung oder der Körperform.
Im letzten Schritt bekommt der Avatar noch Farbe und Textur der Kleidung und Frisur des gefilmten Menschen übertragen. Sogar Fältchen in Stoffen sollen erkannt werden, Röcke und lange Haare sind indes noch schwierig.
Der einmal digitalisierte Mensch kann modifiziert werden, schnell etwas ab- oder zunehmen, andere Kleidung tragen und rudimentär animiert werden. Das Verfahren soll im Juni auf einer KI-Fachkonferenz in Utah vorgestellt werden.
Was macht man damit?
Solche 3D-Körperscans haben Potenzial für soziale VR-Anwendungen, in denen man sich selbst in der Virtual Reality verkörpern will - zum Beispiel bei der Telepräsenz-Telefonie mit der VR-Brille mit Freunden und Verwandten oder im geschäftlichen Kontext.
Dafür müsste aber speziell die Mimik der Avatare noch deutlich verbessert werden, was zum Beispiel mit Spezialkameras möglich ist, die nahe am Gesicht montiert werden und die Mundpartie filmen. Alternativ könnte die Mimik auch mit im Brillenpolster enthaltenen Elektroden erfasst werden. Weitere Informationen stehen hier.
Weiterlesen über 3D-Scanning:
- Sci-Fi-VR: So fühlt es sich an, wenn der eigene Körper in der Virtual Reality ist
- Qualcomm zeigt hochauflösenden Tiefenscanner fürs Smartphone
- Handlicher Tiefenscanner erstellt in Echtzeit 3D-Modelle der Umgebung
| Via: Sciencemag
