"Anything in Any Scene": KI-Framework fügt fotorealistische Objekte nahtlos in Videos ein

XPeng Motors stellt ein KI-System vor, mit dem fotorealistische Objekte in Videosequenzen eingefügt werden können.

XPeng Motors, eigentlich ein Unternehmen im Bereich Elektrofahrzeuge, hat ein neues Framework namens "Anything in Any Scene" entwickelt, das Objekte in Videoszenen auf eine Art und Weise einfügen kann, die bisherige Methoden in Bezug auf Realismus und Genauigkeit übertrifft.

Das "Anything in Any Scene"-Framework bettet Objekte so in Videos ein, dass sie in Farbe, Textur und allgemeinem Erscheinungsbild mit den real aufgenommenen Videoszenen übereinstimmen. In den gezeigten Beispielen sind die Objekte nur bei genauem Hinsehen als künstlich zu erkennen. Damit überwindet die Methode die Grenzen bisheriger Ansätze, die sich oft auf bestimmte Einstellungen beschränken und Faktoren wie Beleuchtung und realistische Platzierung vernachlässigen.

"Anything in Any Scene" bietet fotorealistische Einbindung und Stabilisierung von Objekten

Das Framework platziert und stabilisiert Objekte in jedem Frame des Videos unter Berücksichtigung der Verdeckung durch andere Objekte und sorgt für eine konsistente Verankerung über aufeinanderfolgende Frames hinweg. Um realistische Beleuchtung und Schattenwurf zu erzeugen, rekonstruiert das Framework zudem High Dynamic Range (HDR) Panoramabilder aus normalen Bildern. Die Position und Helligkeit der Hauptlichtquellen, wie z.B. der Sonne im Freien, wird bestimmt und anschließend werden realistische Schatten für das eingefügte Objekt gerendert.