Inhalt
summary Zusammenfassung

XPeng Motors stellt ein KI-System vor, mit dem fotorealistische Objekte in Videosequenzen eingefügt werden können.

Anzeige

XPeng Motors, eigentlich ein Unternehmen im Bereich Elektrofahrzeuge, hat ein neues Framework namens "Anything in Any Scene" entwickelt, das Objekte in Videoszenen auf eine Art und Weise einfügen kann, die bisherige Methoden in Bezug auf Realismus und Genauigkeit übertrifft.

Das "Anything in Any Scene"-Framework bettet Objekte so in Videos ein, dass sie in Farbe, Textur und allgemeinem Erscheinungsbild mit den real aufgenommenen Videoszenen übereinstimmen. In den gezeigten Beispielen sind die Objekte nur bei genauem Hinsehen als künstlich zu erkennen. Damit überwindet die Methode die Grenzen bisheriger Ansätze, die sich oft auf bestimmte Einstellungen beschränken und Faktoren wie Beleuchtung und realistische Platzierung vernachlässigen.

"Anything in Any Scene" bietet fotorealistische Einbindung und Stabilisierung von Objekten

Das Framework platziert und stabilisiert Objekte in jedem Frame des Videos unter Berücksichtigung der Verdeckung durch andere Objekte und sorgt für eine konsistente Verankerung über aufeinanderfolgende Frames hinweg. Um realistische Beleuchtung und Schattenwurf zu erzeugen, rekonstruiert das Framework zudem High Dynamic Range (HDR) Panoramabilder aus normalen Bildern. Die Position und Helligkeit der Hauptlichtquellen, wie z.B. der Sonne im Freien, wird bestimmt und anschließend werden realistische Schatten für das eingefügte Objekt gerendert.

Anzeige
Anzeige
Bild: XPeng Motors

Der letzte Schritt des Frameworks ist der "Photorealistic Style Transfer". Dabei wird ein Netzwerk verwendet, das die Stilmerkmale des Originalvideos auf das eingefügte Objekt überträgt, um Farben, Beleuchtung und Texturen so anzupassen, dass ein nahtloses und realistisches Erscheinungsbild entsteht.

Video: XPeng Motors

Video: XPeng Motors

Nach Ansicht des Teams könnte das Framework beispielsweise in der Filmproduktion Anwendung finden, da es eine vergleichsweise effiziente und kostengünstige Alternative zu realen Dreharbeiten darstellt. Es ermöglicht auch die Simulation seltener, aber wichtiger Szenarien, die in realen Datensätzen oft unterrepräsentiert sind - und kann so beispielsweise Fortschritte beim Training autonomer Fahrzeuge bringen, bei dem Edge-Cases eine wichtige Rolle spielen.

Mehr Beispiele und bald den Code gibt es auf der Projektseite von Anything in Any Scene.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Empfehlung
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • XPeng Motors entwickelt ein KI-System namens "Anything in Any Scene", das fotorealistische Objekte in Videosequenzen einfügen kann, wobei Realismus und Genauigkeit im Vergleich zu bisherigen Methoden verbessert werden.
  • Das Framework berücksichtigt Verdeckung, konsistente Verankerung, realistische Beleuchtung und Schattenwurf, um die Objekte nahtlos in die Videoszenen einzubetten.
  • Anwendungsmöglichkeiten könnten in der Filmproduktion und im Training autonomer Fahrzeuge liegen, da das System effizient und kostengünstig ist und seltene Szenarien simulieren kann.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!