Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

LangSplat ist ein 3D-Sprach-Gaussian, mit dem sich 3D-Welten per Sprache durchsuchen lassen - bis hin zur Suppeneinlage.

Forscher der Tsinghua-Universität und der Harvard-Universität haben mit LangSplat ein neues KI-System entwickelt, das eine effiziente und präzise Suche nach offenem Vokabular in 3D-Räumen ermöglicht. Das System übertrifft die bisherige State-of-the-Art-Methode LERF in puncto Geschwindigkeit und Genauigkeit deutlich, heißt es in dem Artikel.

Language Embedded Radiance Fields (LERF) wurde im März 2023 von Forschern der UC Berkeley vorgestellt. Das System integriert große Sprachmodelle in NeRFs und ermöglicht so eine präzise Objekterkennung in 3D-Umgebungen ohne spezielles Training. Beispielsweise könnte ein Benutzer in der NeRF-Umgebung einer Buchhandlung in natürlicher Sprache nach einem bestimmten Buchtitel suchen, so die Vision. Die Technologie könnte auch in der Robotik, beim visuellen Training von Robotern in Simulationen und bei der menschlichen Interaktion mit 3D-Welten eingesetzt werden.

LangSplat ist fast 200-mal schneller und genauer

LERFs eignen sich jedoch nicht für die Echtzeitsuche und sind relativ ungenau. LangSplat hingegen konstruiert das 3D-Sprachfeld mithilfe von 3D-Gaussians. Diese Methode, so die Forscher, umgeht den aufwendigen Renderingprozess, der für NeRFs notwendig ist. So erreicht LangSplat bei einer Auflösung von 1440 mal 1080 Pixeln eine 199-fache Beschleunigung im Vergleich zu LERF.

Anzeige
Anzeige

Um das 3D-Sprachfeld zu bilden, verwendet LangSplat das Segment Anything Model von Meta, um eine hierarchische Semantik aus mehreren Bildern einer Szene zu lernen. Konkret wird ein Bild in verschiedene Objektmasken mit klaren Grenzen zerlegt, wobei ein Objekt in sein Ganzes, seine Teile und seine Unterteile zerlegt wird. Die gelernten Masken werden dann über CLIP verarbeitet, dessen Embeddings einen Autoencoder trainieren, der dann für das Training der 3D-Sprach-Gaussians von LangSplat verwendet wird.

LangSplat kann Suppenbestandteile auseinander halten

In der Praxis ist LangSplat dadurch wesentlich präziser: In einem Beispiel fragt das Team nach "Tee im Glas". LERF markiert zwei Tassen, während LangSplat die Flüssigkeit im Glas markiert. In einem anderen Beispiel kann es einzelne Zutaten in einer Ramen-Suppe markieren.

Die Forscher testeten LangSplat mit zwei Datensätzen, dem LERF-Datensatz und dem 3D-OVS-Datensatz. In beiden Fällen übertraf LangSplat LERF deutlich in Geschwindigkeit und Genauigkeit. Insbesondere erreichte LangSplat eine Gesamtgenauigkeit von 84,3 % für den LERF-Datensatz und 93,4 % für den 3D-OVS-Datensatz im Vergleich zu 73,6 % bzw. 86,8 % für LERF.

Das Team vermutet, dass noch weiter Geschwindigkeitsverbesserungen möglich sind, gerade bei höheren Auflösungen. Mehr Beispiele gibt es auf der Projektseite von LangSplat. Der Code ist auf GitHub verfügbar.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Forscher der Tsinghua- und Harvard-Universität haben LangSplat entwickelt, ein KI-System, das eine effiziente und präzise Suche in 3D-Räumen ermöglicht und die bisherige Methode LERF übertrifft.
  • LangSplat verwendet 3D-Gaussians, um das 3D-Sprachfeld zu konstruieren, wodurch der aufwendige Renderingprozess von NeRFs umgangen wird, und erreicht eine 199-fache Beschleunigung im Vergleich zu LERF.
  • In Tests übertraf LangSplat LERF deutlich in Geschwindigkeit und Genauigkeit, mit einer Gesamtgenauigkeit von 84,3 % für den LERF-Datensatz und 93,4 % für den 3D-OVS-Datensatz.
Quellen
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!