NeRFs erstellen und in VR ansehen - Guide

Inhalt

Zusammenfassung

Mit kostenloser Software könnt ihr eure eigenen NeRFs erstellen und sie mit einer VR-Brille betrachten. So geht’s.

Ihr habt NeRFs vielleicht schon auf Twitter oder Reddit gesehen. Anstatt die 3D-Objekte nur auf einem flachen Bildschirm zu betrachten, könnt ihr sie auch in eine VR-Brille bringen. In Virtual Reality bewegt ihr euch mit den VR-Controllern durch ein NeRF und könnt euch dabei in der virtuellen Szene frei umsehen. Das macht das Erlebnis viel immersiver.

Derzeit gibt es nur eine Möglichkeit, NeRFs in 3D mit einer VR-Brille zu betrachten: Nvidias Instant-NGP-App für Windows. In Zukunft wird es wahrscheinlich mehr Wege geben, NeRFs zu erstellen, da die Technologie eine gute Lösung für die schnelle Erstellung von hochwertigen 3D-Objekten ist.

Was ist ein NeRF?

NeRFs sind KI-Modelle, die anhand einer Sammlung einzelner Bilder eines Objekts generiert werden. Sie können Licht aus jedem Winkel und an jedem Punkt einer Simulation darstellen. Dadurch ist es möglich, sich in VR durch dieses neuronale Strahlungsfeld (Neural Radiance Field, NeRF) zu bewegen, als befände man sich physisch vor Ort und betrachte tatsächliche Objekte.

Was ein NeRF ist und wie diese Technologie VR, AR und das Metaverse unterstützt, diskutieren wir im verlinkten Podcast.

NeRF erstellen: Erste Schritte mit Instant-NGP

Für den Anfang benötigt ihr eine OpenXR-fähige VR- oder AR-Brille und einen Windows-PC mit einer der folgenden Nvidia-Grafikkarten:

• RTX 3000 & 4000 Serie, RTX A4000-A6000, und andere Ampere & Ada Karten,
• RTX 2000-Serie, Titan RTX, Quadro RTX 4000-8000 und andere Turing-Karten
• GTX 1000-Serie, Titan Xp, Quadro P1000-P6000 und andere Pascal-Karten

Außerdem benötigt ihr spezielle Software. Alle Links findet ihr am Ende dieses Guides. So richtet ihr Instant NGP ein:

Artikel teilen

Empfiehl unseren Artikel weiter

Teilen

1. Ladet die Instant-NGP-Version herunter, die für eure Grafikkarte (GPU) vorgesehen ist und extrahiert die Dateien.
2. Öffnet den Instant-NGP-Ordner und startet das Programm.
3. Möglicherweise wird eine Microsoft Defender-Warnung angezeigt. Klickt auf Mehr Information und dann auf Trotzdem ausführen, um fortzufahren.
4. Öffnet im Windows Explorer den Ordner data/nerf und zieht den Ordner fox auf das offene Fenster der Instant-NGP-Anwendung.
5. Wartet Sie ein paar Sekunden, während das Modell trainiert wird.
6. Klickt in das Instant-NGP-Fenster und zieht den Fuchskopf mit dem Mauszeiger, um den 3D-Effekt zu sehen. Ihr könnt auch mit dem Mausrad zoomen.
7. Nach etwa einer Minute könnt ihr das Training stoppen – das Modell wird sich wahrscheinlich nicht weiter verbessern.
8. Klickt auf den kleinen Pfeil oben links, um das Optionsmenü zu schließen und das 3D-Objekt besser betrachten zu können.

Ein eigenes NeRF mit Video erstellen

Mit der Record3D-App auf dem iPhone ist es recht einfach, ein Video mit den erforderlichen Kameradaten für ein NeRF aufzunehmen. Leider gibt es derzeit keine Android-Version dieser App.

Nachdem ihr die Record3D-App auf dem iPhone installiert habt, nehmt ihr ein Video vom gewünschten Objekt auf. Bewegt euch langsam und haltet das Objekt zentriert im Sucher. Exportiert das Video als R3D-Datei und übertragt die Datei auf euren PC.

Empfehlung

KI in der Praxis

Führungskrise oder Ende des KI-Hypes? OpenAI verliert viele Schlüsselfiguren

Der Rest des Prozesses findet auf dem Computer statt:

1. R3D ist eigentlich ein Zip-Archiv. Ändert die Erweiterung in .zip, klickt mit der rechten Maustaste darauf und wählt Alle extrahieren.
2. Es wird ein neuer Ordner erstellt, der eine Metadaten-Datei und einen rgbd-Ordner enthält.
3. Installiert Python, falls noch nicht geschehen.
4. Öffnet den Instant-NGP-Ordner im Windows Explorer, klickt mit der rechten Maustaste auf den Ordnernamen und wählt Adresse kopieren.
5. Tippt auf die Windows-Taste und öffnet die Eingabeaufforderung.
6. Gebt cd ein, dann einmal Leertaste und fügt die Adresse des Ordners ein. Drückt dann die Eingabetaste.
7. Sucht im Windows Explorer den Ordner Record3D Video und kopiert die Adresse.
8. Gebt in der Eingabeaufforderung python scripts/record3d2nerf.py --scene ein
9. Fügt die Adresse des Record3D-Ordners ein und drückt die Eingabetaste.
10. Das Python-Skript sollte diese Daten schnell verarbeiten und eine neue Datei namens transforms.json erstellen.
11. Öffnet Instant-NGP und zieht den Record3D-Ordner in das Fenster, um mit dem Training zu beginnen.

Die folgenden Schritte zeigen euch, wie ihr das NeRF bearbeiten und in VR betrachten könnt.

Zuschneiden und Zentrieren der NeRF-Ansicht

NeRFs haben schwebende Elemente und unscharfe, "wolkige" Ränder. Entfernt diese störenden Elemente durch Zuschneiden. Dabei könnt ihr das Objekt auch gleich zentrieren. Zuschneiden verbessert zudem die Leistung und ist eine gute Option, um die Bildrate zu erhöhen.

So schneidet ihr ein NeRF in Instant-NGP zu:

1. Scrollt im Optionsmenü nach unten und klickt auf den Pfeil neben dem Feld World transform & Crop box, um weitere Optionen anzuzeigen.
2. Benutzt die sechs Schieberegler mit den Bezeichnungen Min und Max, um das NeRF zuzuschneiden und unerwünschte Reste zu entfernen.
3. Ihr könnt ein NeRF mit Rotate world drehen, indem ihr mit den drei angezeigten Kreisen interagiert.

Nach dem Zuschneiden, Zentrieren und Drehen solltet ihr eine gute Sicht auf das NeRF haben.

NeRFs in VR anschauen

Wenn das NeRF auf dem Computerbildschirm gut aussieht, ist es an der Zeit, es in VR zu überprüfen:

1. Startet eure VR-Brille oder eine kompatible AR-Brille.
2. Klickt in der Instant-NGP-App auf dem PC auf Connect to VR/AR headset.
3. Setzt die VR-Brille auf. Ihr solltet das NeRF sehen.
4. Bewegt euch mit den VR-Controllern durch die Szene.

Wenn ihr in VR nichts seht, ist die VR-Brille möglicherweise nicht als Standard-OpenXR-Gerät in Windows eingerichtet. In den meisten Fällen könnt ihr ein OpenXR-Gerät in SteamVR oder der Oculus-App auf dem PC auswählen. Quest 2 und Quest Pro sind kompatibel. Die meisten Headsets, die unter SteamVR und Windows Mixed Reality laufen, sollten ebenfalls funktionieren.

Nachfolgend seht ihr ein Video eines VR-Enthusiasten, der seine Erfahrungen mit Instant-NGP und einer Quest 2 zeigt.

Bilder für die NeRF-Erzeugung verwenden

Ihr könnt auch Fotos für NeRFs verwenden. Dabei hat man eine bessere Kontrolle über die Trainingsbilder. Allerdings ist diese Methode aufwendiger, da mehrere Pakete installiert werden müssen und mehr Eingaben in der Windows-Eingabeaufforderung nötig sind.

Unabhängig davon, welche Methode ihr zur Erstellung eines NeRFs verwendet, solltet ihr sie euch nach Möglichkeit in VR anschauen. Dort könnt ihr euch in die Szene hineinversetzen, anstatt nur durch das flache Fenster eines Computers oder Smartphones zu schauen.