Das KI-Start-up Krea hat eine neue Funktion vorgestellt, mit der Bilder in 3D-Objekte umgewandelt und in Echtzeit in generierte Szenen integriert und dort justiert werden können.
Nutzer:innen können die 3D-Objekte nach Belieben in der Größe anpassen und in jedem gewünschten Winkel innerhalb der generierten Bilder platzieren. Um die Funktion auszuprobieren, starten Nutzer:innen im Echtzeit-Generierungs-Tool unter "Generate" → "Realtime".
Anschließend muss man ein Bild auf die linke Zeichenfläche ziehen, dann Rechtsklick und "Convert to 3D" auswählen. Das ursprünglich eingefügte Bild lässt sich nun löschen und mit dem 3D-Modell weiterarbeiten, um es in der Szene neu zu positionieren oder zu rotieren. Die Vorschau erfolgt im rechten Fenster.
Video: Justine Moore
Auf Nachfrage eines Nutzers, ob sich die Funktion auch für konsistente Charaktere über mehrere Bilder hinweg nutzen ließe, antwortet Krea AI, dass ein mit Krea trainiertes Flux-Modell mit der neuen Echtzeit- und 3D-Funktion kombiniert werden könne.
Krea bietet darüber hinaus noch weitere nützliche Werkzeuge, etwa um Echtzeit-Stile zu erstellen, die Umgebung von Bildern mit einem Klick zu ändern und dabei passende Licht- und Farbkonsistenz zu erzielen, Ultra-Zeitlupen mit 120 fps zu erzeugen oder Bilder zu animieren und zu verschmelzen.
Der YouTuber Olivio Sarikas hat seine Eindrücke des neuen Krea-3D-Features im folgenden Video ausführlich dokumentiert.
Krea AI verrät nicht viel
Wie in der Vergangenheit bei anderen Features auch ist Krea AI bezüglich der genauen technischen Hintergründe im Gegensatz zu vielen anderen KI-Start-ups leider sehr verschlossen. Ankündigungen erfolgen nur in knappen Social-Media-Postings. Die genaue Funktionsweise der neuen 3D-Fähigkeit bleibt daher unklar.
In näherer Vergangenheit gab es einige Fortschritte in der sogenannten "Novel View Synthesis", also der Generierung neuer Perspektiven basierend auf einem einzigen 2D-Bild. Unter anderem hat sich Stability AI verstärkt mit diesem Zweig beschäftigt, aber auch Forschende bei Tencent oder Nvidia konnten Erfolge verzeichnen.
