KI-Bildsysteme können neue Bilder erzeugen - oder bestehende Bilder umwandeln. Wie das direkt in einer Kamera aussehen könnte, zeigt das Projekt "DreamGenerator".
Anders als bei herkömmlichen Kameras wählt man beim DreamGenerator zunächst aus, in welcher Welt das nächste Foto spielen soll: Himmel oder Hölle, Mittelalter, Unterwasser oder Weltraum, es gibt viele Varianten. Dreißig Motive sind vorprogrammiert.
Nimmt man das Foto auf, wird es automatisch in ein neues Motiv im zuvor gewählten Thema umgewandelt. Dabei bleiben die Grundzüge des Motivs erhalten, zum Beispiel bei einer Person die Körperhaltung und die Gesichtszüge oder der Winkel, aus dem ein Auto auf dem Parkplatz fotografiert wird. Nur ist das Auto nach der Aufnahme ein neuer Ferrari und kein alter Honda.
"Die generierten Bilder beziehen sich auf die Komposition und Pose des Originalfotos und stellen sicher, dass die Schlüsselelemente erhalten bleiben, während neue, fantasievolle Akzente hinzugefügt werden", schreibt der Entwickler Kyle Goodrich.
Introducing DreamGenerator! 📸✨
A camera that transforms your photos into something new using the power of generative AI.
Choose from 30 prompts, capture, and watch as your image morphs into a one-of-a-kind masterpiece right before your eyes! 🧵 pic.twitter.com/NJMxQ09Rna
— Kyle Goodrich (@_kylegoodrich) July 18, 2023
Mit authentischer Fotografie hat das natürlich nichts zu tun. Aber Goodrich geht es nach eigenen Angaben vorwiegend darum, den komplexen Prompting-Prozess von Systemen wie Stable Diffusion zu vereinfachen. Natürlich ginge das auch mit einer Smartphone-App, aber Goodrich bevorzugt nach eigener Aussage die "Einfachheit einer Point-and-Shoot-Kamera".
ControlNet ermöglicht minimalistisches Bild-KI-Feintuning
Für die Bildgenerierung verwendet Goodrich eine Kombination aus der Open-Source-Bild-KI Stable Diffusion und ControlNet, einer einfachen Feinabstimmungsmethode, die die Bild-zu-Bild-Fähigkeiten von Stable Diffusion erheblich verbessert.
Das Feintuning für ein bestimmtes Motiv erfolgt hier mit extrem kleinen Datensätzen - etwa einem einzelnen Foto. Wie Stable Diffusion ist auch ControlNet als kostenlose Open-Source-Software verfügbar und läuft sogar auf Smartphones.
Im folgenden Video zeigt Goodrich, der hauptberuflich für das Design von AR-Produkten bei Snapchat verantwortlich ist, einen Prototyp der Hard- und Software. Zu einer Verkaufsversion äußert er sich nicht. Wer die KI-Kamera haben will, wird sie wohl nachbauen müssen.
This is currently a prototype that leverages Stable Diffusion and ControlNet.
The generated images reference the composition and pose of the original photo, ensuring that key elements are retained while also adding in new imaginative touches. pic.twitter.com/DKdT6POXTc
— Kyle Goodrich (@_kylegoodrich) July 18, 2023
