StyleDrop hilft, den Stil eines Bildes auf neue Bild-Synthesen zu übertragen. Googles Methode liegt dabei deutlich vor bisherigen Methoden.
Nach Angaben des Google-Teams ermöglicht die neue Methode die Synthese von Bildern in einem bestimmten Stil unter Verwendung des Text-Bild-Modells Muse. StyleDrop erfasst die Feinheiten eines benutzerdefinierten Stils, einschließlich Farbschemata, Schattierungen, Designmuster sowie lokale und globale Effekte. Als Eingabe genügt laut Google ein einziges Bild.
StyleDrop lernt den neuen Stil durch Finetuning einer kleinen Anzahl von trainierbaren Netzwerkparametern, und die Qualität des Modells wird dann durch iteratives Training mit menschlichem oder automatischem Feedback verbessert.
StyleDrop lernt schnell und mit wenig Beispielen
Konkret wird StyleDrop mit dem Eingabebild trainiert und erzeugt einige Bilder, die dieses Bild reproduzieren sollen. Aus diesen werden die qualitativ hochwertigsten Bilder entweder über einen CLIP-Score oder über menschliches Feedback ausgewählt und für das weitere Training verwendet. Ein Bild wird als qualitativ hochwertig angesehen, wenn es zwar nicht den Inhalt, aber den Stil des Originalbildes wiedergibt.
Der ganze Prozess dauert selbst mit menschlichem Feedback weniger als drei Minuten, so das Team. StyleDrop benötige weniger als ein Dutzend Bilder für das iterative Training.
StyleDrop übertrifft laut dem Team andere Methoden zum Stiltransfer von Text-zu-Bild-Modellen, darunter Dreambooth, LoRAs und Textual Inversion in Imagen und Stable Diffusion.
StyleDrop für den Stil, Dreambooth für das Objekt
"Wir sehen, dass StyleDrop in der Lage ist, Nuancen von Textur, Schattierung und Struktur in einem breiten Spektrum von Stilen viel besser zu erfassen als frühere Ansätze", so das Team. Das ermögliche eine deutlich bessere Kontrolle über den Stil als bisher.
Das Team kombiniert StyleDrop zudem mit Dreambooth, um ein neues Objekt zu lernen und in verschiedenen Stilen als Bild zu erstellen, und kann die Methoden mit Muse verwenden, um ein eigenes Objekt in einem eigenen Stil zu erstellen.
Google sieht in StyleDrop ein vielseitiges Werkzeug, das es etwa Designer:innen oder Unternehmen erlaubt, mit eigenen Marken-Assets zu trainieren und neue Ideen schnell im eigenen Stil als Prototyp zu entwerfen.Mehr Informationen gibt es auf der Projektseite von StyleDrop.
