Stability AI stellt SDXL Turbo vor, ein neues Text-zu-Bild-Modell, das hochwertige KI-Bilder in Echtzeit erzeugen kann.
SDXL Turbo baut auf der Grundlage von SDXL 1.0 auf und implementiert eine neue Destillationstechnik für Text-zu-Bild-Modelle: Adversarial Diffusion Distillation (ADD). Diese Technik reduziert die Bildgenerierungsschritte von 50 auf einen einzigen Schritt bei gleichbleibend hoher Bildqualität.
Wie andere Destillationstechniken nutzt ADD ein zuvor trainiertes großes Diffusionsbildmodell als Lehrernetzwerk. Das Forschungspapier zu SDXL Turbo, das die neue Destillationstechnik dieses Modells im Detail beschreibt, ist hier verfügbar.
Durch die Integration von ADD bietet SDXL Turbo viele Vorteile, die auch bei GANs (Generative Adversarial Networks) zu finden sind, wie die Ausgabe von Einzelschrittbildern bei gleichzeitiger Vermeidung von Artefakten oder Unschärfen, die häufig bei anderen Destillationsmethoden beobachtet werden, schreibt Stability AI.
Gleichzeitig bietet es eine höhere Qualität bei der Generierung in einem Schritt. Mit nur vier Schritten soll SDXL Turbo die Bildqualität von SDXL mit 50 Schritten erreichen.
SDXL Turbo schlägt SDXL in nur vier Schritten
Stability AI verglich mehrere verschiedene Modellvarianten (StyleGAN-T++, OpenMUSE, IF-XL, SDXL und LCM-XL), indem es Bilder mit demselben Prompt generierten.
Menschliche Evaluatoren wurden dann zwei zufällige Ausgaben gezeigt und gebeten, die Ausgabe auszuwählen, die der Vorgabe des Prompts am nächsten kam. Anschließend wurde ein weiterer Test mit derselben Methode für die Bildqualität durchgeführt.
In diesen Blindtests konnte SDXL Turbo eine 4-Schritt-Konfiguration von LCM-XL mit nur einem Schritt und eine 50-Schritt-Konfiguration von SDXL mit nur vier Schritten schlagen.
Gerade der letztgenannte Test zeigt, dass SDXL Turbo ein rechenintensives Mehrschrittmodell mit deutlich geringeren Rechenanforderungen in der Geschwindigkeit deutlich übertreffen kann und bei der Bildqualität sogar noch etwas besser abschneidet.
Darüber hinaus bietet SDXL Turbo erhebliche Verbesserungen bei der Inferenzgeschwindigkeit. Auf einer Nvidia A100 erzeugt SDXL Turbo ein 512x512-Bild in nur 207 ms (Prompt-Encoding + ein einziger Entrauschungsschritt + Decoding, fp16).
Wer eine kostenlose Demo von Stable Diffusion XL Turbo testen möchte, kann das auf Clipdrop tun. Die Demo ist nicht für kommerzielle Zwecke bestimmt. Wer an einer kommerziellen Nutzung interessiert ist, sollte sich direkt an Stability AI wenden.
