Stability AI hat seine KI-Plattform ClipDrop um ein Werkzeug erweitert: Stable Doodle. Das Tool ermöglicht, einfache Zeichnungen in hochauflösende KI-Bilder umzuwandeln.
Neben der Zeichnung, die einfach mit der Maus gezeichnet werden kann, muss eine Beschreibung eingegeben werden, was die Zeichnung denn eigentlich zeigen soll. Optional kann einer von 14 Stilen ausgewählt werden. Diese reichen von Fotorealismus über Analogfotografie bis hin zu Origami, Anime oder Pixel-Art.
SDXL trifft auf Tencents T2I-Adapter
Stable Doodle basiert auf dem neuesten und leistungsfähigsten Modell von Stability AI, Stable Diffusion XL, allerdings in einer nicht näher spezifizierten Version. Es ist also unklar, ob es sich um SDXL 0.9 handelt, das derzeit nur über ClipDrop und DreamStudio verfügbar ist.
Um grobe Handzeichnungen in detaillierte Bilder umzuwandeln, kombiniert Stability SDXL mit dem Open-Source-Adapter T2I (Text-to-Image) von Tencent ARC.
T2I kann zu einem bestehenden großen Diffusionsmodell wie Stable Diffusion XL hinzugefügt werden und liefert zusätzliche Eingabebedingungen, wie hier Skizzen oder auch Segmentierungskarten oder Posen. Es ähnelt damit dem ControlNet, das bereits häufig in Stable Diffusion verwendet wird.
T2I oder ControlNet haben den Vorteil, dass sie die ursprüngliche Generierungsfähigkeit des vortrainierten Modells nicht beeinträchtigen und leicht auf verschiedene Modelle angewendet werden können, solange sie auf der gleichen Grundlage basieren (also nicht nur SDXL, sondern auch SD v1.5 usw.).
Kostenlos über Clipdrop testen
Ihr könnt Stable Doodle über die Website von ClipDrop sowie über die Smartphone-Apps auf Android und iOS kostenlos ausprobieren. Wasserzeichenfreie Downloads der Bilder sind jedoch nur mit einer Pro-Mitgliedschaft ab 9 Euro im Monat möglich.
Grundsätzlich richtet sich das Tool sowohl an Amateure als auch an professionelle Anwender und hat laut Stability "das Potenzial, eine Reihe von Wirtschaftszweigen, vom Bildungswesen bis zum kreativen Design, entscheidend zu verbessern".
Aus Gekrakel KI-Bilder zu machen hat Tradition
Stable Doodle reiht sich ein in die wachsende Gruppe von Möglichkeiten, das Ergebnis eines KI-Bildes durch zusätzliche Eingaben jenseits von Textprompts zu beeinflussen. Zuletzt hatte beispielsweise Adobe mit der Platzierung von 3D-Objekten gezeigt, wie KI-Bilder besser nach eigenen Vorstellungen gestaltet werden können.
Die Idee, einfache Zeichnungen für die grobe Struktur in den Erstellungsprozess von Bildern einfließen zu lassen, ist alles andere als neu. Bereits 2018 experimentierte DeepMind mit einem ähnlichen Ansatz, wenngleich die Ergebnisse in Auflösung und Detailgrad nicht mit denen von Stable Doodle vergleichbar sind.
