Die App Draw Things bringt Stable Diffusion aufs iPhone. Die KI-Bilder werden lokal generiert, eine Internetverbindung ist also nicht notwendig.
Dank des offenen Quellcodes von Stable Diffusion können KI-Bilder auch auf leistungsfähigen PCs generiert werden statt nur in der Cloud. Der Entwickler Liu Liu hat jetzt den Algorithmus von Stable Diffusion in einer iPhone-App verpackt.
Diese benötigt nach Download der rund zwei Gigabyte großen Ressourcen keine Internetverbindung. Die Bilder werden direkt auf dem iPhone generiert.
Dabei verwendet der Entwickler derzeit laut eigenen Angaben nur 50 Prozent der verfügbaren Leistung. Die Implementierung von Stable Diffusion auf dem iPhone sei "einfacher als gedacht."
Arbeitsspeicher ist der Flaschenhals
Der Flaschenhals ist der Arbeitsspeicher. "Die größte Herausforderung besteht darin, die App auf iPhones mit 6 GB RAM auszuführen", schreibt Liu Liu. 6 GB würden sich nach viel anhören, aber iOS beendet Apps automatisch, wenn sie mehr als 2,8/6 GB oder mehr als 2/4 GB Arbeitsspeicher verwenden, so der Entwickler.
Um dieses Problem zu lösen, hat Liu Liu Stable Diffusion in seine Bestandteile zerlegt. Er hat sich angesehen, wie viel Arbeitsspeicher der Generator genau benötigt und wie der Bedarf der jeweiligen Stufen reduziert werden kann.
Besonderen Ressourcenhunger hätten die Zwischenstufen, die bei der Generierung eines Bildes entstehen. Er sagt voraus, dass sich mit weiteren Optimierungen die Laufzeit um 30 Prozent und die Speichernutzung um etwa 15 Prozent verringern ließe.
Draw Things kommt mit verschiedenen Modellen
Liu Liu hat eine bemerkenswerte Zahl an Funktionen in der KI-App unterbringen können. So unterstützt Draw Things zum jetzigen Zeitpunkt folgende Modelle:
- Stable Diffusion 1.4
- Inpainting (Stable Diffusion 1.5)
- Anime (Waifu Diffusion 1.3)
- Classic Animation
- Modern Disney
- Arcane
- Cyberpunk Anime
- 3D Model
Abgesehen vom gewünschten Modell können Nutzer:innen weitere Einstellungen bei Auflösung (bis 512 x 768 Pixel), Anzahl der Schritte (10 bis 130), Guidance Scale, Strength, Seed und Sampler (DDIM, PLMS, Euler Ancestral, DPM++ 2M Karras) treffen. Besonders praktisch ist die Versionsübersicht, in der jede Änderung detailliert eingesehen werden kann.
Draw Things läuft ab dem iPhone 11
Draw Things ist ab sofort kostenlos über den Apple App Store verfügbar und kommt ohne Werbung aus. Voraussetzung sind ein iPhone ab dem iPhone 11 und iOS 15.4.
Ich habe Draw Things auf einem iPhone 14 Pro Max ausprobiert: Ein Bild mit 512 x 512 Pixeln und 30 Schritten benötigt rund eine Minute für die Generierung, das Maximum von 130 Schritten verlängert den Prozess auf rund fünf Minuten. Mit diesen Einstellungen lassen sich bereits ordentliche Ergebnisse produzieren. Wärmeentwicklung ist beim iPhone zwar feststellbar, richtig heiß wird das Gerät aber nicht.