Qualcomm hat auf der jährlichen "IEEE/CVF Conference on Computer Vision and Pattern Recognition" weitere Fortschritte bei der Ausführung generativer KI-Modelle auf Smartphones demonstriert.
Im Februar konnte Stable Diffusion auf einem Smartphone mit Qualcomms neuestem System-on-a-Chip Snapdragon 8 Gen 2 ein Bild in weniger als 15 Sekunden erzeugen (siehe unten).
Diese Zeit galt damals als Rekord, wurde aber kurz darauf von Forschenden um ein Vielfaches unterboten. Ähnlich dürfte es sich mit der "weltweit schnellsten" Erzeugung eines Bildes mit ControlNet auf einem Smartphone verhalten, die Qualcomm jetzt präsentiert hat.
Hier rühmt sich das Unternehmen mit einer Zeit von 11,26 Sekunden vom Start bis zur Fertigstellung eines Bildes mit dem 1,5 Milliarden Parametern großen Image-to-Image-Modell.
Die Generierung von KI-Bildern braucht normalerweise einen schnellen Rechner. Mit optimierter Hard- und Software reicht aber auch ein Smartphone, wie Qualcomm zeigt.
Während OpenAI und Midjourney für ihre Bildgeneratoren eigene Server zur Verfügung stellen - und sich diese Nutzung von ihren Kund:innen bezahlen lassen - ist Stable Diffusion auch auf eigener Hardware und damit kostenlos lauffähig.
Um qualitativ hochwertige Bilder in akzeptabler Zeit zu erzeugen, benötigen herkömmliche PCs eine moderne und teure Grafikkarte. Aber auch andere Geräte, die einen für KI-Berechnungen optimierten Chip besitzen, wie die Silicon-Macs oder iPhones von Apple, schaffen diese Aufgabe. Für diese Systeme gibt es bereits seit einiger Zeit entsprechende Stable-Diffusion-Clients.
Nun zeigt das US-Unternehmen Qualcomm erstmals die Erzeugung eines Bildes auf einem Android-Smartphone, das mit einem ihrer Chips ausgestattet ist.
Der verwendete Qualcomm Snapdragon 8 Gen 2 wurde Ende 2022 vorgestellt und dürfte nach dem kürzlich vorgestellten Samsung Galaxy S23 noch in diesem Jahr in einigen hochpreisigen Android-Smartphones verschiedener Hersteller zu finden sein.
Dass Stable Diffusion auf dem Chip läuft, wurde laut Qualcomm durch Quantisierung, Kompilierung und Hardwarebeschleunigung erreicht.
Bildgeneration funktioniert offline
Im Google Play Store kursieren bereits vermeintliche Bildgeneratoren auf Basis von Stable Diffusion. Dabei handelt es sich jedoch lediglich um Webinterfaces, die auf die Rechenleistung eines Servers zurückgreifen und somit eine Internetverbindung voraussetzen.
Das entfällt, wenn Stable Diffusion direkt auf dem Smartphone ausgeführt wird - was jedoch einige Gigabyte Speicherplatz in Anspruch nimmt.
Ein Bild mit einer Auflösung von 512 x 512 Pixeln und 20 Inferenzschritten benötige auf dem Qualcomm-Chip weniger als 15 Sekunden, heißt es in der Pressemitteilung. Bei der reinen Bilderzeugung soll es nicht bleiben: Funktionen wie Inpainting, Bildbearbeitung, Stiltransfer und Superauflösung offline auszuführen, eröffne "unendliche Möglichkeiten" bei der KI-Bildgenerierung.
Stable Diffusion Android-App: Zunächst nur ein Machbarkeitsnachweis
Es bleibt abzuwarten, ob Stable Diffusion über Android-Smartphones weite Verbreitung finden wird. Zum einen ist das Video von Qualcomm nur ein Machbarkeitsnachweis, eine entsprechende App gibt es noch nicht und würde wohl ein neues High-End-Smartphone voraussetzen.
Zum anderen sind kommerzielle Alternativen wie Midjourney und DALL-E 2 immer noch komfortabler zu bedienen und liefern mit weniger Aufwand bessere Ergebnisse. Dennoch ist der technologische Fortschritt, diese rechenintensiven Aufgaben auf dem Smartphone durchführen zu können, bemerkenswert.
Das Thema KI verfolgt Qualcomm, zweitgrößter Hersteller von Smartphonechips weltweit, schon seit einigen Jahren. 2018 kündigte das Unternehmen in seinem neusten Smartphonechip eine für KI-Aufgaben optimierte "Neural Processing Unit" an. Im selben Jahr investierte das Unternehmen 100 Millionen US-Dollar in KI-Start-ups.
Im Juni 2022 ebnete Qualcomm den Weg für vielfältigere KI-Anwendungen mit dem AI Stack, der mehrere KI-Tools für die Smartphone-Entwicklung vereint. Auch die Stable-Diffusion-App wurde laut Qualcomm über den AI Stack umgesetzt und für das Smartphone optimiert.
