Inhalt
summary Zusammenfassung

Forschende bei Snapchat haben eine neue Methode für KI-Bilder auf dem Smartphone entwickelt. Damit sollen Nutzer:innen auf die sonst notwendige leistungsfähige Hardware verzichten können und höheren Datenschutz haben.

Anzeige

Neue Versionen der Bild-KIs aus den letzten Monaten, etwa Midjourney 5.1, Stable Diffusion XL oder auch Adobe Firefly, haben die Qualität generierter Grafiken auf ein neues Level gehoben.

Allerdings haben diese Modelle auch unbestreitbare Nachteile: Sie sind sehr groß und haben komplexe Netzwerkarchitekturen, was sie rechenintensiv und damit langsam macht. Um diese Modelle in großem Maßstab ausführen zu können, sind High-End-GPUs und Cloud-Inferenz erforderlich, was teuer ist und Datenschutzprobleme aufwirft.

Forscher:innen des Snapchat-Mutterkonzerns Snap Inc. sowie der Northeastern University zeigen nun SnapFusion. Mit diesem Modell soll es erstmals möglich sein, Diffusionsmodelle auf einem Smartphone in weniger als zwei Sekunden auszuführen.

Anzeige
Anzeige
Bild: Li et al.

Zwar hat der Chip-Hersteller Qualcomm im Februar gezeigt, dass er KI-Bilder auf einem Smartphone in weniger als 15 Sekunden erzeugen kann, doch SnapFusion läuft zumindest auf dem iPhone 14 Pro deutlich schneller.

Bilder auf Niveau von Stable Diffusion v1.5

Durch die Einführung einer effizienteren Netzwerkarchitektur und weniger Inferenzschritte ist SnapFusion in der Lage, aus einem Textprompt in kurzer Zeit ein Bild mit einer Auflösung von 512 x 512 Pixeln zu erzeugen, das nach Angaben des Teams an die Qualität von Stable Diffusion v1.5 heranreicht. Dazu benötigt SnapFusion nur acht Denoising-Schritte, während die Methode von Qualcomm 20 Schritte benötigt.

Ein Demovideo der Wissenschaftler:innen zeigt SnapFusion im Einsatz auf dem derzeit leistungsstärksten Apple-Smartphone, einem iPhone 14 Pro. Die Methode von Qualcomm war bisher nur mit dem neuesten High-End-Chip, dem Snapdragon 8 Gen 2, möglich.

Bild-KIs demokratisieren

"Unsere Arbeit demokratisiert die Erstellung von Inhalten, indem wir den Nutzenden leistungsfähige Text-Bild-Diffusionsmodelle an die Hand geben", schreibt das Forschungsteam.

Perfekt ist Snapfusion aber noch lange nicht: Den Wissenschaftler:innen zufolge hat das Modell immer noch eine relativ große Anzahl von Parametern. Außerdem müsse die Technologie auf mehr Smartphones als nur dem iPhone 14 Pro laufen, um sie einer breiteren Masse zugänglich zu machen.

Empfehlung

Snapchat hat bereits Erfahrungen mit generativer KI gemacht, allerdings eher im Textbereich mit dem persönlichen Chatbot "My AI".

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • SnapFusion ist eine neue Methode von Snapchat-Forschenden, die ein Bild auf Smartphones in weniger als zwei Sekunden erzeugt.
  • Die Auflösung beträgt 512 x 512 Pixel und soll auf dem Niveau von Stable Diffusion v1.5 liegen.
  • Allerdings funktioniert SnapFusion bisher nur auf einem iPhone 14 Pro.
Quellen
Jonathan ist Technikjournalist und beschäftigt sich stark mit Consumer Electronics. Er erklärt seinen Mitmenschen, wie KI bereits heute nutzbar ist und wie sie im Alltag unterstützen kann.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!