Inhalt
summary Zusammenfassung

Der TikTok-Filter "AI Meme Maker" zeigt, welche Auswirkungen unregulierte KI haben kann: Er beleidigt vor allem übergewichtige Menschen. Der Filter ist derzeit offline, hat aber bereits Schaden angerichtet.

Vermutlich Mitte August 2023 hat die Social-Media-Plattform TikTok einen neuen Filter namens "AI Meme Maker" eingeführt, mit dem Nutzer:innen etwa ein Selfie hochladen können. Die künstliche Intelligenz baut daraus dann ein sogenanntes Makro-Meme, legt also einen passenden Text über das Bild.

Doch schnell stellte sich heraus, dass die Texte oft beleidigend sind und die Nutzer:innen aufgrund ihres Aussehens oder Gewichts verspotten. Das gab dem Effekt den Namen "AI Roast". Eines der bekanntesten Beispiele stammt von der TikTokerin @mrmustachesmom mit mehr als 14 Millionen Aufrufen.

Video: @mrmustachesmom/TikTok

Anzeige
Anzeige

Nachdem sich die Beschwerden gehäuft hatten, schaltete TikTok den Filter vorübergehend ab, wobei die Hintergründe mangels einer offiziellen Stellungnahme der Plattform unklar bleiben.

Im September 2023 wurde der Filter ohne große Ankündigung wieder eingeführt, nun immerhin mit dem Hinweis, die KI liefere "nicht immer angemessene oder relevante Vorschläge".

Aktuell, am 24. Oktober 2023, ist der Filter nicht mehr in der TikTok-Filterliste zu finden.

TikTok winkt inoffiziellen KI-Filter durch

Die meisten Effekte auf TikTok werden von Dritten entwickelt, die nur unter ihrem TikTok-Namen bekannt sind. So ist es auch beim "AI Meme Maker". Wer genau hinter dem Filter steckt, ist derzeit nicht bekannt.

Nach Angaben von TikTok werden jedoch alle Filter von einem Sicherheitsteam überprüft, das sich offenbar nicht an den beleidigenden KI-Texten störte.

Empfehlung
Bild: via Justine Moore, twitter.com

"Viele Filter fallen durchs Raster, weil sie nur gegenüber einer bestimmten Gruppe von Menschen diskriminierend sind oder Vorurteile haben", schreibt Tricia Crimmins in ihrer Kolumne bei Daily Dot. Der AI Meme Maker sei einer davon und diskriminiere dicke Menschen. Dass der Filter erneut nicht verfügbar ist, könnte mit der Kritik zusammenhängen.

Ob alle Memes, die angeblich aus dem AI Meme Maker stammen, auch wirklich von einer KI betextet wurden, lässt sich nicht mit Sicherheit feststellen. Nach der Anwendung des Effekts können Nutzer:innen den Text beliebig anpassen.

Dass KI-Modelle Stereotype verstärken können, haben in der Vergangenheit schon verschiedene Studien nahegelegt.

Auch ChatGPT kann beleidigend werden

Voraussetzung für derartige Ergebnisse ist, dass die KI das Bild analysieren kann. Dazu ist ChatGPT seit GPT-4V in der Lage. OpenAI hat zwar Maßnahmen ergriffen, damit der Chatbot keine Beleidigungen gegen die abgebildeten Personen ausspricht.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!

Diese lassen sich jedoch durch einfaches Prompt Engineering leicht umgehen - zum Beispiel durch die Behauptung, es handele sich nicht um ein Foto, sondern um ein Gemälde und die Personen darauf seien fiktiv.

Bild: via Steve Moser, twitter.com
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Bei TikTok gab es zeitweise einen Effekt namens "AI Meme Maker", der von Benutzer:innen hochgeladene Selfies in Memes verwandelte. Viele Benutzer:innen empfanden die generierten Texte jedoch als beleidigend und anstößig, was zu einer vorübergehenden Deaktivierung führte.
  • Der Filter wurde zwar nicht von TikTok selbst veröffentlicht, aber zur Verfügung gestellt. Derzeit scheint er aus der Effektdatenbank der Plattform entfernt worden zu sein.
  • Dieser Vorfall verdeutlicht das Problem der Verstärkung von Stereotypen durch KI-Modelle, auf das bereits in der Vergangenheit in verschiedenen Studien hingewiesen wurde.
Jonathan ist Technikjournalist und beschäftigt sich stark mit Consumer Electronics. Er erklärt seinen Mitmenschen, wie KI bereits heute nutzbar ist und wie sie im Alltag unterstützen kann.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!