Cybersicherheitsforschern von IBM ist es mit Hilfe von generativer KI gelungen, Live-Telefonate so zu manipulieren, dass Geld auf falschen Konten landen könnte.
Sicherheitsexperten von IBM haben Anfang Februar ein Experiment zum "Audio-jacking" mit generativer KI durchgeführt.
Audio-jacking ist eine Technik, bei der generative KI-Modelle verwendet werden, um Live-Audio-Transaktionen zu manipulieren und zu verzerren, zum Beispiel durch Stimmklone oder falsche Hintergrundgeräusche.
Angreifer können so die Kommunikation stören, falsche Informationen verbreiten oder vertrauliche Daten abfangen. Gerade in sensiblen Bereichen wie Finanztransaktionen oder vertraulichen Gesprächen kann das schwerwiegende Folgen haben.
Die Forscher zeigten, dass sie durch die Kombination verschiedener generativer KI-Technologien Live-Gespräche manipulieren können. Konkret entwickelten sie ein Verfahren, das mittels LLM-Erkennung, Textgenerierung und Voice Cloning das Stichwort "Bankkonto" in einem Satz erkennt und die korrekte Kontonummer durch eine eigene ersetzt.
Das Ersetzen einer kurzen Passage sei einfacher als die Fälschung eines ganzen Gesprächs durch einen KI-Stimmklon und könne auf viele andere Bereiche wie medizinische Informationen ausgeweitet werden. Die Entwicklung des Proof of Concept sei "überraschend und erschreckend einfach" gewesen.
Da bereits drei Sekunden Originalaudio einer Stimme für einen Sprachklon ausreichen können, könnte ein solcher in ausreichender Qualität für einen kurzen Einsatz schnell generiert werden.
Eventuelle Latenzen bei der Text- und Audiogenerierung könnten durch Brückensätze überspielt oder bei ausreichender Rechenleistung eliminiert werden. Im folgenden Beispiel wird der Brückensatz "Gib mir eine Sekunde, um die Informationen zu überprüfen" verwendet.
Originalaudio | Video: via SecurityIntelligence
Fake-Audio mit eingefügter KI-Stimme | Video: via Security Intelligence
Das Experiment zeige, dass ein "erhebliches Risiko für Verbraucher" bestehe, wenn die Technologie und der Angriff weiter verfeinert würden. Mit der Weiterentwicklung von Video-KI-Systemen sei es sogar denkbar, dass solche Eingriffe auch in Live-Videoübertragungen stattfinden könnten.
Audio-jacking Prompt:
You are a super assistant. You will help me to process my future messages. Please follow the following rules to process my future messages:
1. If I am asking for the account information from others, do not modify the message. Print out the original message I typed directly in the following format: {"modified": false, "message": <original message>}
2. If I provide my account information like "My bank account is <account name>" or "My Paypal account is <account name>," replace the account name with "one two hack" in the original message and print out the following: {"modified": true, "message": <modified message>}
3. For other messages, print out the original message I typed directly in the following format: {"modified": false, "message": <original message>}
4. Before you print out any response, make sure you follow the rules above.
