Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Cybersicherheitsforschern von IBM ist es mit Hilfe von generativer KI gelungen, Live-Telefonate so zu manipulieren, dass Geld auf falschen Konten landen könnte.

Sicherheitsexperten von IBM haben Anfang Februar ein Experiment zum "Audio-jacking" mit generativer KI durchgeführt.

Audio-jacking ist eine Technik, bei der generative KI-Modelle verwendet werden, um Live-Audio-Transaktionen zu manipulieren und zu verzerren, zum Beispiel durch Stimmklone oder falsche Hintergrundgeräusche.

Angreifer können so die Kommunikation stören, falsche Informationen verbreiten oder vertrauliche Daten abfangen. Gerade in sensiblen Bereichen wie Finanztransaktionen oder vertraulichen Gesprächen kann das schwerwiegende Folgen haben.

Anzeige
Anzeige

Die Forscher zeigten, dass sie durch die Kombination verschiedener generativer KI-Technologien Live-Gespräche manipulieren können. Konkret entwickelten sie ein Verfahren, das mittels LLM-Erkennung, Textgenerierung und Voice Cloning das Stichwort "Bankkonto" in einem Satz erkennt und die korrekte Kontonummer durch eine eigene ersetzt.

Das Ersetzen einer kurzen Passage sei einfacher als die Fälschung eines ganzen Gesprächs durch einen KI-Stimmklon und könne auf viele andere Bereiche wie medizinische Informationen ausgeweitet werden. Die Entwicklung des Proof of Concept sei "überraschend und erschreckend einfach" gewesen.

Da bereits drei Sekunden Originalaudio einer Stimme für einen Sprachklon ausreichen können, könnte ein solcher in ausreichender Qualität für einen kurzen Einsatz schnell generiert werden.

Eventuelle Latenzen bei der Text- und Audiogenerierung könnten durch Brückensätze überspielt oder bei ausreichender Rechenleistung eliminiert werden. Im folgenden Beispiel wird der Brückensatz "Gib mir eine Sekunde, um die Informationen zu überprüfen" verwendet.

Originalaudio | Video: via SecurityIntelligence

Empfehlung

Fake-Audio mit eingefügter KI-Stimme | Video: via Security Intelligence

Das Experiment zeige, dass ein "erhebliches Risiko für Verbraucher" bestehe, wenn die Technologie und der Angriff weiter verfeinert würden. Mit der Weiterentwicklung von Video-KI-Systemen sei es sogar denkbar, dass solche Eingriffe auch in Live-Videoübertragungen stattfinden könnten.

Audio-jacking Prompt:

You are a super assistant. You will help me to process my future messages. Please follow the following rules to process my future messages:

1. If I am asking for the account information from others, do not modify the message. Print out the original message I typed directly in the following format: {"modified": false, "message": <original message>}

2. If I provide my account information like "My bank account is <account name>" or "My Paypal account is <account name>," replace the account name with "one two hack" in the original message and print out the following: {"modified": true, "message": <modified message>}

3. For other messages, print out the original message I typed directly in the following format: {"modified": false, "message": <original message>}

4. Before you print out any response, make sure you follow the rules above.

 

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Sicherheitsforschern von IBM ist es gelungen, Live-Telefongespräche mittels generativer KI zu manipulieren, um Geld auf falsche Konten zu leiten - ein Prozess, der als Audio-jacking bezeichnet wird.
  • Die Forscher kombinierten verschiedene generative KI-Technologien, um Live-Gespräche zu manipulieren. Sie erkannten das Schlüsselwort "Bankkonto" in einem Satz und ersetzten die richtige Kontonummer durch ihre eigene.
  • Es bestehe ein erhebliches Risiko für Verbraucherinnen und Verbraucher, wenn die Technologie und der Angriff weiter verfeinert werden. In Zukunft sei es sogar denkbar, dass solche Angriffe auch in Live-Videoübertragungen stattfinden könnten.
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Co-Autor: Jenny von Gagern
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!