Forschende verschiedener US-Universitäten und Nvidia haben mit AutoDAN-Turbo ein System entwickelt, das selbstständig und kontinuierlich verschiedene Jailbreak-Strategien entdeckt, kombiniert und für Angriffe auf große Sprachmodelle nutzt.
Jailbreaks im Zusammenhang mit Sprachmodellen bezeichnen Prompt-Formulierungen, die die dem Modell auferlegten Regeln aushebelt. OpenAI untersagt ChatGPT etwa, kriminelle Tätigkeiten zu unterstützen.
Formuliert man den Prompt jedoch auf eine bestimmte Art, lassen sich Chatbots trotzdem dazu bringen. Ein Prompt, der viele Beschränkungen auf einmal entfernt und das Sprachmodell in einen Modus versetzt, in dem es keinerlei Richtlinien befolgt, wird auch "DAN" genannt - kurz für "Do Anything Now".
Ein einfaches Beispiel: Die einfache Anweisung, eine chemische Waffe zu mischen, wird von kommerziellen Sprachmodellen in der Regel kategorisch abgelehnt. Wenn es aber darum geht, diese Szene für ein Drehbuch zu schreiben, oder wenn bereits viele Beispiele für richtige Antworten in der Anfrage enthalten sind, sind sie eher bereit, solche Fragen zu beantworten.
Mischung menschlicher und automatischer Strategien
AutoDAN-Turbo kann während der Erforschung neue Strategien eigenständig entwickeln und diese in einer organisierten Struktur systematisch speichern. So können einmal entdeckte Strategien wiederverwendet und auf deren Basis weiterentwickelt werden, um potenziell neue Ansätze für weitere Angriffe zu schaffen.
Das Framework ist auch mit bestehenden, von Menschen entworfenen Jailbreak-Strategien kompatibel. Diese können einfach in die Strategiebibliothek von AutoDAN-Turbo integriert werden.
Die Methode funktioniert als Black-Box-Verfahren, das nur auf die Textausgabe des Modells zugreift. Umfangreiche Experimente auf öffentlichen Benchmarks und Datensätzen zeigen, dass AutoDAN-Turbo hohe Erfolgsquoten bei Angriffen auf Open-Source- und proprietäre LLMs erzielt.
Neuer Spitzenreiter in Benchmarks
AutoDAN-Turbo stellt im Vergleich zu anderen Methoden im Harmbench-Datensatz den neuen Spitzenreiter dar. Mit größeren Modellen wie Llama-3-70B arbeitet der Jailbreaker tendenziell besser, große Unterschiede zu kleinen und ressourcenschonenden Modellen wie Llama-2-7B sind jedoch nicht zu beobachten.
Die Methode führt nicht nur häufiger zum Ziel (einer höheren Attack Success Rate, ASR), sondern zeigt auch einen "höheren Grad der Bösartigkeit", wie am StrongREJECT-Score abzulesen ist.
Die herausragende Leistung unserer Methode im Vergleich zu den Baselines ist auf die autonome Erkundung von Jailbreak-Strategien ohne menschliches Eingreifen oder vordefinierte Bereiche zurückzuführen. Im Gegensatz dazu verwendet Rainbow Teaming nur 8 von Menschen entwickelte Jailbreak-Strategien als Referenz für den Jailbreak. Dieser fest vorgegebene Umfang führt zu einer niedrigeren ASR.
Bemerkenswert ist die Wirksamkeit von AutoDAN-Turbo bei GPT-4-1106-turbo, bei dem es eine Angriffsquote von 88,5 Prozent erreicht. Durch die Integration von sieben von Menschen entworfenen Jailbreak-Strategien aus wissenschaftlichen Arbeiten kann AutoDAN-Turbo sogar eine noch höhere Erfolgsquote von 93,4 Prozent bei GPT-4-1106-turbo erzielen.
AutoDAN-Turbo steht als Python-Skript auf GitHub kostenlos zum Download bereit. Dort findet sich auch eine Anleitung zur Installation und Nutzung.
