Eine Feldstudie der Universitäten Cambridge und Harvard untersucht, ob große Sprachmodelle den Zugang zu dual-use-Biotechnologien demokratisieren, also zu Forschung, die sowohl für gute als auch für schlechte Zwecke eingesetzt werden kann.
Die grundlegende These des Forschungsteams ist, dass Sprachmodelle den Zugang zu Expertenwissen erleichtern. Dieser persönliche Tutor hat zwar viele Vorteile. Doch in der Studie konzentriert sich das Forschungsteam auf ein negatives Szenario: ob LLMs es Personen ohne formale Ausbildung ermöglichen, Viren zu identifizieren, zu erwerben und freizusetzen, die katastrophalen Schaden anrichten könnten.
Übungsaufgabe: Ein pandemisches Virus entwickeln
Im Rahmen einer Lehrübung am MIT stellte das Forschungsteam Studierenden, die keine Wissenschaftler waren, die Aufgabe, Informationen über potenzielle Pandemieerreger und ihre Eigenschaften, Bezugsquellen für Proben infektiöser Viren, die Replikationsfähigkeit dieser Viren und die Beschaffung von Ausrüstung und Ressourcen mit großen Sprachmodellen zu beschaffen.
Die Studierenden verwendeten gängige Chatbots wie ChatGPT mit GPT-4, GPT 3.5, Bing, Bard und eine Reihe anderer Chatbots und Open-Source-Modelle, einschließlich FreedomGPT. Sie hatten eine Stunde Zeit, die Aufgabe zu lösen.
Nach Angaben des Forschungsteams schlugen die Chatbots innerhalb einer Stunde vier potenzielle Pandemieerreger vor. Sie erklärten, wie diese aus synthetischer DNA mithilfe der reversen Genetik hergestellt werden können, und nannten DNA-Synthesefirmen, die Bestellungen wahrscheinlich nicht überprüfen würden.
Außerdem stellten sie detaillierte Protokolle und mögliche Fehler sowie deren Behebung vor. Wer sich mit reverser Genetik nicht auskenne, solle ein Auftragsforschungsinstitut beauftragen, so ein Ratschlag.
Unzureichende Sicherheitsvorkehrungen führen zu einem dystopischen Ausblick
Gleichzeitig sollten sich die Studierenden mit den Möglichkeiten auseinandersetzen, die in einigen Sprachmodellen integrierte Sicherheitslinie mit entsprechenden Textaufforderungen zu umgeben.
Zwei Gruppen fanden eine Lösung im "Do Anything Now"-Prinzip, bei dem man dem Chatbot eine positive Absicht vortäuscht und gleichzeitig mit einem existenziellen Risiko für die Menschheit droht. Eine dritte Gruppe gaukelte den Chatbots einfach vor, besorgt zu sein und erhielt so ohne große Tricks alle gewünschten Antworten.
Diese Ergebnisse deuten stark darauf hin, dass der bestehende Evaluierungs- und Trainingsprozess für LLMs, der sich stark auf Reinforcement Learning mit menschlichem Feedback (RLHF) stützt, unzureichend ist, um zu verhindern, dass böswillige Akteure Zugang zu für Massentötungen relevantem Wissen erhalten. Neue und zuverlässigere Schutzmaßnahmen werden dringend benötigt.
Aus dem Artikel
Das Fazit der Forschenden könnte dystopischer kaum sein: Wenn Chatbots Menschen ohne biowissenschaftliche Ausbildung Zugang zu pandemischen Erregern verschaffen, würde die Zahl der Individuen, die mehrere zehn Millionen Menschen töten könnten, dramatisch ansteigen.
Doch das Forschungsteam hat mögliche Lösungen für dieses Risiko.
Mögliche Lösungen: Saubere Datensätze, unabhängige Tests und DNA-Screening
Um diese Risiken zu mindern, schlagen die Autoren mehrere Strategien vor, darunter die Kuratierung von Trainingsdatensätzen für LLMs und die Evaluierung neuer LLMs durch Dritte, wenn sie mindestens so groß sind wie GPT-3. Auch Open-Source-Teams sollten diese Sicherheitsmaßnahmen übernehmen, sonst könnte ihre Daseinsberechtigung in Frage gestellt werden.
Wenn Biotechnologie- und Informationssicherheitsexperten die für die Verursachung eines Massensterbens relevantesten Publikationen identifizieren und LLM-Entwickler ihre Trainingsdatensätze kuratieren, um diese Publikationen und damit verbundene Online-Informationen zu entfernen, dann wären zukünftige Modelle, die mit den kuratierten Daten trainiert werden, weit weniger in der Lage, jemandem, der Schaden anrichten will, konzeptionelle Einsichten und Rezepte für die Schaffung oder Verbesserung von Krankheitserregern zu liefern.
Aus dem Artikel
Darüber hinaus könnten DNA-Screenings helfen, potentiell schädliche Sequenzen zu identifizieren und zu markieren, bevor sie synthetisiert werden. Allerdings führten nicht alle in diesem Bereich tätigen Unternehmen Screenings durch. Diejenigen, die dies tun, verwendeten möglicherweise keine aktuellen Datenbanken oder keine robusten Screening-Methoden. Bessere DNA-Screening-Methoden seien daher erforderlich.
