Inhalt
summary Zusammenfassung

Eine Feldstudie der Universitäten Cambridge und Harvard untersucht, ob große Sprachmodelle den Zugang zu dual-use-Biotechnologien demokratisieren, also zu Forschung, die sowohl für gute als auch für schlechte Zwecke eingesetzt werden kann.

Anzeige

Die grundlegende These des Forschungsteams ist, dass Sprachmodelle den Zugang zu Expertenwissen erleichtern. Dieser persönliche Tutor hat zwar viele Vorteile. Doch in der Studie konzentriert sich das Forschungsteam auf ein negatives Szenario: ob LLMs es Personen ohne formale Ausbildung ermöglichen, Viren zu identifizieren, zu erwerben und freizusetzen, die katastrophalen Schaden anrichten könnten.

Übungsaufgabe: Ein pandemisches Virus entwickeln

Im Rahmen einer Lehrübung am MIT stellte das Forschungsteam Studierenden, die keine Wissenschaftler waren, die Aufgabe, Informationen über potenzielle Pandemieerreger und ihre Eigenschaften, Bezugsquellen für Proben infektiöser Viren, die Replikationsfähigkeit dieser Viren und die Beschaffung von Ausrüstung und Ressourcen mit großen Sprachmodellen zu beschaffen.

Die Studierenden verwendeten gängige Chatbots wie ChatGPT mit GPT-4, GPT 3.5, Bing, Bard und eine Reihe anderer Chatbots und Open-Source-Modelle, einschließlich FreedomGPT. Sie hatten eine Stunde Zeit, die Aufgabe zu lösen.

Anzeige
Anzeige

Nach Angaben des Forschungsteams schlugen die Chatbots innerhalb einer Stunde vier potenzielle Pandemieerreger vor. Sie erklärten, wie diese aus synthetischer DNA mithilfe der reversen Genetik hergestellt werden können, und nannten DNA-Synthesefirmen, die Bestellungen wahrscheinlich nicht überprüfen würden.

Außerdem stellten sie detaillierte Protokolle und mögliche Fehler sowie deren Behebung vor. Wer sich mit reverser Genetik nicht auskenne, solle ein Auftragsforschungsinstitut beauftragen, so ein Ratschlag.

Unzureichende Sicherheitsvorkehrungen führen zu einem dystopischen Ausblick

Gleichzeitig sollten sich die Studierenden mit den Möglichkeiten auseinandersetzen, die in einigen Sprachmodellen integrierte Sicherheitslinie mit entsprechenden Textaufforderungen zu umgeben.

Zwei Gruppen fanden eine Lösung im "Do Anything Now"-Prinzip, bei dem man dem Chatbot eine positive Absicht vortäuscht und gleichzeitig mit einem existenziellen Risiko für die Menschheit droht. Eine dritte Gruppe gaukelte den Chatbots einfach vor, besorgt zu sein und erhielt so ohne große Tricks alle gewünschten Antworten.

Diese Ergebnisse deuten stark darauf hin, dass der bestehende Evaluierungs- und Trainingsprozess für LLMs, der sich stark auf Reinforcement Learning mit menschlichem Feedback (RLHF) stützt, unzureichend ist, um zu verhindern, dass böswillige Akteure Zugang zu für Massentötungen relevantem Wissen erhalten. Neue und zuverlässigere Schutzmaßnahmen werden dringend benötigt.

Aus dem Artikel

Das Fazit der Forschenden könnte dystopischer kaum sein: Wenn Chatbots Menschen ohne biowissenschaftliche Ausbildung Zugang zu pandemischen Erregern verschaffen, würde die Zahl der Individuen, die mehrere zehn Millionen Menschen töten könnten, dramatisch ansteigen.

Empfehlung

Doch das Forschungsteam hat mögliche Lösungen für dieses Risiko.

Mögliche Lösungen: Saubere Datensätze, unabhängige Tests und DNA-Screening

Um diese Risiken zu mindern, schlagen die Autoren mehrere Strategien vor, darunter die Kuratierung von Trainingsdatensätzen für LLMs und die Evaluierung neuer LLMs durch Dritte, wenn sie mindestens so groß sind wie GPT-3. Auch Open-Source-Teams sollten diese Sicherheitsmaßnahmen übernehmen, sonst könnte ihre Daseinsberechtigung in Frage gestellt werden.

Wenn Biotechnologie- und Informationssicherheitsexperten die für die Verursachung eines Massensterbens relevantesten Publikationen identifizieren und LLM-Entwickler ihre Trainingsdatensätze kuratieren, um diese Publikationen und damit verbundene Online-Informationen zu entfernen, dann wären zukünftige Modelle, die mit den kuratierten Daten trainiert werden, weit weniger in der Lage, jemandem, der Schaden anrichten will, konzeptionelle Einsichten und Rezepte für die Schaffung oder Verbesserung von Krankheitserregern zu liefern.

Aus dem Artikel

Darüber hinaus könnten DNA-Screenings helfen, potentiell schädliche Sequenzen zu identifizieren und zu markieren, bevor sie synthetisiert werden. Allerdings führten nicht alle in diesem Bereich tätigen Unternehmen Screenings durch. Diejenigen, die dies tun, verwendeten möglicherweise keine aktuellen Datenbanken oder keine robusten Screening-Methoden. Bessere DNA-Screening-Methoden seien daher erforderlich.

Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Eine Studie der Universitäten Cambridge und Harvard zeigt, dass große Sprachmodelle wie GPT-4 potenziell gefährliches Wissen, einschließlich Anleitungen zur Entwicklung von Pandemieviren, auch für Personen ohne formale biowissenschaftliche Ausbildung zugänglich machen können.
  • Die Studie weist auf Schwachstellen in den Sicherheitsmechanismen aktueller Sprachmodelle hin und zeigt, dass böswillige Akteure diese umgehen können, um an Informationen zu gelangen, die für Massentötungen verwendet werden könnten.
  • Als Lösungen schlagen die Autoren die Kuratierung von Trainingsdatensätzen, unabhängige Tests neuer LLMs und verbesserte DNA-Screening-Methoden vor, um potenziell schädliche DNA-Sequenzen zu identifizieren, bevor sie synthetisiert werden.
Quellen
Online-Journalist Matthias ist Gründer und Herausgeber von THE DECODER. Er ist davon überzeugt, dass Künstliche Intelligenz die Beziehung zwischen Mensch und Computer grundlegend verändern wird.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!