Inhalt
summary Zusammenfassung
DEEP MINDS Podcast
Podcast über Künstliche Intelligenz und Wissenschaft
KI bei der Bundeswehr und der BWI | DEEP MINDS #16

Nvidias NeMo Guardrails soll Chatbots wie ChatGPT sicherer für den Einsatz in Unternehmensanwendungen machen.

Generative KI-Modelle durchdringen unsere digitale Infrastruktur, sei es für Bilder, Text oder Code. Nvidia bietet mit NeMo bereits seit einiger Zeit ein Open-Source-Framework für das Training und den Einsatz großer Sprachmodelle an. Nun kommt mit NeMo Guardrails ein weiterer Baustein hinzu, der gleich drei Probleme solcher Modelle adressiert.

Wie macht man ChatGPT fit für Unternehmensanwendungen?

Chatbots wie ChatGPT von OpenAI können über Toolkits wie LangChain oder Automatisierungsplattformen wie Zapier mit Anwendungen von Drittanbietern verknüpft werden, um beispielsweise im Support-Chat von Unternehmen Fragen zu beantworten, im Coding zu helfen, E-Mails zu versenden oder Termine zu vereinbaren.

Das ist nützlich, denn die Fähigkeit von ChatGPT, all diese Aufgaben im Dialog mit Menschen zu erledigen, geht in vielen Fällen weit über das Niveau klassischer Lösungen hinaus. Doch mit den generellen Fähigkeiten kommen auch Probleme.

Anzeige
Anzeige

Theoretisch kann ChatGPT Fragen zu allen möglichen Themen beantworten - im Falle einer Unternehmensanwendung ist dies jedoch nicht erwünscht: Ein Chatbot im Support sollte beispielsweise auf die Frage nach Alternativen keine Konkurrenzprodukte empfehlen oder auf Anfrage einen Aufsatz über den freien Willen verfassen.

Ein weiteres Problem sind Halluzinationen und toxische Inhalte, die Sprachmodelle produzieren können - und wenn ein Chatbot Zugriff auf Anwendungen von Drittanbietern hat, könnte ein Angreifer durch gezielte Anfragen unerwünschte Aktionen auslösen.

Nvidia will mit NeMo Guardrails die Entwicklung von Sicherheitsstandards vorantreiben

Nvidia will diese drei Probleme angehen und entwickelt mit NeMo Guardrail ein auf Python basierendes Framework, das Toolkits wie LangChain oder Zapier vorgeschaltet werden kann, um die Ausgaben und Aktionen, die die Nutzerinnen und Nutzer sehen, zu filtern und zu regulieren.

In der Praxis können Unternehmen in Guardrail mit einer von Nvidia zu diesem Zweck entwickelten Programmiersprache verschiedene Regeln festlegen, z. B. was und wie ein Chatbot wie ChatGPT antworten darf, ob Fakten über ein anderes Modell überprüft werden sollen, sowie erlaubte APIs konfigurieren und Jailbreak-Versuche erkennen.

"Sicherheit und Vertrauen sind die Eckpfeiler einer verantwortungsvollen KI-Entwicklung, und wir sind begeistert von Nvidias proaktivem Ansatz, diese Leitplanken in KI-Systeme einzubauen", sagte Reid Robinson, Lead Product Manager für KI bei Zapier, über Guardrails. "Wir freuen uns auf die Vorteile, die sich daraus ergeben, dass KI ein zuverlässiger und vertrauenswürdiger Teil der Zukunft wird".

Empfehlung

Laut Nvidia funktioniert NeMo Guardrails mit allen wichtigen Sprachmodellen wie GPT-4. NeMo Guardrails ist als Open Source auf GitHub verfügbar und darüber hinaus in Nvidias NeMo Framework als Teil der AI Enterprise Software Suite sowie als Cloud-Service in Nvidias AI Foundations integriert.

Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Unterstütze unsere unabhängige, frei zugängliche Berichterstattung. Jeder Betrag hilft und sichert unsere Zukunft. Jetzt unterstützen:
Banküberweisung
Zusammenfassung
  • Nvidia startet NeMo Guardrails, ein Open-Source-Framework, das den Einsatz von Sprachmodellen in Unternehmensanwendungen sicherer machen soll.
  • Guardrails ist einfach zu programmieren und ermöglicht es, Sprachmodelle auf bestimmte Themen zu beschränken, Halluzinationen und toxische Inhalte besser zu erkennen und es Angreifern schwerer zu machen, beispielsweise Chatbots zu hacken, um Anwendungen von Drittanbietern zu kontrollieren.
  • Guardrails ist Open Source und als Teil der AI Enterprise Software Suite sowie als Cloud-Service in die AI Foundations von Nvidia integriert.
Max ist leitender Redakteur bei THE DECODER. Als studierter Philosoph beschäftigt er sich mit dem Bewusstsein, KI und der Frage, ob Maschinen wirklich denken können oder nur so tun als ob.
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!