Nvidias NeMo Guardrails soll Chatbots wie ChatGPT sicherer für den Einsatz in Unternehmensanwendungen machen.
Generative KI-Modelle durchdringen unsere digitale Infrastruktur, sei es für Bilder, Text oder Code. Nvidia bietet mit NeMo bereits seit einiger Zeit ein Open-Source-Framework für das Training und den Einsatz großer Sprachmodelle an. Nun kommt mit NeMo Guardrails ein weiterer Baustein hinzu, der gleich drei Probleme solcher Modelle adressiert.
Wie macht man ChatGPT fit für Unternehmensanwendungen?
Chatbots wie ChatGPT von OpenAI können über Toolkits wie LangChain oder Automatisierungsplattformen wie Zapier mit Anwendungen von Drittanbietern verknüpft werden, um beispielsweise im Support-Chat von Unternehmen Fragen zu beantworten, im Coding zu helfen, E-Mails zu versenden oder Termine zu vereinbaren.
Das ist nützlich, denn die Fähigkeit von ChatGPT, all diese Aufgaben im Dialog mit Menschen zu erledigen, geht in vielen Fällen weit über das Niveau klassischer Lösungen hinaus. Doch mit den generellen Fähigkeiten kommen auch Probleme.
Theoretisch kann ChatGPT Fragen zu allen möglichen Themen beantworten - im Falle einer Unternehmensanwendung ist dies jedoch nicht erwünscht: Ein Chatbot im Support sollte beispielsweise auf die Frage nach Alternativen keine Konkurrenzprodukte empfehlen oder auf Anfrage einen Aufsatz über den freien Willen verfassen.
Ein weiteres Problem sind Halluzinationen und toxische Inhalte, die Sprachmodelle produzieren können - und wenn ein Chatbot Zugriff auf Anwendungen von Drittanbietern hat, könnte ein Angreifer durch gezielte Anfragen unerwünschte Aktionen auslösen.
Nvidia will mit NeMo Guardrails die Entwicklung von Sicherheitsstandards vorantreiben
Nvidia will diese drei Probleme angehen und entwickelt mit NeMo Guardrail ein auf Python basierendes Framework, das Toolkits wie LangChain oder Zapier vorgeschaltet werden kann, um die Ausgaben und Aktionen, die die Nutzerinnen und Nutzer sehen, zu filtern und zu regulieren.
In der Praxis können Unternehmen in Guardrail mit einer von Nvidia zu diesem Zweck entwickelten Programmiersprache verschiedene Regeln festlegen, z. B. was und wie ein Chatbot wie ChatGPT antworten darf, ob Fakten über ein anderes Modell überprüft werden sollen, sowie erlaubte APIs konfigurieren und Jailbreak-Versuche erkennen.
"Sicherheit und Vertrauen sind die Eckpfeiler einer verantwortungsvollen KI-Entwicklung, und wir sind begeistert von Nvidias proaktivem Ansatz, diese Leitplanken in KI-Systeme einzubauen", sagte Reid Robinson, Lead Product Manager für KI bei Zapier, über Guardrails. "Wir freuen uns auf die Vorteile, die sich daraus ergeben, dass KI ein zuverlässiger und vertrauenswürdiger Teil der Zukunft wird".
Laut Nvidia funktioniert NeMo Guardrails mit allen wichtigen Sprachmodellen wie GPT-4. NeMo Guardrails ist als Open Source auf GitHub verfügbar und darüber hinaus in Nvidias NeMo Framework als Teil der AI Enterprise Software Suite sowie als Cloud-Service in Nvidias AI Foundations integriert.
