Nvidia stellt neue Sicherheitsfilter für KI-Chatbots vor

Nvidia führt drei neue NIM Microservices für seine NeMo Guardrails Plattform ein, die Gespräche mit KI-Chatbots sicherer machen sollen: Der Content-Safety-Dienst soll automatisch KI-Ausgaben auf problematische oder schädliche Inhalte prüfen und diese herausfiltern, bevor sie den Nutzer erreichen. Der Topic-Control-Dienst soll dafür sorgen, dass KI-Gespräche innerhalb vorgegebener Themenbereiche bleiben und keine unerwünschten Abschweifungen entstehen. Der Jailbreak-Detection-Dienst soll systematisch Versuche erkennen und blockieren, mit denen Angreifer die Sicherheitssysteme der KI austricksen wollen. Die Dienste nutzen laut Nvidia kleine, spezialisierte Sprachmodelle, die weniger Rechenleistung benötigen sollen als große Modelle. Erste Unternehmen wie Amdocs, Cerence AI und Lowe's testen die Technologie laut Nvidia bereits in ihren Systemen. Die Microservices sind Teil der Open-Source-Software NeMo Guardrails und stehen Entwicklern kostenlos zur Verfügung.