Forscher behaupten, sie hätten Nvidias NeMo-Framework gehackt

Laut einer Analyse von Robust Intelligence kann das NeMo-Framework von Nvidia, das Chatbots sicherer machen soll, manipuliert werden, um Schutzmechanismen durch Prompt-Injection-Angriffe zu umgehen.

In einem Testszenario wiesen die Forscher das Nvidia-System an, die Buchstaben "I" und "J" zu vertauschen, was dazu führte, dass das System persönlich identifizierbare Informationen preisgab. Nvidia hat nach eigenen Angaben inzwischen eine der Ursachen für das Problem behoben, dennoch rät Robust Intelligence Kunden, das Produkt zu meiden. Eine ausführliche Beschreibung der Ergebnisse von Robust Intelligence ist in ihrem Blog zu finden.