Autoren HubMatthias Bastian

Laut einer Analyse von Robust Intelligence kann das NeMo-Framework von Nvidia, das Chatbots sicherer machen soll, manipuliert werden, um Schutzmechanismen durch Prompt-Injection-Angriffe zu umgehen.

In einem Testszenario wiesen die Forscher das Nvidia-System an, die Buchstaben "I" und "J" zu vertauschen, was dazu führte, dass das System persönlich identifizierbare Informationen preisgab. Nvidia hat nach eigenen Angaben inzwischen eine der Ursachen für das Problem behoben, dennoch rät Robust Intelligence Kunden, das Produkt zu meiden. Eine ausführliche Beschreibung der Ergebnisse von Robust Intelligence ist in ihrem Blog zu finden.

Das KI-Start-up Cohere hat von Investoren wie Nvidia, Oracle und Salesforce eine Finanzierung in Höhe von 270 Millionen US-Dollar erhalten. Cohere hat sich auf die Entwicklung von generativer KI für Unternehmen spezialisiert, die sicher mit sensiblen Unternehmensdaten umgeht, und bietet Large Language Models (LLMs) an, die an die Bedürfnisse der Kunden angepasst werden können. Das Sprachmodell des Unternehmens, das von ehemaligen Mitgliedern des Google Brain Teams gegründet wurde, basiert auf der Transformer-Architektur. Cohere hat Büros in Toronto, Palo Alto, San Francisco und London.