Ex-OpenAI-Forscher stellt KI-Modell vor, das keine Texte schreibt, sondern Entscheidungen bewertet

Das Prinzip hinter Jev ist simpel: Entwickler definieren Fragen und mögliche Antworten, das Modell bewertet die Optionen.

Anfragen vorsortieren statt Kunden antworten

Was das konkret bedeutet, zeigt ein Beispiel aus der Dokumentation: Ein Kunde schreibt einem Onlineshop, dass für seine Bestellung zweimal Geld abgebucht wurde, und bittet um Erstattung der zweiten Zahlung. Damit das Anliegen bearbeitet werden kann, muss es zunächst eingeordnet werden. Betrifft es eine Zahlung, eine Lieferung oder eine Rückgabe? Verlangt der Kunde Geld zurück oder will er lediglich eine Erklärung?

Hier soll Jev zum Einsatz kommen. Entwickler verbinden die Shopsoftware mit dem KI-System und legen solche Fragen samt erlaubten Antworten fest. Bei jeder neuen Nachricht übergibt die Software den Kundentext an Jev. Als Ergebnis erhält sie keinen Antwortbrief, sondern beispielsweise die Zuordnung "Zahlungsproblem" und eine Wahrscheinlichkeit dafür, dass der Kunde eine Rückerstattung verlangt.

Die Shopsoftware kann daran feste Regeln knüpfen: Zahlungsprobleme gehen an die Buchhaltung, Rückerstattungswünsche werden zusätzlich markiert. Bei uneindeutiger Zuordnung prüft ein Mitarbeiter die Anfrage. Jev liefert die Einschätzung, die Software bestimmt anhand der programmierten Regeln, was damit geschieht.

Damit ist das Geld allerdings noch nicht zurückgezahlt. Ob tatsächlich eine doppelte Abbuchung vorliegt, muss der weitere Bearbeitungsprozess anhand der Buchungen klären. Ein zusätzlicher Chatbot könnte dem Kunden den bestätigten Bearbeitungsstand mitteilen. Für das bloße Vorsortieren wird er nicht benötigt.

Antwortzeiten unter einer Sekunde sollen neue Einsätze ermöglichen

Laut TypeSafe liefert Jev Antworten in 70 bis 500 Millisekunden, das ist um ein Vielfaches schneller als selbst die schnellsten aktuellen Sprachmodelle. Das Modell verzichtet dafür auf die schrittweise Texterzeugung und berechnet laut Unternehmen mehrere Ausgaben parallel. Zusätzliche Fragen im selben Aufruf sollen die Antwortzeit kaum verlängern.

Diese Geschwindigkeit könnte etwa eine Prüfung vor jeder Antwort eines KI-Assistenten ermöglichen: Widerspricht der Entwurf dem bisherigen Gespräch? Behauptet er eine Rückerstattung, die im Kundenkonto nicht vermerkt ist? Solche Kontrollen beschreibt TypeSafe in seinen Beispielabläufen. Weitere mögliche Einsätze nennt das Unternehmen im Vertrieb und Kundendienst: Kaufinteresse erkennen, Anfragen nach Themen sortieren oder einschätzen, wann ein Mensch übernehmen sollte.

Allerdings können auch herkömmliche Sprachmodelle vorgegebene Kategorien und Datenstrukturen ausgeben. OpenAI bietet dafür beispielsweise Structured Outputs an. Ein strukturiertes Antwortformat allein unterscheidet Jev nicht von der Konkurrenz. Das Modell müsste solche Aufgaben nicht nur schneller oder günstiger erledigen, sondern auch bei ausreichender Qualität, um sich durchzusetzen.

Die veröffentlichten Leistungstests haben Grenzen. TypeSafe vergleicht vier selbst entwickelte Arbeitsabläufe und nutzt als Referenz Antworten anderer KI-Modelle, nicht unabhängig überprüfte korrekte Lösungen. GPT-6 Astra fehlt zudem in den Bewertungen. Dafür ist das Modell sehr günstig: TypeSafe nennt einen Preis von 0,042 US-Dollar je Million Eingabetokens. Für Ausgaben berechnet das Unternehmen nach eigenen Angaben nichts.

Keine Halluzinationen bedeutet nicht keine Fehler

TypeSafe bewirbt Jev als Modell, das nicht halluzinieren könne. Diese Garantie betrifft jedoch lediglich die erlaubte Ausgabestruktur: Das Modell soll keine Antwort außerhalb der vorgegebenen Möglichkeiten erzeugen. Eine sachlich falsche Auswahl innerhalb dieser Optionen bleibt möglich.

Der mögliche Nutzen von Jev ist damit eng: Das Modell soll viele kleine Bewertungen im Hintergrund wirtschaftlicher machen. Ob diese zuverlässig genug ausfallen, müssen Unternehmen für ihre jeweiligen Aufgaben selbst prüfen. Entwickler erhalten zunächst über eine Warteliste Zugang.