OpenAI lässt Hunderte Vertragsarbeiter echte ChatGPT-Gespräche lesen und bewerten

OpenAI beschäftigt Hunderte Vertragsarbeiter, die echte ChatGPT-Nutzergespräche lesen, um die Antworten des Chatbots zu verbessern.

Das berichtet 404 Media auf Basis geleakter interner Dokumente und weiterer Quellen. Die Prüfer bewerten ChatGPT-Antworten auf einer Skala von eins bis sieben und sollen unter anderem übertriebene Schmeichelei und menschenähnliches Verhalten des Modells reduzieren.

Ein Prüfer sagte 404 Media, er glaube nicht, dass Nutzer wüssten, dass Menschen ihre Chats lesen. Tatsächlich fanden sich unter den geprüften Prompts Gespräche, in denen Nutzer ChatGPT ausdrücklich baten, die Inhalte für sich zu behalten. Die Prompts werden anonymisiert, können aber dennoch sensible persönliche Daten enthalten. OpenAI setzt zwar einen Privacy-Filter ein, räumt aber ein, dass dieser Fehler machen kann.

Die Vertragsarbeiter werden laut 404 Media über die Recruiting-Firma Crossing Hurdles ("Connecting skilled professionals with the future of AI work") angeworben und über das KI-Trainingsunternehmen Mercor bezahlt. Ein in Nordamerika ansässiger Prüfer gab an, mehr als 50 Dollar pro Stunde zu verdienen.

Nutzer können die standardmäßig aktivierte Einstellung "Modell für alle verbessern" deaktivieren, um zu verhindern, dass ihre Chats zur Modellverbesserung genutzt und möglicherweise von Menschen gelesen werden. Die Einstellung bezieht sich nur auf neue Gespräche. Zudem bietet OpenAI einen temporären Chat an, bei dem die eingegebenen Daten laut Unternehmen nicht zur Modellverbesserung verwendet werden.

OpenAI weist nur in einem FAQ auf Mensch-Prüfung hin

Auf die Frage von 404 Media, wo Nutzer ausdrücklich über die menschliche Prüfung informiert werden, antwortete OpenAI zunächst nicht. Auf einer FAQ-Seite erklärt OpenAI zwar, dass autorisiertes Personal und Dienstleister Nutzerdaten unter anderem zur Verbesserung der Modellleistung einsehen dürfen, und rät, keine sensiblen Informationen einzugeben. Dieser Hinweis ist bereits seit mindestens 2023 online und wurde über die Jahre nur leicht verändert.

404 Media kritisiert jedoch, dass diese Offenlegung zu versteckt und nicht konkret genug ist, um Nutzern das Ausmaß der menschlichen Einsicht bewusst zu machen. Verständlich: Würde OpenAI eine explizite Einwilligung abfragen, wäre die Ablehnungsrate wahrscheinlich hoch.

Für die KI-Labore ist dieser menschliche Feedback-Prozess aber ein wichtiger Baustein zur Verbesserung ihrer Modelle. Daher ist der Prozess auch gängige Praxis: Anthropic bestätigte gegenüber 404 Media, ebenfalls menschliche Prüfer einzusetzen, um Claude-Antworten zu kontrollieren und künftige Modelle zu verbessern. Dies gilt für Nutzer, die in ihren Privacy-Einstellungen die Option "Help improve our AI models" aktiviert haben. Auch Anthropic anonymisiert Gespräche vor der menschlichen Prüfung, indem Kontodaten wie E-Mail-Adressen entfernt werden. Google nutzt ebenfalls menschliche Prüfer und weist bei Gemini darauf hin, dass Menschen gespeicherte Chats prüfen können.