404 Media hat interne Unterlagen veröffentlicht, die ein Programm von OpenAI mit dem Codenamen Project Lily beschreiben, im Rahmen dessen Hunderte externe Auftragnehmer echte Konversationen zwischen Menschen und ChatGPT lesen.

Was die Prüfer tun

Die Auftragnehmer fassen zusammen, was der Nutzer erreichen wollte, und bewerten anschließend die Antwort des Modells auf einer Skala von 1 bis 7. Sie markieren bestimmte Fehlermuster, darunter roboterhafte Formulierungen und übermäßige Zustimmung zum Nutzer. Die Berichterstattung stützt sich auf Anweisungen für die Prüfer, Slack-Nachrichten, das Bewertungsschema sowie die Nutzereingaben selbst.

Die Bezahlung liegt über 50 US-Dollar pro Stunde und läuft über Vermittlerfirmen statt direkt über OpenAI. Einige der überprüften Konversationen enthielten sensible personenbezogene Informationen.

Die Zustimmungslücke

Eine Quelle, die an dem Programm mitgearbeitet hat, wurde gefragt, ob Nutzer wissen, dass ihre Chats auf diese Weise überprüft werden. Die Antwort war nein: Die Leute stellen sich nicht vor, dass irgendwo ein Auftragnehmer die Konversation analysiert.

Nach der Veröffentlichung verwies OpenAI auf eine Hilfeseite, auf der es heißt, dass Menschen Inhalte überprüfen können, um die Leistung des Modells zu verbessern. Die entsprechende Einstellung, die Chats ins Training einspeist, ist bei den Plänen Free, Plus und Pro standardmäßig aktiviert. Sie zu deaktivieren liegt in der Verantwortung des Nutzers – und setzt voraus, dass er von ihrer Existenz weiß.

Warum das wichtig ist

Menschliche Überprüfung ist an sich kein Skandal. So werden diese Systeme darauf trainiert, weniger roboterhaft zu klingen, und jeder größere Assistent tut in irgendeiner Form dasselbe. Was die Berichterstattung offenlegt, ist die Kluft zwischen einer vertretbaren Praxis und dem, was Nutzer tatsächlich darüber verstehen.

Die praktische Konsequenz ist eng und konkret. Wer irgendetwas in einen allgemeinen Assistenten einfügt, das er nicht einem Fremden anvertrauen würde – Kundendaten, medizinische Details, unveröffentlichte Arbeiten –, für den arbeiten die Standardeinstellungen nicht zu seinen Gunsten. Prüfen Sie den Trainings-Schalter, oder nutzen Sie einen Plan und ein Produkt, bei dem der Umgang mit Daten vertraglich geregelt und nicht optional ist.