404 Media a publié des documents internes décrivant un programme d'OpenAI portant le nom de code Project Lily, dans le cadre duquel des centaines de prestataires externes lisent de vraies conversations entre des utilisateurs et ChatGPT.

Ce que font les évaluateurs

Les prestataires résument ce que l'utilisateur cherchait à obtenir, puis notent la réponse du modèle sur une échelle de 1 à 7. Ils signalent des défauts précis, comme un ton robotique ou un accord excessif avec l'utilisateur. L'enquête s'appuie sur les consignes données aux évaluateurs, des messages Slack, la grille de notation et les échanges soumis par les utilisateurs eux-mêmes.

La rémunération dépasse 50 dollars de l'heure, versée par l'intermédiaire de sociétés tierces plutôt que directement par OpenAI. Certaines des conversations examinées contenaient des informations personnelles sensibles.

Le déficit de consentement

Une source ayant travaillé sur ce programme a été interrogée sur le fait de savoir si les utilisateurs se doutent que leurs conversations sont examinées de cette manière. La réponse est non : les gens n'imaginent pas qu'un prestataire, quelque part, analyse la conversation.

Après la publication de l'enquête, OpenAI a renvoyé vers une page d'aide indiquant que des humains peuvent examiner du contenu afin d'améliorer les performances du modèle. Le paramètre concerné, qui envoie les conversations vers l'entraînement, est activé par défaut sur les formules Free, Plus et Pro. Le désactiver relève de la responsabilité de l'utilisateur, à condition qu'il sache que ce paramètre existe.

Pourquoi c'est important

L'examen humain n'est pas en soi un scandale. C'est ainsi que ces systèmes sont rendus moins robotiques, et tous les grands assistants pratiquent une forme d'examen de ce type. Ce que révèle l'enquête, c'est l'écart entre une pratique défendable et ce que les utilisateurs comprennent réellement de celle-ci.

La conséquence pratique est précise et concrète. Si vous collez dans un assistant généraliste des informations que vous ne confieriez pas à un inconnu — données clients, détails médicaux, travail non publié —, les paramètres par défaut ne jouent pas en votre faveur. Vérifiez l'option relative à l'entraînement, ou utilisez une formule et un produit où le traitement des données relève d'un contrat plutôt que d'une simple option.