404 Media опублікувало внутрішні матеріали, що описують програму OpenAI під кодовою назвою Project Lily, у межах якої сотні зовнішніх підрядників читають реальні переписки людей із ChatGPT.
Що роблять рецензенти
Підрядники підсумовують, чого намагався досягти користувач, а потім оцінюють відповідь моделі за шкалою від 1 до 7. Вони позначають конкретні типи помилок, зокрема штучну, «роботизовану» формулювання та надмірну згоду з користувачем. Матеріал ґрунтується на інструкціях для рецензентів, повідомленнях у Slack, шкалі оцінювання та самих користувацьких зверненнях.
Оплата перевищує $50 на годину і надходить через фірми-посередники, а не безпосередньо від OpenAI. Деякі з переглянутих переписок містили чутливу особисту інформацію.
Прогалина у згоді
Одне з джерел, яке працювало над програмою, запитали, чи усвідомлюють користувачі, що їхні чати переглядають у такий спосіб. Відповідь була негативною: люди не уявляють, що десь підрядник аналізує цю переписку.
Після публікації OpenAI послалася на сторінку довідки, де зазначено, що люди можуть переглядати вміст для покращення роботи моделі. Відповідне налаштування, яке передає чати на навчання, увімкнене за замовчуванням у тарифах Free, Plus і Pro. Вимкнути його — відповідальність користувача, і для цього потрібно знати про його існування.
Чому це важливо
Перевірка людьми сама по собі не є скандалом. Саме так ці системи навчають звучати менш «роботизовано», і певну версію цього робить кожен великий асистент. Матеріал же показує розрив між обґрунтованою практикою і тим, що користувачі насправді про неї розуміють.
Практичний наслідок вузький і конкретний. Якщо ви вставляєте в загального асистента щось, чого не довірили б незнайомцю, — дані клієнтів, медичні подробиці, ще не оприлюднену роботу, — налаштування за замовчуванням не на вашому боці. Перевірте перемикач навчання або користуйтеся тарифом і продуктом, де обробка даних регулюється договором, а не є опціональною.