404 Media פרסם חומרים פנימיים המתארים תוכנית של OpenAI בשם קוד Project Lily, שבמסגרתה מאות קבלנים חיצוניים קוראים שיחות אמיתיות בין אנשים לבין ChatGPT.
מה עושים הבודקים
הקבלנים מסכמים מה המשתמש ניסה להשיג, ולאחר מכן מדרגים את תשובת המודל בסולם מ-1 עד 7. הם מסמנים דפוסי כשל ספציפיים, כולל ניסוח רובוטי והסכמה מוגזמת עם המשתמש. הדיווח מבוסס על הנחיות לבודקים, הודעות Slack, מחוון הציונים ופניות המשתמשים עצמן.
השכר עולה על 50 דולר לשעה, ומועבר דרך חברות מתווכות ולא ישירות מ-OpenAI. חלק מהשיחות שנבדקו הכילו מידע אישי רגיש.
פער ההסכמה
מקור שעבד בתוכנית נשאל אם המשתמשים מודעים לכך שהשיחות שלהם נבדקות בדרך זו. התשובה הייתה שלילית: אנשים לא מדמיינים שקבלן כלשהו מנתח את השיחה.
לאחר הפרסום, OpenAI הפנתה לדף עזרה המציין כי בני אדם עשויים לבדוק תוכן כדי לשפר את ביצועי המודל. ההגדרה הרלוונטית, ששולחת שיחות לתהליך האימון, פעילה כברירת מחדל בתוכניות Free, Plus ו-Pro. כיבוי ההגדרה הוא באחריות המשתמש, ומחייב ידיעה שהיא בכלל קיימת.
למה זה חשוב
בדיקה אנושית אינה שערורייה כשלעצמה. כך גורמים למערכות האלה להישמע פחות רובוטיות, וכל עוזר מרכזי עושה איזושהי גרסה של זה. מה שהדיווח חושף הוא המרחק בין פרקטיקה שאפשר להצדיק לבין מה שהמשתמשים בפועל מבינים לגביה.
המשמעות המעשית צרה וקונקרטית. אם אתם מדביקים לתוך עוזר כללי כל דבר שלא הייתם מוסרים לזר — נתוני לקוחות, פרטים רפואיים, עבודה שטרם פורסמה — הגדרות ברירת המחדל אינן לטובתכם. בדקו את מתג האימון, או השתמשו בתוכנית ובמוצר שבהם הטיפול בנתונים חוזי ולא אופציונלי.