Anthropic פרסמה ממצאים מבדיקה של שלושה מקרים מהעולם האמיתי שאותרו באמצעות הערכות אבטחת המידע שלה.
מה פורסם
החשיפה עוסקת במה שהחברה מצאה כשבדקה מקרים אמיתיים ולא מקרי בדיקה מלאכותיים. הפרסום משתייך לזרם דיווחי הבטיחות וההערכה של Anthropic, לצד כרטיסי המודלים ופרסומי המדיניות שלה, ואינו כרוך בהשקת מוצר.
מדוע הפורמט הזה חשוב
רוב עבודות הבטיחות המתפרסמות בתחום ה-AI נשענות על מבחני ייחוס (benchmarks) ותרגילי צוותי תקיפה (red-team) שהחוקרים עצמם מבנים. מבחנים מובנים ניתנים לשכפול ולהשוואה, ולכן הם נפוצים כה — אבל הם מודדים רק את מה שהמתכננים חשבו לבדוק. תקריות שקרו בפועל אינן חשופות למגבלה הזו.
פרסום מקרים כאלה הוא גם מחיר שהמפרסם משלם. מקרים אמיתיים מתארים דברים שהתקלקלו בשטח, וזהו בדיוק החומר שחברות נוהגות לשמור לעצמן.
מה ניתן להסיק מכך
לכל מי שמפעיל מערכות AI עם הרשאות אמיתיות — גישה לקוד, לדואר, לכלים פנימיים — האינדיקציה השימושית אינה הכותרת אלא התבנית. הערכות שרק פועלות על תרחישים מומצאים יחמיצו באופן שיטתי את הדרכים שבהן דברים נכשלים בסביבת ייצור.
ההקשר הרחב יותר הוא שספקי מודלים נתפסים כיום כספקי אבטחה, בין אם הם רוצים בכך ובין אם לא. כשמודל מסוגל לפעול על מערכות ולא רק לתאר אותן, חשיפת תקריות הופכת לחלק מהעבודה, ואופן ההתמודדות של ספק עם כך הוא שיקול לגיטימי בבחירת ספק.
המשמעות לגבי פריסות בשטח
המסקנה המעשית נוגעת לתכנון ההערכה. אם סקירת בטיחות פנימית מורכבת רק מתרחישים שהצוות עצמו המציא, היא נושאת עם עצמה את נקודות העיוורון של הצוות. ממצאים המבוססים על תקריות הם אחד המקורות המעטים ששוברים את המעגל הזה, ולכן יש ערך בפרסומם שמעבר למקרים הספציפיים המתוארים.
לצוותים המפעילים סוכנים (agents) עם הרשאות אמיתיות, שאלת הבדיקה פשוטה: מה המערכת הזו יכולה לעשות אם תימצא בשליטת גורם עוין, והאם מישהו ישים לב? יש להגביל הרשאות למשימה, לתעד פעולות בצורה שניתן לבדוק לאחר מעשה, ולשמור על פעולות הרסניות מאחורי שלב אישור.
השינוי הרחב יותר
ספקי מודלים נסחפים לתפקיד של ספקי אבטחה בעקבות היכולות שהם מספקים. כשמודל מסוגל לשלוח דואר, להפעיל קוד או לגעת במערכות ייצור, השאלות המופנות אליו הן השאלות המופנות לכל תוכנה בעלת הרשאות. נוהג החשיפה הוא שיקול סביר שיש לשקול בבחירת ספק.