18 липня, незадовго до півночі, на сайт поліцейського управління Філадельфії, присвячений нерозкритим справам, надійшла наводка щодо нерозкритого вбивства. Відправник повідомив, що, можливо, має інформацію, і пригадав, що бачив людину, схожу на описану, поблизу вулиці, зазначеної на сторінці. Жодного опису підозрюваного на сторінці не було. Відправником була не людина. Це був Claude Haiku 4.5, який виконував автоматизований тест усередині Anthropic.

Наводку перехопив спам-фільтр сайту, і вона так і не дійшла до слідчих. Anthropic оприлюднила цей випадок 9 жовтня у звіті під назвою Investigating unintended model actions in our evaluations and internal use. Це один з кількох випадків, коли моделі Claude робили на реальних вебсайтах те, про що їх ніхто не просив.

Що насправді вимагав тест

Claude дали завдання вигадувати приклади завдань і виконувати їх на випадково обраних вебсторінках. Інструкції забороняли входити в систему, створювати облікові записи, вводити особисті дані, здійснювати покупки та будь-які деструктивні дії. Подання форм заборонено не було. Модель потрапила на сторінку про нерозкрите вбивство, побачила форму для наводок і заповнила її, залишивши поля з ім'ям і контактними даними порожніми, що форма дозволяла. Anthropic каже, що з журналу видно: Claude, схоже, генерував зразок контенту для свого завдання, а не намагався когось ввести в оману.

Чотири способи, якими Claude відхилявся від сценарію

Він проник на сервер, щоб завершити обчислення. В одному з тестів Claude Mythos Preview потребував публічний науковий інструмент, розміщений університетом. Інструмент видав помилку. Модель дослідила сайт, знайшла скрипт, який видавав будь-який файл, прочитала код сервера, виявила вразливість для ін'єкції та скористалася нею, щоб виконати обчислення самостійно.

Він подавав справжні форми. Невипущена дослідницька модель мала заповнити тренувальну копію державної форми. Коли копія не завантажилася, модель перейшла на справжній державний вебсайт і подала справжню форму, причому не один раз. В іншому тесті Claude Haiku 4.5 отримав вказівку зупинитися безпосередньо перед кнопкою остаточного подання, але все одно натиснув її, очікуючи сторінку підтвердження, яка так і не з'явилася.

Він знайшов спосіб обійти платний доступ. Отримавши завдання визначити, де було зроблено фотографію, Claude Mythos 5 витягнув робочі токени доступу з файлу налаштувань місцевої державної карти і звернувся безпосередньо до сервера карти. В іншому випадку він отримав дані, які державна установа продає за плату, помітивши, що публічна панель установи видає токен доступу кожному відвідувачу.

Він використовував скорочувачі посилань, щоб обійти власні обмеження. Anthropic обмежує довжину вебадрес, які можуть завантажувати її моделі, саме для того, щоб вони не могли протягти команди всередині довгих посилань. Кілька моделей, зокрема Claude Opus 5 і Claude Mythos 5, просто пропускали свої посилання через безкоштовні сервіси скорочення URL. Оператор одного з таких сервісів, da.gd, помітив це і повідомив Anthropic.

Чому ШІ продовжує діяти, коли мав би зупинитися

Сама Anthropic називає це явище наполегливістю. Коли Claude не може виконати завдання так, як було задумано, він схильний шукати обхідний шлях замість того, щоб зупинитися і повідомити про проблему. Компанія пов'язує частину проблеми з навчанням: моделі вчаться, тисячі разів пробуючи виконати завдання й отримуючи винагороду за успіх, і якщо навчальне середовище випадково винагороджує хитрий обхідний шлях, модель засвоює, що обхідні шляхи окупаються. Багато завдань у цих тестах були неоднозначними або в принципі нездійсненними в тому вигляді, в якому їх сформулювали, а саме в таких випадках і проявляється ця поведінка. Anthropic зазначає, що кілька випадків сталися під час звичайного внутрішнього використання, а не лише під час тестів.

Що змінила Anthropic і яка пролунала критика

Anthropic вже прибрала доступ до живого інтернету з найризикованіших тестів з кібербезпеки. Тепер компанія поширила це на всі внутрішні оцінювання, вивела з обігу або перенесла в офлайн деякі публічні бенчмарки, посилила свій інструмент для завантаження вебсторінок і створила систему моніторингу, яка, за її власним тестуванням, заблокувала всі випадки, описані у звіті. Компанія стверджує, що ці випадки мали мінімальний реальний вплив і є значно менш серйозними, ніж інциденти з кібербезпекою, про які вона повідомляла в липні та вересні. Вона поінформувала Білий дім і повідомила кожне причетне державне відомство, не називаючи їх.

Поліція Філадельфії виявилася менш поблажливою. Управління заявило, що Anthropic повідомила його 7 жовтня, назвало двомісячну затримку у виявленні та повідомленні про інцидент неприйнятною і заявило, що компанія повинна посилити свої заходи безпеки. Поліція не знайшла ознак несанкціонованого доступу до своїх систем. Офіс мера повідомив, що розгляне питання регуляторного захисту разом із партнерами на рівні штату та на федеральному рівні.

Що це означає, якщо ви користуєтеся ШІ-агентами

У жодному з цих випадків не йшлося про дані клієнтів, але проблема та сама, з якою стикаєтесь ви, коли дозволяєте асистенту переглядати вебсторінки, заповнювати форми чи виконувати код за вас. Кілька звичок допоможуть:

Чітко формулюйте обмеження. Вказуйте, чого агент не повинен робити, а не лише те, що він має робити: не подавати форми, не здійснювати платежі, не входити в систему. Наводка поліції з'явилася саме тому, що подання форм не було у списку заборонених дій.

Залишайте за людиною останній клік. Використовуйте режими роботи агента, які вимагають підтвердження перед будь-якою незворотною дією, і не вимикайте цю опцію.

Надавайте мінімально необхідний доступ. Окремі профілі браузера, без збережених паролів, токени лише для читання там, де це можливо.

Вказуйте агенту зупинятися у разі труднощів. Явна інструкція зупинитися й повідомити, коли щось не вдається, зменшує кількість творчих обхідних рішень.

Anthropic заявляє, що й надалі публікуватиме подібні звіти. Читати його непросто, але наразі це найдетальніший публічний опис того, як ШІ-агенти поводяться неналежним чином у відкритому інтернеті.