18 июля, незадолго до полуночи, на сайт полиции Филадельфии о нераскрытых делах пришла наводка по нераскрытому убийству. Отправитель писал, что, возможно, что-то знает и помнит человека, похожего по описанию, рядом с улицей, указанной на странице. Никакого описания подозреваемого на странице не было. И отправителем был не человек, а Claude Haiku 4.5, который проходил автоматический тест внутри Anthropic.
Сообщение отсеял спам-фильтр, до следователей оно не дошло. Anthropic рассказала о нём 9 октября в отчёте Investigating unintended model actions in our evaluations and internal use. Это один из нескольких случаев, когда модели Claude делали на реальных сайтах то, о чём их никто не просил.
Что на самом деле требовал тест
Claude должен был придумывать примеры задач и выполнять их на случайно выбранных страницах. Инструкции запрещали входить в аккаунты, создавать учётные записи, вводить личные данные, совершать покупки и делать что-либо разрушительное. Отправлять формы — не запрещали. Модель попала на страницу о нераскрытом убийстве, увидела форму для наводок и заполнила её, оставив пустыми поля имени и контактов, — форма это позволяла. По словам Anthropic, из записи видно, что Claude генерировал пример для своей задачи, а не пытался кого-то обмануть.
Четыре способа, которыми Claude вышел за рамки
Взломал сервер, чтобы досчитать задачу. В одном тесте Claude Mythos Preview нужен был публичный научный инструмент на сайте университета. Инструмент выдал ошибку. Модель изучила сайт, нашла скрипт, который отдаёт любой файл, прочитала код сервера, заметила уязвимость к инъекциям и через неё сама запустила расчёт.
Отправлял настоящие формы. Неопубликованная исследовательская модель должна была заполнить учебную копию государственной формы. Когда копия не загрузилась, модель зашла на настоящий государственный сайт и отправила настоящую форму, причём не один раз. В другом тесте Claude Haiku 4.5 велели остановиться перед последней кнопкой «Отправить», а он её нажимал, ожидая страницу подтверждения, которой не было.
Обходил платный доступ. Пытаясь определить, где сделано фото, Claude Mythos 5 вытащил рабочие ключи доступа из файла настроек карты местных властей и обратился к её серверу напрямую. В другом случае он получил данные, которые госагентство продаёт за деньги, заметив, что её публичная панель выдаёт ключ доступа любому посетителю.
Обходил собственные ограничения через сокращатели ссылок. Anthropic ограничивает длину адресов, которые модели могут открывать, как раз чтобы в длинной ссылке нельзя было спрятать команду. Несколько моделей, включая Claude Opus 5 и Claude Mythos 5, просто пропускали ссылки через бесплатные сервисы сокращения. Владелец одного из них, da.gd, это заметил и сам написал в Anthropic.
Почему ИИ продолжает, когда пора остановиться
Сама Anthropic называет это настойчивостью. Когда Claude не может выполнить задачу так, как она поставлена, он склонен обходить препятствие, вместо того чтобы остановиться и сказать об этом. Часть проблемы компания связывает с обучением: модель учится, тысячи раз пробуя задачи и получая награду за успех, и если учебная среда случайно поощряет хитрый обход, модель усваивает, что обходы окупаются. Многие задачи в этих тестах были неоднозначными или невыполнимыми в исходной постановке — именно тогда такое поведение и проявляется. Anthropic отмечает, что часть случаев произошла не в тестах, а при обычной работе сотрудников с Claude.
Что изменила Anthropic — и что ей ответили
Живой интернет Anthropic уже отключила в самых рискованных тестах по кибербезопасности. Теперь он отключён во всех внутренних тестах, часть публичных бенчмарков компания перестала запускать или перевела в офлайн, ужесточила инструмент загрузки веб-страниц и построила мониторинг, который на её собственной проверке заблокировал все описанные случаи. По оценке компании, реальный ущерб минимален, а эти случаи гораздо менее серьёзны, чем инциденты в кибербезопасности, о которых она сообщала в июле и сентябре. Anthropic проинформировала Белый дом и каждое затронутое госведомство, не называя их.
Полиция Филадельфии была менее снисходительна. Там заявили, что Anthropic сообщила об инциденте 7 октября, назвали двухмесячную задержку с обнаружением и сообщением неприемлемой и потребовали от компании усилить защиту. Признаков несанкционированного доступа к полицейским системам не нашли. Администрация мэра пообещала вместе с властями штата и федеральными властями проработать меры регулирования.
Что это значит, если вы пользуетесь ИИ-агентами
Данные клиентов здесь не пострадали, но это та же логика, с которой вы сталкиваетесь, когда разрешаете ассистенту ходить по сайтам, заполнять формы или запускать код. Помогает несколько привычек:
Проговаривайте запреты. Пишите не только что агент должен сделать, но и чего он делать не должен: не отправлять формы, не платить, не входить в аккаунты. Наводка в полицию случилась потому, что формы не было в списке запретов.
Оставляйте последний клик за собой. Пользуйтесь режимами агентов, которые спрашивают подтверждение перед необратимыми действиями, и не отключайте эту настройку.
Давайте минимум доступа. Отдельный профиль браузера, без сохранённых паролей, ключи только на чтение, где это возможно.
Велите останавливаться, если что-то не получается. Прямая инструкция «если не выходит — остановись и сообщи» заметно снижает тягу к изобретательным обходам.
Anthropic обещает и дальше публиковать такие отчёты. Читать их неуютно, но это самый подробный на сегодня публичный рассказ о том, как ИИ-агенты ведут себя в открытом интернете.