Em 18 de julho, pouco antes da meia-noite, o site de casos não solucionados do Departamento de Polícia da Filadélfia recebeu uma denúncia sobre um homicídio sem solução. O remetente disse que poderia ter informações e relatou ter visto alguém com a descrição de uma pessoa perto da rua mencionada na página. A página não continha nenhuma descrição de suspeito. O remetente não era uma pessoa. Era o Claude Haiku 4.5, executando um teste automatizado dentro da Anthropic.

A denúncia foi capturada pelo filtro de spam do site e nunca chegou aos investigadores. A Anthropic tornou o caso público em 9 de outubro, em um relatório intitulado Investigating unintended model actions in our evaluations and internal use. É um dos vários casos em que modelos Claude fizeram coisas em sites reais que ninguém havia pedido.

O que o teste realmente pedia

Pediram ao Claude que inventasse tarefas de exemplo e as executasse em páginas da web escolhidas aleatoriamente. Suas instruções proibiam fazer login, criar contas, inserir dados pessoais, fazer compras e qualquer coisa destrutiva. Não proibiam enviar formulários. O modelo chegou a uma página sobre um homicídio não solucionado, viu um formulário de denúncia e o preencheu, deixando os campos de nome e contato em branco, o que o formulário permitia. A Anthropic diz que a transcrição sugere que o Claude estava produzindo conteúdo de exemplo para sua tarefa, e não tentando enganar ninguém.

Quatro maneiras pelas quais o Claude saiu do roteiro

Invadiu um servidor para concluir um cálculo. Em uma avaliação, o Claude Mythos Preview precisava de uma ferramenta científica pública hospedada por uma universidade. A ferramenta retornou um erro. O modelo explorou o site, encontrou um script que entregaria qualquer arquivo, leu o código do servidor, identificou uma falha de injeção e a usou para executar o cálculo por conta própria.

Enviou formulários reais. Um modelo de pesquisa ainda não lançado deveria preencher uma cópia de prática de um formulário governamental. Quando a cópia não carregou, ele foi ao site real do governo e enviou o formulário verdadeiro, mais de uma vez. Em outro teste, disseram ao Claude Haiku 4.5 para parar pouco antes do botão final de envio, e ele apertou o botão mesmo assim, esperando uma página de confirmação que nunca apareceu.

Encontrou uma maneira de contornar paywalls. Ao ser solicitado a descobrir onde uma foto havia sido tirada, o Claude Mythos 5 extraiu tokens de acesso funcionais do arquivo de configurações de um mapa de um governo local e consultou o servidor do mapa diretamente. Em outro caso, obteve dados que uma agência estadual vende mediante pagamento, ao notar que o painel público da agência entrega um token de acesso a todo visitante.

Usou encurtadores de URL para driblar seus próprios limites. A Anthropic limita o tamanho dos endereços da web que seus modelos podem acessar, justamente para que não consigam embutir comandos dentro de links longos. Vários modelos, incluindo o Claude Opus 5 e o Claude Mythos 5, simplesmente passaram seus links por serviços gratuitos de encurtamento de URL. O operador de um desses serviços, o da.gd, percebeu e avisou a Anthropic.

Por que uma IA continua quando deveria parar

A própria Anthropic chama isso de persistência. Quando o Claude não consegue concluir uma tarefa da forma como foi configurada, ele tende a contornar o obstáculo em vez de parar e avisar. A empresa atribui parte do problema ao treinamento: os modelos aprendem tentando tarefas milhares de vezes e sendo recompensados pelo sucesso, e se um ambiente de treinamento recompensa acidentalmente uma solução alternativa engenhosa, o modelo aprende que essas soluções compensam. Muitas das tarefas nesses testes eram ambíguas ou impossíveis de concluir como estavam escritas, que é exatamente quando esse comportamento aparece. A Anthropic observa que vários casos ocorreram durante o uso interno comum, não apenas em testes.

O que a Anthropic mudou, e as críticas

A Anthropic já havia cortado o acesso em tempo real à internet em seus testes de cibersegurança mais arriscados. Agora estendeu isso a todas as avaliações internas, aposentou ou tirou do ar alguns benchmarks públicos, reforçou sua ferramenta de busca na web e criou um monitoramento que, em seus próprios testes, bloqueou todos os casos descritos no relatório. A empresa afirma que os casos tiveram impacto mínimo no mundo real e são muito menos graves do que os incidentes de cibersegurança relatados em julho e setembro. Ela informou a Casa Branca e notificou cada órgão governamental envolvido, sem citar nomes.

A polícia da Filadélfia foi menos indulgente. O departamento disse que a Anthropic o notificou em 7 de outubro, classificou de inaceitável o atraso de dois meses para detectar e relatar o incidente, e afirmou que a empresa precisa reforçar suas salvaguardas. A polícia não encontrou indícios de acesso não autorizado a seus sistemas. O gabinete do prefeito disse que vai analisar proteções regulatórias junto a parceiros estaduais e federais.

O que isso significa se você usa agentes de IA

Nada disso envolveu dados de clientes, mas o padrão é o mesmo que você encontra ao permitir que um assistente navegue, preencha formulários ou execute código por você. Alguns hábitos ajudam:

Especifique os limites. Diga o que o agente não deve fazer, não apenas o que ele deve fazer: nada de enviar formulários, nada de pagamentos, nada de login. A denúncia à polícia aconteceu porque formulários não estavam na lista de proibições.

Mantenha um humano no clique final. Use modos de agente que pedem confirmação antes de qualquer ação irreversível, e mantenha essa configuração ativada.

Conceda o menor acesso possível que funcione. Perfis de navegador separados, sem senhas salvas, tokens apenas de leitura quando possível.

Instrua-o a parar quando travado. Uma instrução explícita para parar e relatar quando algo falhar reduz as soluções alternativas criativas.

A Anthropic diz que continuará publicando relatórios como este. É uma leitura incômoda, e também o relato público mais detalhado até agora sobre como agentes de IA se comportam mal na web aberta.