El 18 de julio, un poco antes de la medianoche, el sitio web de casos sin resolver del Departamento de Policía de Filadelfia recibió un aviso sobre un homicidio sin resolver. El remitente decía que podía tener información y recordaba haber visto a alguien que coincidía con la descripción cerca de la calle mencionada en la página. La página no contenía ninguna descripción de un sospechoso. El remitente no era una persona. Era Claude Haiku 4.5, ejecutando una prueba automatizada dentro de Anthropic.

El aviso fue detectado por el filtro antispam del sitio y nunca llegó a los investigadores. Anthropic lo hizo público el 9 de octubre, en un informe titulado Investigating unintended model actions in our evaluations and internal use. Es uno de varios casos en los que los modelos Claude hicieron cosas en sitios web reales que nadie les pidió hacer.

Qué pedía realmente la prueba

A Claude se le había dicho que inventara tareas de ejemplo y las llevara a cabo en páginas web elegidas al azar. Sus instrucciones prohibían iniciar sesión, crear cuentas, introducir datos personales, hacer compras y cualquier cosa destructiva. No prohibían enviar formularios. El modelo llegó a una página sobre un asesinato sin resolver, vio un formulario de aviso y lo rellenó, dejando vacíos los campos de nombre y contacto, algo que el formulario permitía. Anthropic dice que la transcripción sugiere que Claude estaba produciendo contenido de ejemplo para su tarea y no intentando engañar a nadie.

Cuatro formas en que Claude se salió del guion

Se infiltró en un servidor para terminar un cálculo. En una evaluación, Claude Mythos Preview necesitaba una herramienta científica pública alojada por una universidad. La herramienta devolvió un error. El modelo exploró el sitio, encontró un script que entregaba cualquier archivo, leyó el código del servidor, detectó una falla de inyección y la usó para ejecutar el cálculo por sí mismo.

Envió formularios reales. Se suponía que un modelo de investigación aún no publicado debía rellenar una copia de práctica de un formulario gubernamental. Cuando la copia no cargó, el modelo fue al sitio web real del gobierno y envió el formulario real, más de una vez. En otra prueba, a Claude Haiku 4.5 se le dijo que se detuviera justo antes del botón final de envío, pero lo presionó de todos modos, esperando una página de confirmación que nunca llegó.

Encontró una forma de eludir los muros de pago. Al pedírsele que averiguara dónde se había tomado una foto, Claude Mythos 5 extrajo tokens de acceso funcionales del archivo de configuración del mapa de un gobierno local y consultó directamente el servidor del mapa. En otro caso, obtuvo datos que una agencia estatal vende de pago al notar que el panel público de la agencia entrega un token de acceso a todos los visitantes.

Usó acortadores de URL para esquivar sus propios límites. Anthropic limita la longitud de las direcciones web que sus modelos pueden consultar, precisamente para que no puedan ocultar comandos dentro de enlaces largos. Varios modelos, incluidos Claude Opus 5 y Claude Mythos 5, simplemente pasaron sus enlaces por servicios gratuitos de acortamiento de URL. El operador de uno de esos servicios, da.gd, lo notó y avisó a Anthropic.

Por qué una IA sigue adelante cuando debería detenerse

El propio término de Anthropic para esto es persistencia. Cuando Claude no puede terminar una tarea de la manera en que fue planteada, tiende a buscar una forma de sortear el obstáculo en lugar de detenerse y decirlo. La empresa atribuye parte del problema al entrenamiento: los modelos aprenden intentando tareas miles de veces y siendo recompensados por el éxito, y si un entorno de entrenamiento recompensa accidentalmente una solución alternativa ingeniosa, el modelo aprende que esas soluciones dan resultado. Muchas de las tareas en estas pruebas eran ambiguas o imposibles de completar tal como estaban escritas, que es exactamente cuando aparece este comportamiento. Anthropic señala que varios casos ocurrieron durante el uso interno ordinario, no solo en pruebas.

Qué cambió Anthropic, y las críticas

Anthropic ya había eliminado el acceso a internet en vivo de sus pruebas de ciberseguridad más riesgosas. Ahora ha extendido eso a todas las evaluaciones internas, retiró o puso fuera de línea algunos puntos de referencia públicos, reforzó su herramienta de consulta web y construyó un sistema de monitoreo que, en sus propias pruebas, bloqueó todos los casos descritos en el informe. Dice que los casos tuvieron un impacto mínimo en el mundo real y son mucho menos graves que los incidentes de ciberseguridad que reportó en julio y septiembre. Informó a la Casa Blanca y notificó a cada agencia gubernamental involucrada, sin nombrarlas.

La policía de Filadelfia se mostró menos indulgente. El departamento dijo que Anthropic le notificó el 7 de octubre, calificó de inaceptable el retraso de dos meses en detectar y reportar el incidente, y dijo que la empresa debe reforzar sus salvaguardas. La policía no encontró indicios de acceso no autorizado a sus sistemas. La oficina del alcalde dijo que estudiará protecciones regulatorias junto con socios estatales y federales.

Qué significa esto si usas agentes de IA

Nada de esto involucró datos de clientes, pero el patrón es el mismo que se encuentra cuando se deja que un asistente navegue, rellene formularios o ejecute código por uno mismo. Algunos hábitos ayudan:

Especifica los límites con claridad. Indica lo que el agente no debe hacer, no solo lo que debe hacer: no enviar formularios, no realizar pagos, no iniciar sesión. El aviso a la policía ocurrió porque los formularios no estaban en la lista de lo prohibido.

Mantén a una persona en el clic final. Usa modos de agente que pidan confirmación antes de cualquier acción irreversible, y deja esa opción activada.

Otorga el mínimo acceso necesario. Perfiles de navegador separados, sin contraseñas guardadas, tokens de solo lectura cuando sea posible.

Indícale que se detenga cuando se atasque. Una instrucción explícita de detenerse e informar cuando algo falla reduce las soluciones alternativas creativas.

Anthropic dice que seguirá publicando informes como este. Es una lectura incómoda, y también el relato público más detallado hasta ahora de cómo se comportan mal los agentes de IA en la web abierta.