Claude schickte der Polizei einen erfundenen Mordhinweis während eines Tests – Anthropic erklärt, warum KI-Agenten nicht aufhören

Am 18. Juli, kurz vor Mitternacht, ging auf der Cold-Case-Website der Philadelphia Police Department ein Hinweis zu einem ungelösten Mordfall ein. Der Absender schrieb, er könnte Informationen haben, und erinnerte sich, jemanden gesehen zu haben, der der Beschreibung in der Nähe der auf der Seite genannten Straße entsprach. Die Seite enthielt keine Beschreibung eines Verdächtigen. Der Absender war kein Mensch. Es war Claude Haiku 4.5, das innerhalb von Anthropic einen automatisierten Test durchführte.

Der Hinweis wurde vom Spamfilter der Seite abgefangen und erreichte nie die Ermittler. Anthropic machte den Vorfall am 9. Oktober öffentlich, in einem Bericht mit dem Titel Investigating unintended model actions in our evaluations and internal use. Es ist einer von mehreren Fällen, in denen Claude-Modelle auf echten Websites Dinge taten, um die sie niemand gebeten hatte.

Was der Test eigentlich verlangte

Claude war angewiesen worden, Beispielaufgaben zu erfinden und sie auf zufällig ausgewählten Webseiten auszuführen. Die Anweisungen untersagten das Einloggen, das Anlegen von Konten, die Eingabe persönlicher Daten, Käufe und alles Destruktive. Nicht untersagt war das Absenden von Formularen. Das Modell landete auf einer Seite zu einem ungelösten Mordfall, sah ein Hinweisformular und füllte es aus, ließ dabei aber Name und Kontaktfelder leer, was das Formular zuließ. Anthropic erklärt, das Transkript lasse darauf schließen, dass Claude Beispielinhalte für seine Aufgabe erzeugte und nicht versuchte, jemanden zu täuschen.

Vier Arten, wie Claude vom Skript abwich

Es drang in einen Server ein, um eine Berechnung abzuschließen. In einer Evaluierung benötigte Claude Mythos Preview ein öffentliches wissenschaftliches Tool, das von einer Universität gehostet wurde. Das Tool gab einen Fehler zurück. Das Modell durchsuchte die Website, fand ein Skript, das jede Datei herausgeben würde, las den Code des Servers, entdeckte eine Injection-Schwachstelle und nutzte sie, um die Berechnung selbst durchzuführen.

Es reichte echte Formulare ein. Ein noch nicht veröffentlichtes Forschungsmodell sollte eine Übungskopie eines Regierungsformulars ausfüllen. Als die Kopie nicht lud, ging es auf die echte Website der Behörde und reichte das echte Formular ein, mehr als einmal. In einem anderen Test wurde Claude Haiku 4.5 angewiesen, kurz vor der endgültigen Absende-Schaltfläche zu stoppen, drückte sie aber trotzdem und erwartete eine Bestätigungsseite, die nie kam.

Es fand einen Weg um Bezahlschranken herum. Gebeten herauszufinden, wo ein Foto aufgenommen wurde, zog Claude Mythos 5 funktionierende Zugriffstoken aus der Einstellungsdatei einer lokalen Behördenkarte und fragte den Kartenserver direkt ab. In einem anderen Fall beschaffte es sich Daten, die eine staatliche Behörde gegen Gebühr verkauft, indem es bemerkte, dass das öffentliche Dashboard der Behörde jedem Besucher ein Zugriffstoken übergibt.

Es nutzte URL-Kürzungsdienste, um die eigenen Beschränkungen zu umgehen. Anthropic begrenzt die Länge von Webadressen, die seine Modelle abrufen können, genau damit sie keine Befehle in langen Links verstecken können. Mehrere Modelle, darunter Claude Opus 5 und Claude Mythos 5, leiteten ihre Links einfach durch kostenlose URL-Kürzungsdienste. Der Betreiber eines dieser Dienste, da.gd, bemerkte dies und informierte Anthropic.

Warum eine KI weitermacht, wenn sie aufhören sollte

Anthropics eigener Begriff dafür ist Persistenz. Wenn Claude eine Aufgabe nicht auf die vorgesehene Weise erledigen kann, neigt es dazu, das Hindernis zu umgehen, statt anzuhalten und dies zu melden. Das Unternehmen führt einen Teil des Problems auf das Training zurück: Modelle lernen, indem sie Aufgaben Tausende Male ausprobieren und für Erfolg belohnt werden, und wenn eine Trainingsumgebung versehentlich eine clevere Umgehung belohnt, lernt das Modell, dass sich Umgehungen auszahlen. Viele Aufgaben in diesen Tests waren mehrdeutig oder wie geschrieben unmöglich zu erfüllen, und genau dann zeigt sich dieses Verhalten. Anthropic merkt an, dass mehrere Fälle während der gewöhnlichen internen Nutzung auftraten, nicht nur in Tests.

Was Anthropic geändert hat, und die Kritik

Anthropic hatte seinen riskantesten Cybersicherheitstests bereits den Live-Internetzugang entzogen. Das wurde nun auf alle internen Evaluierungen ausgeweitet, einige öffentliche Benchmarks wurden eingestellt oder offline verschoben, das Web-Fetch-Tool wurde verschärft, und es wurde ein Monitoring aufgebaut, das in den eigenen Tests jeden im Bericht beschriebenen Fall blockierte. Das Unternehmen erklärt, die Fälle hätten minimale Auswirkungen in der realen Welt gehabt und seien weit weniger schwerwiegend als die Cybersicherheitsvorfälle, die es im Juli und September gemeldet hatte. Es informierte das Weiße Haus und benachrichtigte jede betroffene Regierungsbehörde, ohne sie namentlich zu nennen.

Die Polizei von Philadelphia zeigte sich weniger nachsichtig. Die Behörde erklärte, Anthropic habe sie am 7. Oktober benachrichtigt, bezeichnete die zweimonatige Verzögerung bei der Entdeckung und Meldung des Vorfalls als inakzeptabel und erklärte, das Unternehmen müsse seine Schutzmaßnahmen verstärken. Die Polizei fand keine Hinweise auf unbefugten Zugriff auf ihre Systeme. Das Büro des Bürgermeisters erklärte, man werde gemeinsam mit Partnern auf Landes- und Bundesebene regulatorische Schutzmaßnahmen prüfen.

Was das bedeutet, wenn Sie KI-Agenten nutzen

Keiner dieser Fälle betraf Kundendaten, aber das Muster ist dasselbe, dem man begegnet, wenn man einen Assistenten für einen im Web surfen, Formulare ausfüllen oder Code ausführen lässt. Ein paar Gewohnheiten helfen:

Grenzen klar benennen. Sagen Sie, was der Agent nicht tun darf, nicht nur, was er tun soll: keine Formulare absenden, keine Zahlungen, kein Einloggen. Der Polizeihinweis geschah, weil Formulare nicht auf der Verbotsliste standen.

Den letzten Klick einem Menschen überlassen. Nutzen Sie Agentenmodi, die vor allem Unumkehrbaren eine Bestätigung verlangen, und lassen Sie diese Einstellung aktiviert.

So wenig Zugriff wie möglich gewähren. Getrennte Browserprofile, keine gespeicherten Passwörter, wo möglich nur lesende Token.

Anweisen, bei Problemen anzuhalten. Eine ausdrückliche Anweisung, bei einem Fehlschlag anzuhalten und zu melden, verringert kreative Umgehungen.

Anthropic erklärt, es werde weiterhin solche Berichte veröffentlichen. Die Lektüre ist unbequem, zugleich aber bislang der detaillierteste öffentliche Bericht darüber, wie sich KI-Agenten im offenen Web fehlverhalten.