Am 26. Oktober veröffentlichte Cloudflare einen ausführlichen Bericht über eine Datenpanne bei Workers AI, seinem Dienst zum Betrieb von KI-Modellen über eine API. Das Problem betraf ein Modell, GLM-5.3, zwischen dem 27. August und dem 9. September 2026. In 155 Antworten erzeugte das Modell Text unter Verwendung von Restdaten aus früheren Anfragen, die Prompts und Teilantworten anderer Nutzer enthalten konnten.

Was schiefging

Zwei Probleme kamen zusammen. Cloudflare hatte GLM-5.3 mit einem Kontextfenster von 1.048.576 Tokens eingerichtet, doch der Speicherpool, der den Arbeitszustand des Modells vorhält (der KV-Cache), bot nur Platz für 681.280 Tokens. Ein Fehler in SGLang, der Open-Source-Serving-Software, die Cloudflare verwendet, führte dazu, dass Anfragen, die länger waren, als erfolgreich behandelt wurden, statt abgelehnt zu werden. Das Modell griff daraufhin auf veraltete Cache-Seiten zurück, die von früheren Anfragen an dasselbe Modell übrig geblieben waren.

Deshalb waren nur Prompts betroffen, die länger als 681.280 Tokens waren. Cloudflare erklärt, nur eine kleine Zahl von Kunden habe solche Anfragen gesendet, diese hätten wie gewöhnliche Long-Context-Nutzung ausgesehen, und es gebe keine Hinweise auf eine gezielte Ausnutzung. Kein anderes Workers-AI-Modell war betroffen.

Wie es entdeckt und behoben wurde

Der Sicherheitsforscher Gadi Evron von Knostic meldete das Problem spät am 8. September (UTC) über Cloudflares Bug-Bounty-Programm auf HackerOne. Cloudflare reproduzierte den Fehler am nächsten Tag mit zwei separaten Konten, setzte das Modell um 14:00 UTC am 9. September auf privat und stellte es um 19:40 UTC wieder bereit.

Zu den Korrekturen gehören ein Cache-Pool, der groß genug für den vollen Kontext ist, rund 2,04 Millionen Tokens; Änderungen an SGLang, damit überlange Anfragen abgewiesen werden, bevor Daten übertragen werden; Prüfsummen bei Cache-Übertragungen; sowie neue Bereitstellungsprüfungen, die die Speichergröße mit der Kontextlänge abgleichen. Die Änderungen an SGLang wurden dem Open-Source-Projekt eingereicht. Der Bericht beschreibt nicht, wie betroffene Kunden benachrichtigt wurden.

Was das für Unternehmen bedeutet, die gehostete KI-APIs nutzen

Behandeln Sie jeden Prompt als Daten, die Sie mit einem Anbieter teilen. Selbst bei einem großen, renommierten Anbieter kann ein Fehler im Serving-Betrieb dazu führen, dass Daten für jemand anderen sichtbar werden. Senden Sie nur das, was für die Aufgabe nötig ist, und entfernen Sie Kundennamen, Zugangsdaten und Geheimnisse, bevor sie das Modell erreichen.

Seien Sie vorsichtig an den Grenzwerten. Dieser Fehler betraf nur Anfragen am äußersten Rand des beworbenen Kontextfensters. Wenn Sie sehr lange Dokumente über eine API verarbeiten, sollten Sie erwägen, diese in kleinere Anfragen aufzuteilen, statt sich auf das Maximum zu verlassen.

Prüfen Sie, wie ein Anbieter mit Vorfällen umgeht. Achten Sie bei der Wahl eines KI-Anbieters auf ein öffentliches Bug-Bounty-Programm und detaillierte Nachberichte wie diesen. Wenn Sie zwischen dem 27. August und dem 9. September Prompts mit mehr als 681.280 Tokens an GLM-5.3 auf Workers AI gesendet haben, fragen Sie bei Cloudflare nach, ob Ihre Anfragen zu den betroffenen gehörten.