当推理引擎泄露时：Cloudflare GLM-5.3 跨租户 KV 缓存暴露
When the Inference Engine Leaks: Cross-Tenant KV Cache Exposure
AI 导读
2026年10月26日，Cloudflare 与开源推理引擎 SGLang 维护者联合披露，Workers AI 上的 GLM-5.3 模型发生跨请求 KV 缓存暴露，8月27日至9月9日间 155 条超长提示的响应混入了其他客户请求的内容。Cloudflare 复盘称，prefill GPU 的 KV 缓存池仅 681,280 token，小于 1,048,576 token 的上下文窗口，超长提示被替换为占位符却未被中止，decode 对仍含其他用户状态的陈旧页做注意力计算并返回 HTTP 200。SGLang 通告另描述一类独立机制，中止请求的异步 RDMA 写入可能静默覆盖已重新分配槽位上的他人缓存，影响 v0.4.x 至 v0.5.21 的分离式部署且不留错误或日志。
推荐理由
文章借 Cloudflare GLM-5.3 泄露事件指出，LLM 服务的租户隔离边界已移入 GPU 显存中的 KV 缓存。
阅读原文