跳到正文
原文
LMSYS Org·本站收录· 原文发表精选关注度62

SGLang 安全更新:改进请求隔离

SGLang security update: improving request isolation

AI 导读

SGLang 维护方与 Cloudflare 协调披露 SGLang PD 分离服务中的跨请求 KV 缓存隔离缺陷。Cloudflare 的调查发现,其 Workers AI 上的 GLM-5.3 部署在 2026 年 8 月 27 日至 9 月 9 日间,超出 prefill 缓存容量的请求可能返回其他用户会话的内容,起因是配置的上下文长度 1,048,576 token 超过 prefill 缓存池的 681,280 token,被拒请求仍进入分离交接,decode 读到未为本请求填充的缓存页。相关的一类竞态是请求中止后已发出的 RDMA 写入落入被重新分配的槽位,造成无报错的单向跨请求泄漏,长上下文会扩大窗口;SGLang 自 v0.4.x 至 v0.5.21(MORI 后端至 v0.5.22)的 PD 默认配置受影响。维护方建议 PD 部署升级并运行能配对中止的路由器。

推荐理由

原文讲清了 PD 分离服务下跨请求 KV 缓存泄漏的竞态机制和受影响版本,运行 SGLang 多租户长上下文服务的团队可对照排查自身部署。

阅读原文lmsys.org