跳到正文
原文
GitHub 安全公告·本站收录 · 原文发表 精选关注度40

vLLM 0.25.1 及更早版本存在跨请求缓存键冲突漏洞,影响 /score 与 /rerank 接口

vLLM: Flash late-interaction scoring caches query embeddings under a caller-controlled request id — cross-request integrity break and induced errors on `/score` and `/rerank`

AI 导读

vLLM 0.25.1 及更早版本在启用 flash late interaction(受支持模型的默认配置)时,worker 直接用调用方可控的 X-Request-Id 请求头派生查询嵌入缓存键,导致 /score 与 /rerank 接口出现跨请求完整性破坏。攻击者复用受害者的 X-Request-Id 后,其查询嵌入会覆盖受害者缓存条目,使受害者文档按攻击者的查询打分;由于数据并行路由按 crc32(query_key) 将同键请求固定到同一引擎,冲突是确定性的,时序上还可能耗尽共享使用计数并触发缓存未命中错误。该问题仅存在于 flash late-interaction 路径,非 flash 路径不创建跨请求缓存键。公告建议改用服务端生成的 random_uuid 命名空间派生缓存键,并通过 PoolingServeContext 传递,修复已在公开 PR 中提出。

推荐理由

公告给出了受影响版本、可复现的缓存键冲突机制与官方修复补丁,部署 vLLM 评分服务的团队可据此排查。

阅读原文github.com