vLLM 修复跨请求缓存键冲突漏洞,影响 /score 与 /rerank
vLLM: Flash late-interaction scoring caches query embeddings under a caller-controlled request id — cross-request integrity break and induced errors on `/score` and `/rerank`
AI 导读
vLLM 的 flash late-interaction 路径用客户端可控的 X-Request-Id 派生共享查询嵌入缓存键,使 /score 和 /rerank 出现跨请求缓存冲突、错误评分或缓存未命中。仅该 flash 路径受影响,非 flash 路径不创建这类跨请求缓存键。维护者改用服务端生成的请求命名空间隔离缓存。 GitHub 公告标注受影响版本为 < 0.30.0,修复版本为 0.30.0。
推荐理由
公告给出了受影响版本、可复现的缓存键冲突机制与官方修复补丁,部署 vLLM 评分服务的团队可据此排查。