跳到正文
原文
GitHub 安全公告·本站收录· 原文发表精选关注度36

vLLM 词表外提示词 token id 通过输入校验并触发 CUDA device-side assert(引擎崩溃 / DoS)

vLLM: Out-of-vocabulary prompt token id passes input validation and triggers a CUDA device-side assert (engine crash / DoS)

AI 导读

vLLM 发布安全公告(CVE-2026-115916),0.32.0 之前的版本中,词表外的提示词 token id 可通过输入校验并触发 CUDA device-side assert,导致推理引擎崩溃(DoS),已在 0.32.0 修复。根因是当模型词表大小恰为嵌入填充尺寸 64 的整数倍时(如 Llama-2 系列,词表 32000),max_token_id 被算成 32000,比最大合法 id 31999 大一,id 32000 得以放行;tp=1 时嵌入查找不做掩码,越界索引直达 F.embedding。任何能发送预分词输入的客户端(如以 token id 作 prompt 的 /v1/completions、kv_transfer_params 的 prompt_token_ids 路径)都可触发;tp>1 时索引会被掩码钳制,更可能是输出错误而非崩溃。

推荐理由

公告写明触发条件与受影响的 tp=1 部署形态,用 vLLM 服务 Llama-2 类模型的团队可对照检查版本并升级到 0.32.0。

阅读原文github.com