跳到正文
原文
GitHub 安全公告·本站收录· 原文发表精选关注度61

vLLM v0.29.0 未认证生成端点可被单个请求挂起且健康检查仍返回 200

vLLM:生成请求可导致引擎挂起且健康检查未反映异常

AI 导读

vLLM 的 /inference/v1/generate 路径对生成参数校验不完整,异常可使 EngineCore 输入线程退出,之后所有请求挂起,而进程及 /health 仍正常响应。公告在 v0.29.0 复现:该端点默认挂载,未设置 --api-key 时可被未认证网络客户端访问。该例说明单独的健康检查不能证明推理服务仍可用。 GitHub 公告标注受影响版本为 < 0.31.0,修复版本为 0.31.0。

推荐理由

vLLM v0.29.0 的未认证端点可被单个请求打挂,且健康检查仍返回 200,部署方需据此检查暴露面。

阅读原文github.com