vLLM v0.29.0 未认证生成端点可被单个请求挂起且健康检查仍返回 200
vLLM:生成请求可导致引擎挂起且健康检查未反映异常
AI 导读
vLLM 的 /inference/v1/generate 路径对生成参数校验不完整,异常可使 EngineCore 输入线程退出,之后所有请求挂起,而进程及 /health 仍正常响应。公告在 v0.29.0 复现:该端点默认挂载,未设置 --api-key 时可被未认证网络客户端访问。该例说明单独的健康检查不能证明推理服务仍可用。 GitHub 公告标注受影响版本为 < 0.31.0,修复版本为 0.31.0。
推荐理由
vLLM v0.29.0 的未认证端点可被单个请求打挂,且健康检查仍返回 200,部署方需据此检查暴露面。
阅读原文