跳到正文
原文
arXiv· arXiv:2602.07878· Tianyi Wang, Huawei Fan, Yuanchao Shu, Peng Cheng, Cong Wang·本站收录· 原文发表精选关注度60

重新审视延迟拒绝服务攻击:攻击 LLM 服务框架,而非模型

Rethinking Latency Denial-of-Service: Attacking the LLM Serving Framework, Not the Model

论文速读

据论文全文整理(AI 生成),以原文为准

AI 导读研究者提出 Fill and Squeeze(F&S)攻击,针对 LLM 服务框架的调度器状态机而非模型生成过程,在 vLLM 上造成同机用户 TTFT 最高 742 倍退化。

问题
现有针对 LLM 的 latency attack 多从模型层延长输出长度,但作者发现这类攻击在现代 LLM 服务系统上基本无效,因为 continuous batching 在迭代级别隔离了同租户请求,攻击者只是拖慢自己。作者认为需要转向系统层,利用调度器的资源管理逻辑重新制造可传染的延迟。
方法
提出 Fill and Squeeze(F&S)攻击,针对调度器状态机:Fill 用长输出请求耗尽全局 KV cache 触发基于内存的 Head-of-Line blocking,Squeeze 在饱和边界附近用低成本请求反复触发 preemption 与恢复。攻击者通过 ITL 侧信道训练 LightGBM 估计 KV 使用率,并用分层 prompt 与闭环反馈在 Fill、Squeeze、Back-off 间切换。
实验与结果
在 vLLM 上对 Qwen3-8B、Gemma3-12B-it、DeepSeek-R1-Distill-Llama-8B 等模型测试,F&S 相比现有攻击造成更高 TTFT 与 TPOT 退化,且攻击成本更低;在真实 BurstGPT 流量下可借环境流量降低约 40% 成本。TP2 到 TP4/TP8 的扩容会抬高饱和门槛,削弱攻击。SGLang 上也观察到类似效果。
局限与可以继续做的
实验主要在单台 8×L40S 节点,多节点仅做被动探测,未对生产流量发起主动攻击;pipeline parallelism、speculative decoding、跨节点 TP 未验证。估计器需在同型号 GPU 与模型上校准,若服务端缓冲流式输出则退化为开环攻击。结论针对 vLLM 0.11.2 与 SGLang 特定 commit,未来版本可能修补相关路径。
AI 导读和推荐理由论文先发现模型层面的延迟攻击在连续批处理下基本失效,50-75% 恶意请求仅使正常用户 TTFT 增加 3-5.7%。F&S 用 Fill 耗尽全局 KV cache 触发队头阻塞,用 Squeeze 迫使调度器反复抢占,并借 ITL 侧信道在黑盒下估计 KV 使用率。在 vLLM v0.11.2 与 Qwen3-8B、Gemma3-12B-it、DeepSeek-R1-Distill-Llama-8B 上,TTFT 退化最高 742 倍(Gemma3-12B-it 从 0.13 秒升至 97.83 秒),攻击成本比现有攻击低 30-40%。论文称按实体 KV 配额、跳过式准入、公平排队和输出缓冲等可削弱该攻击。

研究者提出 Fill and Squeeze(F&S)攻击,针对 LLM 服务框架的调度器状态机而非模型生成过程,在 vLLM 上造成同机用户 TTFT 最高 742 倍退化。论文先发现模型层面的延迟攻击在连续批处理下基本失效,50-75% 恶意请求仅使正常用户 TTFT 增加 3-5.7%。F&S 用 Fill 耗尽全局 KV cache 触发队头阻塞,用 Squeeze 迫使调度器反复抢占,并借 ITL 侧信道在黑盒下估计 KV 使用率。在 vLLM v0.11.2 与 Qwen3-8B、Gemma3-12B-it、DeepSeek-R1-Distill-Llama-8B 上,TTFT 退化最高 742 倍(Gemma3-12B-it 从 0.13 秒升至 97.83 秒),攻击成本比现有攻击低 30-40%。论文称按实体 KV 配额、跳过式准入、公平排队和输出缓冲等可削弱该攻击。

推荐理由论文发现模型层面的延迟攻击在连续批处理下基本失效,转而针对调度器状态机,并给出 vLLM 上的实测数据。

深度解读生成中

阅读原文arxiv.org