Chatter Attack:针对大语言模型的资源消耗攻击
Chatter Attack: Resource Consumption Attack for Large Language Models
作者提出 Chatter Attack 与黑盒版 Chatter-BPO,诱导推理 LLM 陷入自我怀疑输出超长回复,在 R1-7b/GSM8K 上 ATL 最高增至 31.5×。
攻击者向原始输入 x 附加对抗前缀 a,最大化输出长度 N 以增加推理成本。
- LLM 推理成本高昂,恶意用户可诱导模型输出超长回复,增加延迟与运营开销。作者称已有资源消耗攻击(强迫重复或压低 EOS logit)在自回归采样下搜索空间随长度指数增长,优化易脱轨,效果和稳定性受限。
- Chatter Attack 以短怀疑语义短语为优化目标诱导模型自我怀疑,配合推理注意力损失和全局熵损失维持该状态;白盒用 GCG 优化前缀,黑盒提出基于高斯过程和离散 token 核的 Bayesian Prompt Optimization(BPO)。
- 在 R1-7b、QwQ-32b、gpt-oss-20b 和五个基准上,作者报告两种攻击的 ATL/ATC 均超过十余个基线,R1-7b/GSM8K 上 ATL 最高 31.5×;10% 攻击流量使本地服务 TTFT 增 2×–3×;CCoT、CoD、PD3F 等防御均未能完全缓解。
- 作者指出攻击依赖自回归顺序解码,不能直接用于扩散语言模型;对无显式思维链的对话模型效果较差,需重新设计目标短语和关键 token 集合。实验覆盖 3 个本地推理模型、5 个基准(每基准约 100–120 样本)及 3 个在线 API。
- 威胁模型
- 攻击者向原始输入 x 附加对抗前缀 a,最大化输出长度 N 以增加推理成本。white-box 场景下攻击者可访问目标模型的架构、参数和梯度;black-box 场景下攻击者仅有 black-box 访问权限和受限的查询次数。受害系统为 LLM API 服务(含本地部署的开源模型服务)。
- 被测模型
- DeepSeek-R1-Distilled-Qwen-7b (R1-7b)QwQ-32bgpt-oss-20b
- 基准
- GSM8KMathQAMATH-500MMLU-ProHumanEvalTerminal Bench 2.0Humanity's Last ExamGDPval
- 指标
- ATLATCACCRRGCUTTFTTPS
研究者提出 Chatter Attack,一类针对大语言模型的资源消耗攻击,通过优化对抗提示诱导模型生成超长输出,推高推理延迟与运营成本,实验中响应长度最多增至 31.5 倍。此前同类攻击依赖强迫重复或压低结束符 logit 值,在基于采样的自回归生成下易受搜索空间爆炸和轨迹不稳定影响;Chatter Attack 改为以诱导自我怀疑的短语作为优化目标,并通过推理注意力损失与全局熵损失在生成全程维持该状态。面向黑盒场景,作者进一步提出贝叶斯提示优化(BPO)方法,通过构建离散 token 核全局建模目标函数并利用先验信息探索搜索空间。作者在多个模型与数据集上的实验显示该方法优于基线,并称其揭示了对真实 LLM 推理服务的实际资源耗尽风险。
相关热点
0 个事件 · 1 条新闻提到
提到这篇论文的新闻
- 公众号 大模型安全研究引用了论文编号或链接大模型安全周报:别只关注通过率,聚焦边界控制和安全覆盖面
Chatter Attack: Resource Consumption Attack for Large Language Models(https://arxiv.org/abs/2611.11261)
深度解读
这篇论文试图解决什么问题?
如何稳定地诱导推理 LLM 生成超长输出以耗尽其推理资源,克服已有攻击优化易脱轨的问题。
核心问题:如何让针对 LLM 的资源消耗攻击(诱导超长输出)在自回归采样生成下仍可稳定优化。
- 问题场景:作者称 LLM 推理阶段占部署资源需求的 90% 以上(引 NVIDIA 与 AWS 说法),恶意用户可构造输入迫使模型输出异常长的回复,抬高延迟与运营成本,类似 DoS。
- 现有方法的不足:作者称已有方法要么强迫模型重复特定内容,要么压低 ⟨EOS⟩ 的 logit;但自回归采样下搜索空间随长度指数增长,单个异常 token 即可使生成轨迹脱轨,降低攻击有效性与稳定性。
- 核心观察:以短序列(怀疑语义短语)为优化目标可避免搜索空间爆炸,同时仍能影响长输出的长度;怀疑、反思本就是模型正常输出中的常见步骤(Table 1 中怀疑短语 PPL 更低)。
- 论文提出:Chatter Attack(白盒,GCG 优化)与 Chatter-BPO Attack(黑盒,贝叶斯优化),并给出期望生成长度下界的理论分析(Theorem 1)。
- 威胁模型:
- 目标:在原始输入 x 前附加对抗前缀 a,最大化输出长度 N,增加推理成本。
- 知识:white-box 场景可访问目标模型架构、参数和梯度;black-box 场景仅 black-box 访问加受限查询次数。
- 能力:控制输入前缀;黑盒下用关键推理 token 后 n 个 token 的交叉熵替代注意力损失。
- 受害系统:LLM API 服务(免费或按量付费),含被污染的第三方数据源或代理场景。
有哪些相关研究?
相关工作涵盖推理 LLM 与过度思考、资源消耗攻击两条线,本文与十余个攻击基线和三种防御对比。
推理 LLM 与过度思考
- OpenAI o1/o3、DeepSeek-R1、QWQ 等推理模型通过显式思维链提升多步推理,但推理阶段算力消耗随之成为问题(附录 B)。
- Chen et al. [10] 等研究"overthinking"现象:模型在简单问题上耗费过多推理资源。本文转而扮演恶意攻击者,利用这一特性诱导长输出。
资源消耗攻击
- Sponge Samples [52](2021)通过最大化激活范数增加能耗与延迟;NICGSlowDown [9](2022)操纵输出 token logits 增加解码调用。作者称二者分别针对翻译和图像描述任务,不直接适用于自回归 LLM。
- OverThink [32] 与 CatAttack [50] 注入开放式诱饵问题或复杂数学题,让模型分配额外推理资源。作者称这类方法依赖手工模板,鲁棒性和泛化能力不足,只在特定模型上有效。
- Geiping et al. [25] 的 DoS prompt 攻击以重复内容(如 24 次重复字符串)为目标;Engorgio 类方法 [17, 53, 63, 23, 21] 压低 ⟨EOS⟩ 相对其他 token 的 logit。作者称这类目标在采样生成下搜索空间指数增长,难以有效优化。
基线与基准
- 黑盒基线:CoT prompting、CatAttack、OverThink 四变体(CAW、CAG、ICLGAW、ICLGAG),及作者自建的 Heuristic Prompt、Black-box Search、Gradient-free Attack。
- 白盒基线:DoS prompt attack、Engorgio Prompt、Excessive Reasoning Attack (ERA)。
- 防御对照:CCoT、CoD(提示压缩类)与 PD3F(解码策略类),另有多项生产约束与基础设施防御。
- 基准:GSM8K、MathQA、MATH-500、MMLU-Pro、HumanEval;迁移实验另用 Terminal Bench 2.0、Humanity's Last Exam、GDPval。
作者将本文定位为:以短怀疑短语为优化目标、配合注意力与熵损失维持自我怀疑,并用 BPO 扩展到黑盒,区别于重复类和 EOS 抑制类目标。
论文如何解决这个问题?
以短怀疑短语诱导自我怀疑,用三项损失维持该状态,白盒走 GCG、黑盒走贝叶斯优化 BPO。
整体思路:把优化目标从长序列换成短怀疑语义短语,让模型从输出起点进入自我怀疑并持续反思,从而生成更多 token;框架名为 Chatter Attack,黑盒扩展为 Chatter-BPO Attack。
问题形式化
- 攻击者在输入 x 前附加前缀 a,最大化输出长度 N;第 i 个 token 的生成概率为 p(yi | a; x; y1..i−1),⟨EOS⟩ 概率决定停止。
- 作者称以特定长序列为目标(重复内容或逐 token 抑制 ⟨EOS⟩)在采样下难以优化,故改用短目标。
三项损失
- Initial Doubt Loss:LID = −∑m=1M log p(ym∗ | a; x; y<m∗),即对短怀疑短语的标准交叉熵,诱导模型在输出开头进入自我怀疑。Table 1 报告怀疑短语在 R1-7b 上 PPL 更低(如 81.97、98.33),作者据此认为其更贴合模型分布、更易优化。
- Inference Attention Loss:LIA = −∑l ∑i∈ U ∑j∈ V Al,i(j),提升关键推理 token(如 "wait"、"alternative",词表见 Table 8)及其后 n 个 token 对前缀怀疑短语的注意力。Figure 1 显示失败样本中这些位置的注意力权重更低,成功样本更高(作者的分析)。
- Global Entropy Loss:最小化预测分布的负熵,增强每步输出不确定性。Figure 2 显示推理后期不确定性下降,作者以此论证需要熵损失抵消。
- 总目标 L = αLID + βLIA + λLGE,默认 (α, β, λ) = (1, 10, 1)。
理论分析
- Theorem 1(附录 E 证明):在生成与损失评估同分布、⟨EOS⟩ 概率上界等假设下,log E[NB] ≥ −Lproxy − C,即三项损失的加权和是期望生成长度下界的代理。
优化方法
- 白盒:用 GCG 优化 20 token 前缀,3000 步、采样预算 64;对每个位置按嵌入梯度选 top-k 候选、贪心替换。
- 黑盒(BPO):把每轮函数值反馈当作先验,用高斯过程(均值 0、Matérn-5/2 核作用于 token 嵌入)全局建模 −L,采集函数取 UCB(γ = 2);每轮用 100 步 GCG 最大化采集函数,再做 N 步随机替换局部搜索(N 从 0 渐增至 16),GP 超参用 Adam(学习率 0.1)优化。黑盒下 LIA 不可算,用关键推理 token 后 n 个 token 的交叉熵替代。
成功判定
- 以 ATL(平均输出 token 数)、ATC(平均推理耗时)为主指标,ACC 记录正确率;服务端另监测 RR、GCU、TTFT、TPS。
论文做了哪些实验?
三个推理模型、五个基准上两种攻击的 ATL/ATC 超过全部基线,并在模拟服务与真实 API 上验证。
实验设置
- 被测模型:DeepSeek-R1-Distilled-Qwen-7b (R1-7b)、QwQ-32b、gpt-oss-20b;迁移实验另测在线 API DeepSeek-R1-0528、OpenAI's o3、DeepSeek-V4-Pro。
- 数据集:GSM8K、MathQA、MATH-500、HumanEval 各随机抽 100 条;MMLU-Pro 从 12 个非数学类别各取 10 题。
- 基线:黑盒 6 个(CoT、CatAttack、OverThink 四变体)加自建 3 个(Heuristic Prompt、Black-box Search、Gradient-free Attack);白盒 3 个(DoS、Engorgio Prompt、ERA)。
- 指标:ATL、ATC(含 95% 置信区间)、ACC;服务端指标 RR、GCU、TTFT、TPS。
- 生成配置:最多 16384 token,temperature 0.6,top-p 0.95,repetition penalty 1.0;服务实验用 vLLM 部署于单张 NVIDIA A800。
- 评审方式:输出侧 excessive-reasoning 监控用 Qwen2.5-7B-Instruct 作 LLM-as-a-judge;输入侧用其算 PPL 过滤。论文未报告重复实验次数。
主结果
据 Table 2(ATL,token 数;Base 为无攻击):
表格较宽,可左右滑动
模型 数据集 Base 最强基线 Chatter Attack Chatter-BPO R1-7b GSM8K 423.5 1456.7 (Black-box Search) 13345.8 7846.9 R1-7b MATH-500 1270.6 2357.2 (Black-box Search) 9577.8 6660.6 R1-7b MathQA 411.1 1156.1 (Heuristic Prompt) 7429.2 7338.2 QwQ-32b GSM8K 991.4 2747.9 (ERA) 3298.4 3149.8 QwQ-32b MATH-500 3007.0 4266.6 (ICLGAW) 5303.3 4800.0 QwQ-32b MathQA 3955.6 4038.0 (Black-box Search) 6915.4 4811.8 gpt-oss-20b GSM8K 253.0 1055.2 (Heuristic Prompt) 1980.3 1182.7 gpt-oss-20b MATH-500 389.9 1258.9 (ICLGAW) 1893.0 2438.7 - 作者称 Chatter Attack 在所有设置下 ATL/ATC 最高,R1-7b/GSM8K 上相对 benign 最高 31.5×;Chatter-BPO 次之但超过全部基线。表中例外:gpt-oss-20b/MATH-500 上 Chatter-BPO(2438.7)高于 Chatter Attack(1893.0)。
- 作者观察到部分设置 ACC 下降(如 R1-7b/MATH-500 上 Chatter Attack 的 ACC 为 16.4,Base 为 92.5),解释为超长输出触及生成预算、未能返回有效最终答案。
- 泛化(Table 7,R1-7b):MMLU-Pro 上 Chatter Attack ATL 6638.3(Base 1495.0),HumanEval 上 5788.4(Base 1554.7),作者称可泛化到问答与代码生成。
对防御的评测
- 推理压缩与解码防御(Table 3,R1-7b):CCoT、CoD、PD3F 均降低 ATL/ATC 但未能完全缓解;如 GSM8K 上 Chatter Attack 加 CoD 后 ATL 仍达 5088.4(Base 423.5)。
- 生产约束与基础设施防御(Table 4/17,模拟服务,Chatter-BPO):Output-Token Limit 将 RR 从 17.4 降至 6.2(benign 2.2);IP Blocking 在 IP Rotation 下 RR 回升至 19.3;Server-side Early Termination 下 RR/GCU 反而升至 26.0/43.8%。作者称没有防御能完全消除影响。
- 输出侧检测:作者报告 literal loop detection 仅触发 10 次、封禁 3 个账号、命中率低于 5%;excessive-reasoning 监控漏检 65.6% 的攻击轨迹。
服务端与真实 API
- 本地服务(Figure 3,R1-7B,20 请求/分钟):注入 10% 攻击流量使 TTFT 增 2×–3×,TPS 从约 80 tokens/s 降至低于 60;附录 D.7 称 1% 注入即可引起可察觉的延迟波动。
- 在线 API 迁移(Table 15):R1-7b/gpt-oss-20b 上优化的前缀迁移到 DeepSeek-R1-0528 与 o3,作者称 o3 输出长度最高增至 2×(如 GSM8K 上 ATL 从 362.7 到 797.9)。
- DeepSeek-V4-Pro(Table 16,Chatter-BPO):GSM8K 输出消耗从 240.3 升至 2860.4;Terminal Bench 2.0 从 5980.1 升至 15315.7;作者称在其余基准上资源消耗增 2.5×–3.2×。
其他消融与分析
- 损失消融(Table 9,R1-7b/GSM8K):去掉 LIA 后 ATL 9545.6,去掉 LGE 后 9282.3,全目标 13345.8。
- 超参敏感性(Table 10):默认 (1,10,1) 最优,其余组合 ATL 7323.2–10123.8。
- 前缀长度(Table 11):10 token 时 ATL 7846.9,30 token 时 14147.5,作者称 20 token 之后增益有限。
- BPO 消融(Table 12):Random Search ATL 1532.4,无 Local Search 5215.8,完整 BPO 7846.9。
- 解码策略(Table 13):Greedy 解码 ATL 14796.6;temperature 1.0 时降至 8356.0,0.2 时升至 14983.7。
- 量化(Table 14):FP8 下 ATL 11649.5,BNB NF4 下 9598.8(BF16 为 13345.8)。
有什么可以进一步探索的点?
作者称攻击不适用于扩散语言模型、对非推理对话模型效果较差;实验覆盖三个本地模型与五个基准。
作者指出的局限与后续方向
- 架构限制(Conclusion/Limitation):攻击依赖自回归 LLM 的顺序解码过程,不能直接应用于非顺序生成 token 的扩散语言模型。
- 模型类型限制(Conclusion/Limitation):对没有显式思维链推理的传统对话模型效果较差,需要重新设计目标短语和关键 token 集合。
- 后续方向(Conclusion/Limitation):作者将扩展到非推理对话模型和非自回归架构留作未来研究。
实验覆盖范围
- 被测模型为 R1-7b、QwQ-32b、gpt-oss-20b 共 3 个本地推理模型;迁移实验覆盖 DeepSeek-R1-0528、OpenAI's o3、DeepSeek-V4-Pro 共 3 个在线 API(Table 15、16)。
- 基准为 GSM8K、MathQA、MATH-500、MMLU-Pro、HumanEval 共 5 个,每个约 100–120 条样本;DeepSeek-V4-Pro 另测 Terminal Bench 2.0、Humanity's Last Exam、GDPval。
- 防御评测包括 CCoT、CoD、PD3F,以及模拟服务中的输出长度限制、速率限制、动态批处理、请求优先级、提前终止、花费上限、IP/账号封禁、输入 PPL 检测、输出循环检测和 excessive-reasoning 监控(Table 3、4、17)。
- 论文未报告每个条件的重复实验次数;ATL/ATC 给出 95% 置信区间。
- 服务端实验在单张 NVIDIA A800 上以 20 请求/分钟的固定速率进行,攻击流量占比 1%–100%(附录 C、D.7)。
总结一下论文的主要内容
Chatter Attack 用短怀疑短语诱导推理 LLM 自我怀疑输出超长回复,白盒黑盒均可行,现有防御未能完全缓解。
一篇针对推理 LLM 的资源消耗攻击论文:恶意用户通过对抗前缀诱导模型生成超长输出,抬高推理延迟与运营成本。
- 问题:作者称已有攻击(强迫重复、抑制 ⟨EOS⟩)在自回归采样下搜索空间指数增长、优化易脱轨,有效性和稳定性受限。
- 方法:Chatter Attack 以短怀疑语义短语为优化目标(Initial Doubt Loss),用 Inference Attention Loss 让关键推理 token 持续关注该短语、Global Entropy Loss 提升输出不确定性;白盒用 GCG 优化 20 token 前缀,黑盒提出基于高斯过程与离散 token 核的 Bayesian Prompt Optimization。Theorem 1 给出期望生成长度的下界代理。
- 主结果:R1-7b/GSM8K 上 Chatter Attack 的 ATL 达 13345.8(Base 423.5,最高 31.5×),Chatter-BPO 达 7846.9;在 QwQ-32b、gpt-oss-20b 及 MMLU-Pro、HumanEval 上同样超过全部基线(Table 2、7)。
- 系统影响:模拟服务中 10% 攻击流量使 TTFT 增 2×–3×、TPS 从约 80 降至低于 60 tokens/s;迁移到 DeepSeek-R1-0528 与 o3 在线 API 仍有效,DeepSeek-V4-Pro/GSM8K 上输出消耗从 240.3 升至 2860.4。
- 防御评测:CCoT、CoD、PD3F 及多项生产约束、基础设施与输出侧防御均只部分缓解;作者报告 excessive-reasoning 监控漏检 65.6% 攻击轨迹。
- 作者结论:结果凸显了 LLM 推理服务的资源耗尽风险,需要检测和缓解对抗性超长推理的防御机制;作者称攻击不适用于扩散语言模型、对非推理对话模型效果较差,留作未来工作。