BenchOverflow: Measuring Output Overflow in Large Language Models with Plain-Text Prompts

普通纯文本提示会让大语言模型生成过长输出（Overflow），抬高成本、延迟并挤占共享算力，但缺少可比较的测量。

• 场景：作者称模型被优化为有帮助、覆盖全、顺从请求；用户要求穷尽枚举或逐步展开时，系统常生成很长的文本。长输出增加延迟与费用、挤占后续轮次和速率限制，也可被用来掩盖关键内容或造成界面拒绝服务。作者将其对照网络安全中的 wallet exhaustion（Denial of Wallet）：过量使用耗尽财务或资源。
• 与越狱的差别：作者称 Overflow 不要求忽略策略、间接渗出或优化对抗后缀，而来自有用性先验和解码默认——用户看重覆盖与细节，枚举应完成，逐步展开表示周到。长度控制常是软偏好；严格最大 token 又可能降低回答质量。
• 现有缺口：作者把该现象放进 OWASP 的 LLM10: Unbounded Consumption 与 LLM06: Excessive Agency。相关攻击多依赖白盒优化、语料或检索控制、图像扰动或智能体循环；作者称这些前提限制了典型部署中的适用性。
• 本文做法：给出九类纯文本策略的分类，提出与模型无关的基准 BenchOverflow，在九个开源与闭源模型上测量长度分布、触顶和重复波动，并测试一条固定简洁提醒。
• 威胁模型（第 4.1 节）：
  • 目标：刻画未修改提示在固定解码预算和提供方默认设置下，能把输出拉到多长。
  • 知识：对手是无更高权限的普通终端用户。相关工作把设定称为 plain-text, black-box prompting。
  • 能力：只能经公开接口提交纯文本。不假设能改训练数据、系统提示或解码内部，不假设能绕过 max_tokens 等 API 限制，不考虑越狱或读取隐藏系统指令。
  • 受害系统：接受自然语言并返回文本的交互式 LLM 服务。判定不用二分类越狱率，而用原生 completion token 数，以及是否超过 1k、3k、5k。

作者按长度压力进入系统的层面组织相关工作，并把它放在 OWASP GenAI 的无界消耗与过度代理之下。

• 提示词表面：Engorgio（Dong et al., 2024）学习能压低 EoS、拉长补全的提示，论文转述其报告输出长度增加 2–13×，并有部分跨模型迁移。CRABS/AutoDoS（Zhang et al., 2024b）在黑盒、攻击树抽象下自动构造提示，论文转述其报告 >250× 延迟膨胀，并用 Length Trojan 绕过防御。作者明确对比：本文用未改写的自然语言，不依赖对抗后缀或优化，在固定解码参数下直接按生成 token 评估。
• 推理膨胀：Excessive Reasoning Attack（Si, 2025）优化后缀以触发冗余推理和延迟终止，论文转述推理长度增加 3–9×，并可迁到 o1-mini、o3-mini、DeepSeek-R1、QWQ。OverThink（Kumar, 2025）在外部内容中插入诱饵推理任务，论文转述 FreshQA 上 18×、SQuAD 上 46× 减速。ExtendAttack（Zhu et al., 2025）与 PoT（Li et al., 2025）分别用字符混淆或黑盒迭代拉长思维链。作者对比：这些工作主要针对为逐步推理优化的模型；本文看的是不要求显式推理轨迹时也会变长的宽泛、非对抗提示。
• 数据、多模态与其他层：Denial-of-Service Poisoning（Gao et al., 2024c）在数据中植入抑制 EoS 的样本；Zhang et al.（2025a）分析 RAG 投毒路径。多模态方面，Verbose images（Gao et al., 2024a）报告序列长度增加 7.9–8.6×；LingoLoop（Fu et al., 2025）在 Qwen2.5-VL-3B 上报告最多 30× token；Hidden Tail（Zhang et al., 2025c）报告最多 19.2×。智能体方面，Breaking Agents（Zhang et al., 2024a）演示跨多智能体的无限循环；Zhang et al.（2025b）讨论安全护栏误报本身造成 DoS。BitHydra（Yan et al., 2025）翻转少量权重比特以抑制 EoS。作者对投毒线的对比是：本文只在提示时评测，不假设控制语料。
• 基线与基准：实验不复现上述攻击。良性对照是 OpenAssistant Conversations（OASST2，Köpf et al., 2023）。BenchOverflow 的九类策略是 change forms、explicit forced length、implicit large enumeration、infinite generation、quote、recursive details、roleplay simulation、stepwise explanation、tokenizer stress。

作者把本文定位为：不依赖白盒梯度、训练或检索语料、对抗图像或智能体执行框架，只检查普通交互里的纯文本黑盒提示；并称即便看似良性的场景仍会造成可观的资源成本。

作者把 Overflow 定义为提示诱发的过量文本生成，用绝对长度量化，并提出基准 BenchOverflow。每次运行记录模型报告的输出 token 数，从生成开始到终止；统一预算为 M=5000 个新 token，计数用各模型原生分词器。

问题设定

• 交互形式：每次请求只有一条系统消息 “You are a helpful assistant.” 和一条用户消息。记录输入提示、逐字输出和模型报告的 completion token 数。
• 适用部署：作者把基准对准开放式场景，如聊天助手、教育或创意写作工具、公共推理 API 和共享机构系统，用户可发不受限的自然语言。
• 提示约束：每条提示是普通自然语言，不依赖代码、CSV/JSON、越狱指令或模型专用 token。

提示词生成

• 生成器：全部提示由 GPT-4o 在其默认解码（temperature=1.0）下生成。Figure 1 还写有细化环：人工机制说明和例子填入模板，模板经 LLM 运行后再人工修正。
• 三步协议：任务说明把生成器设为红队协作者，并给每条向量操作标准；上下文学习为每条向量提供 5–8 个正例及简短有效性说明；负对照加入 3–4 个表面相似但不符合操作标准的例子。
• 统一模板：指定攻击向量、怎样才算有效实例、应包含与应避免的特征、正负例，以及返回提示的 JSON schema。附录 A.3 给出完整模板。附录 A.2 给出各类示例，此处不复述。
• 规模：每类策略系统构造超过 300 条提示；实验时从每个集合确定性抽取 100 条，各模型用同一子集。

九类策略

Table 1 用机制区分九类，不依赖模型族：

• Change forms：跨格式变换（翻译、编码、重排版）以放大输出。
• Explicit forced length：直接指定很大的篇幅或条目数。
• Implicit large enumeration：要求写出庞大类别中的“全部”，不设范围上限。
• Infinite generation：指示无停止规则地继续。
• Quote：逐字复述篇幅较大的公有领域文本。
• Recursive details：先列条目，再对每条做多层展开。
• Roleplay simulation：角色互动扩展成多轮式长输出。
• Stepwise explanation：把任务写成逐步演算，拉长推理过程。
• Tokenizer stress：使用对分词敏感的输入，如表情序列、Unicode 异常、组合记号。

指标、评审与提醒

• 长度分布：直方图与 ECDF 描述中心与尾部。CSR 是生成长度超过 τ∈{1k, 3k, 5k} token 的比例。同一提示重复运行，用长度标准差看稳定性；跨模型用同一提示上的长度相关看是否对齐。
• 拒答与充分性：GPT-5-mini 作评审。拒答包括明确拒绝、隐含回避和只部分完成；带免责声明但仍实质执行算非拒答。良性充分性用 0/1/2：未答、部分答、完全答。附录 A.4 给出完整评审提示。
• 防御形式：固定简洁提醒。摘要和第 4.2 节写 prepend；第 4.1 节写成 p′ = p ∥ r，r 为提醒字符串，∥ 为拼接。两处提醒原文也不完全相同：一处带 “Reminder:” 前缀，一处没有。只统计生成 token，输入（含 r）不计入长度。不改其他解码参数、停止序列或安全机制。论文未说明实验日志里提醒实际出现在用户文本之前还是之后。

实验设置

• 被测模型：开源六个：Qwen3-4B-Instruct-2507、Qwen3-8B-Instruct、LLaMA-3.2-3B-Instruct、LLaMA-3.1-8B-Instruct、Gemma-3-4B-It、Gemma-2-9B-It。闭源三个：GPT-5、Gemini-2.5-Flash、Claude-Sonnet。图表里的 Qwen-3-4B、Qwen-3-8B、LLaMA-3.1-8B 等是简称。
• 数据与重复：九个 BenchOverflow 策略集加良性 OASST2。每集确定性抽 100 条，各模型同一子集。每个提示–模型对独立跑 4 次，即每策略–模型 400 次生成，九策略合计每模型 3,600 次，加 OASST2 的 400 次后每模型 4,000 次。
• 解码：开源为 do_sample=True、temperature=1.0、max_new_tokens=5000。闭源用提供方默认采样与惩罚，不改温度、nucleus/top-k、频率或存在惩罚、停止序列或安全过滤；输出预算设为 5,000 token。第 6 节另写实验使用各模型默认 temperature（temperature=1）。
• 基线：OASST2。实验不与 Engorgio、CRABS 等攻击方法比 ASR 或延迟倍数。
• 指标：原生 completion token 数；CSR@1k/3k/5k；ECDF；同一提示四次长度的标准差；跨模型 Pearson 相关。拒答率由 GPT-5-mini 判定。Table 2、Table 3 未再写每格分母。
• 防御与人工：同一 100×4 与同一配置，九个模型都测简洁提醒。OASST2 上另做 0/1/2 充分性。拒答与充分性各人工抽查 100 条，作者称一致性高，论文未给一致率数字。

主结果

下表合并 Figure 4 的 CSR（图中为百分比；横轴从左到右为 GPT-5、Claude-Sonnet、Gemini-2.5-Flash、LLaMA-3.1-8B-Instruct、Qwen3-8B-Instruct、Gemma-2-9B-It、LLaMA-3.2-3B-Instruct、Qwen3-4B-Instruct、Gemma-3-4B-It）与 Table 2 的拒答率。因行数上限，省略 Gemini-2.5-Flash。EFL 为 Explicit forced length，TS 为 Tokenizer stress，ILE 为 Implicit large enumeration。

Swipe horizontally to read the table

模型	EFL CSR@5k	TS CSR@5k	OASST2 CSR@1k	OASST2 CSR@5k	ILE 拒答率
GPT-5	63.0%	52.8%	76.8%	1.8%	73.0%
Claude-Sonnet	69.0%	9.8%	3.0%	0.0%	88.3%
LLaMA-3.1-8B-Instruct	49.2%	21.8%	3.2%	0.0%	61.3%
Qwen3-8B-Instruct	31.8%	31.0%	71.2%	2.8%	88.3%
Gemma-2-9B-It	0.5%	0.2%	0.0%	0.0%	92.8%
LLaMA-3.2-3B-Instruct	39.8%	21.5%	4.4%	0.2%	45.0%
Qwen3-4B-Instruct	18.5%	21.5%	28.8%	1.2%	86.0%
Gemma-3-4B-It	27.5%	21.5%	41.0%	0.2%	70.0%

• 作者称九个模型上 BenchOverflow 相对 OASST2 都把长度分布右移，并在 5000 token 上限附近累积；Figure 2、Figure 3 的转换文本看不到均值线位置和曲线形状，只能核对图注（蓝为 benign，红为攻击，虚线为 5000）。作者称 CSR@5k 上 Explicit forced length 与 Tokenizer stress 最突出，Quote、Infinite generation、Recursive details 拉出右尾，Change forms、Implicit large enumeration、Roleplay simulation 多停在中高段、触顶较不整齐。
• 作者称良性基线在所有阈值上 CSR 都低。Figure 4 的 CSR@5k 对 OASST2 确实低，但 CSR@1k 并非都低，表中 GPT-5 与 Qwen3-8B-Instruct 即是反例。省略的 Gemini-2.5-Flash：EFL CSR@5k 为 11.0%，TS CSR@5k 为 15.2%，OASST2 CSR@1k 为 33.2%、CSR@5k 为 0.5%，ILE 拒答率为 76.8%（Table 2）。
• 作者称拒答会调节长度，但不均匀抑制 overflow。Table 2 中 ILE 拒答率高（45.0%–92.8%），Roleplay simulation 低（0.0%–1.3%），Stepwise explanation 多低于 10%（最高为 Gemma-2-9B-It 的 9.8%）。作者称 Explicit Forced Length 与 Tokenizer Stress 上，Gemma-4B、LLaMA-8B 与 3B、GPT-5、Qwen-4B 在被标为拒答时仍可接近上限；ILE 的拒答则常短于 1k。作者认为跨模型差异可能来自对齐目标不同，这是推测，不是干预结果。

防御与 OASST2 充分性

• 测了什么：九个模型、同一 100×4。攻击集上的防御只见于 Figure 6 直方图（红为 Attack，绿为 Defense）；转换文本看不到柱高。良性充分性在 Table 3。
• 攻击集：作者称防御后直方图左移、上限附近密度下降，多数策略 CSR 降低。摘要写提醒对全部策略、在多数模型上降低 CSR；第 4.2 节写对最强情形单独使用并不足够。作者称 Roleplay simulation、Infinite generation 和部分 Recursive details 更吃提醒，Tokenizer stress 相对更不受影响。论文未给出防御后的 CSR 表。
• OASST2：作者称平均长度降幅大约从 30%（GPT-5）到 85–90% 以上（文中举例 Gemini-2.5-Flash、Qwen-3-8B、Gemma-3-4B-It）。下表只列 Table 3 的四对；其余模型同表均有无提醒/有提醒两行。

Swipe horizontally to read the table

模型（Table 3 写法）	条件	完全回答	平均 token
GPT-5	无提醒	93.2%	1933±1066
GPT-5	有提醒	94.2%	1365±917
Gemini-2.5-Flash	无提醒	93.2%	647±456
Gemini-2.5-Flash	有提醒	54.8%	51±62
Qwen-3-8B	无提醒	85.8%	1301±558
Qwen-3-8B	有提醒	45.5%	152±127
Gemma-3-4B-It	无提醒	78.2%	950±370
Gemma-3-4B-It	有提醒	32.8%	70±90

作者称质量下降常是从完全回答转到部分回答，而不是变成未答。表中 GPT-5 的完全回答比例没有下降，与“往往下降”并不一致。结论里作者称 Qwen 族收缩强，OpenAI 在分布变短后仍会产出长输出。

重复稳定性与跨模型相关

• 测了什么：同一提示四次长度的标准差（Figure 5a、附录 Figure 7），以及同一提示上模型两两的完成长度相关（Figure 5b 为全策略聚合，Figure 9 按策略）。
• 结果：作者称 GPT-5、Qwen-3-4B-Instruct、Gemma-2-9B-It、Gemma-3-4B-It、Claude-Sonnet 的标准差多靠近 0；Qwen-3-8B-Instruct、Gemini-2.5-Flash、两个 LLaMA 有更重的右尾，一部分提示跨次相差超过 10^3 token。Figure 5a 坐标到 2000，转换文本看不到各柱高度。Figure 5b 中 LLaMA-3.1-8B-Instruct 与 LLaMA-3.2-3B-Instruct 为 73，两 Qwen 为 43，Gemma-2-9B-It 与 Gemma-3-4B-It 为 27，GPT-5 与 Claude-Sonnet 为 54。
• 作者解读与正文差异：作者称族内相关最高 69–71%（LLaMA）、36–40%（Qwen）、Gemma-2 对 Gemma-3 为 23%，并举例 GPT-5、Claude-Sonnet 与多个族有 51% 和 54% 的正相关。这些数字与 Figure 5b 的对应格不完全相同。作者称 LLaMA-3.2-3B-Instruct 与 Qwen-3-4B-Instruct 在 Explicit forced length 上甚至负相关；Figure 9 该格为 -0.41。

其他消融与分析

• 温度：论文未报告统一 temperature 扫描的数字；第 6 节称长度可随 temperature 波动，实验用各模型默认值（temperature=1）。
• 预算：只报告 5000 新 token，没有其他预算的对比数字。
• 策略内波动：作者称多数策略在模型内稳定，Gemini-2.5-Flash 与 LLaMA 3B/8B 更高（附录 Figure 7）；转换文本看不到柱高。
• 按策略相关：作者称 Roleplay simulation、Stepwise explanation 跨族相关较高，Infinite generation 较弱（Figure 9）。
• 拒答条件长度：作者描述“拒了仍很长”，但未给拒答子集的 CSR 表；Figure 8 为拒答输出的长度频率，转换文本看不到柱高。
• 人工一致率：各评测抽查 100 条，作者称一致性高，无百分比或相关系数。

作者指出的局限与后续方向

• 范围：研究只隔离固定解码和预算下的纯文本提示效应；未评估工具增强智能体、检索管线或训练时防御（第 6 节）。
• 闭源默认值：专有模型的结果反映当时的提供方默认设置，这些默认值可能变化（第 6 节）。
• 效用：作者在第 6 节写，量化了冗长度和触顶，但未测量对策下的下游任务效用或用户满意度。同文 Table 3 报告了 OASST2 上的 0/1/2 充分性。
• 温度：使用各模型默认 temperature（temperature=1）；序列长度可随温度明显波动，不同模型默认温度不同。作者认为更可控的统一温度比较，或系统的温度研究，才能分清变异来自提示现象还是解码随机性（第 6 节）。
• 预算与标注：实验在 5k token 预算下进行，作者称该预算用于平衡运行时间、稳健性和计算成本。拒答与任务充分性都依赖 LLM-as-judge；虽对每项评测人工抽查 100 条并称一致性高，标签仍可能有错。作者称未来应做更大规模、校准过的人工验证（第 6 节）。
• 后续：第 5 节写未来工作应扩展到工具使用、RAG、多模态和多轮；测试其他解码或默认设置；发展有原则的分层缓解，在不损害任务表现的前提下限制生成。

实验覆盖范围

• 被测模型为第 4.1 节列出的六个开源模型与 GPT-5、Gemini-2.5-Flash、Claude-Sonnet，共 9 个；提示由 GPT-4o 生成，拒答与充分性由 GPT-5-mini 判定。
• 评测集为九类 BenchOverflow 策略加 OASST2；每集抽 100 条、每条 4 次，每模型共 4,000 次生成，预算为 5000 新 token。
• 防御实验是同一批提示上的固定简洁提醒，覆盖全部 9 个模型；OASST2 上同时报告长度和 0/1/2 充分性（Table 3）。攻击集上的防御结果是 Figure 6 的直方图，论文未报告防御后各策略的 CSR 数字。
• 开源解码固定为 do_sample=True、temperature=1.0、max_new_tokens=5000；闭源使用提供方默认生成设置，并把输出预算设为 5,000 token。论文未报告统一温度或多种预算下的对照数字。
• 人工检查为拒答评测与充分性评测各 100 条；论文未报告一致率的具体数值。相关工作讨论过的白盒后缀优化、语料投毒、图像扰动和智能体循环未在本实验中复现，作者在第 2 节说明本文不假设这些条件。

BenchOverflow 测量一种与越狱不同的失败：普通纯文本请求让 LLM 生成过长输出。作者关心的是服务成本、延迟、能耗，以及共享环境里的计算放大，而不是策略绕过。

• 问题：对手被写成无特权的普通用户，只能经公开接口提交纯文本，不能改训练数据、系统提示或解码，也不假设能绕过 max_tokens。受害系统是返回文本的交互式 LLM 服务。
• 做法：GPT-4o 按统一 meta-prompt 生成九类策略——形式变换、显式强制长度、隐式大枚举、无限生成、引用复述、递归细节、角色扮演、逐步解释、分词压力。每类构造超过 300 条，实验各抽 100 条、重复 4 次。九个开源与闭源模型在 5000 新 token 预算下，用原生 token 数、CSR@1k/3k/5k 和长度分布来记。良性对照是 OASST2。另测一条固定简洁提醒；摘要写前置，公式写成拼在提示之后。
• 主结果：作者称九个模型上攻击提示相对 OASST2 都右移，并出现重尾。Figure 4 中 Explicit forced length 的 CSR@5k，Claude-Sonnet 为 69.0%，Gemma-2-9B-It 为 0.5%。作者称良性基线在各阈值 CSR 都低，但同图 OASST2 的 CSR@1k 对 GPT-5 为 76.8%。拒答率随策略差很大：Gemma-2-9B-It 在隐式大枚举上为 92.8%（Table 2），角色扮演则接近 0。作者称被标拒答的输出仍可能很长。
• 提醒：作者称它能减弱多数策略的右尾，但单独使用压不住最强向量，Tokenizer stress 相对更不受影响。在 OASST2 上，GPT-5 平均长度从 1933±1066 到 1365±917，完全回答从 93.2% 到 94.2%；Gemini-2.5-Flash 从 647±456 到 51±62，完全回答从 93.2% 到 54.8%（Table 3）。作者称这是低成本的第一道缓解，并换来一定的回答质量下降。
• 作者的结论：长度控制应被看成可靠性、成本和可持续性问题，而不只是文风。作者认为该基准可用于比较模型的长度稳健性、选择少浪费资源的部署，以及评估不损害任务表现的防御。他们同时写明，结果限于固定预算和当时的闭源默认设置。