JIL：通过对抗后缀操纵 LLM 请求调度优先级

预测式 LLM 调度把用户可控提示映射成优先级，攻击者可以压低长度预测来插队。

• 场景： 对话助手、编程智能体等应用中，completion time 是从提交到收到完整响应的时间，作者认为它直接影响体验。并发下 FCFS 会 head-of-line blocking；SJF、SRPT 在标准假设下最小化平均完成时间，但请求大小主要取决于到达时未知的输出长度。
• 现有做法： 近期系统用输入提示预测请求大小再调度。TRAIL 从中间表示估计长度并用于 SRPT 式调度；LTR 预测长度相对顺序。作者认为，预测来自用户可控提示，因而出现新的攻击面。
• 核心观察： 与增加计算需求的攻击不同，目标是制造预测长度与实际生成长度的错配：调度器把请求当成短作业并给予高优先级，模型仍生成明显更长的响应。
• 本文做法： 提出 JIL。它在请求后追加对抗后缀，使长度预测器低估输出长度。案例是 TRAIL：轻量 probe 把内部表示映射为长度估计；攻击者不改服务系统、调度器或其他用户请求。
• 威胁模型：
  • 目标： 降低自己请求的预测输出长度，从而提高调度优先级、缩短完成时间。
  • 知识： 构造后缀时对目标模型和长度探针有 white-box 访问，梯度经过模型直到 layer ℓ，并经过探针 gθ。
  • 能力： 只能在自己的请求后追加 m-token 后缀。模型参数、探针参数、调度策略和其他用户请求保持固定；部署时提交修改后的请求。每个请求单独优化后缀。
  • 迁移： 用源模型及其探针构造后缀，再连同对应请求提交给接收模型；接收端探针与生成结果用于测量可迁移性。

LLM 服务与预测式调度

• 连续批处理、KV-cache 管理、prefill-decode 分离等系统，多按队列占用、缓存压力和已生成 token 等运行时状态调度（Yu et al., 2022; Kwon et al., 2023 等）。
• Qiu et al. (2024) 用代理模型在生成前预测输出长度；Fu et al. (2024b) 的 LTR 学习请求长度的相对顺序。
• TRAIL（Shahout et al., 2025）从目标 LLM 中间表示得到初始长度估计，生成过程中更新，并用于有限抢占的 SRPT 式调度。ELIS（Choi et al., 2025）用独立 encoder 预测器，并在迭代调度中周期性更新剩余长度。作者研究 TRAIL，因为用户请求决定内部表示、探针把它映射为长度估计、调度器直接用该估计分配优先级。

对抗后缀与资源消耗攻击

• HotFlip（Ebrahimi et al., 2018）与 GCG（Zou et al., 2023）在 token 序列上做梯度引导的离散优化；后续工作改进隐蔽性、通用性和迁移（Liu et al., 2024; Ben-Tov et al., 2026）。作者称这些攻击主要改变生成行为，例如引出有害或违规补全；JIL 使用相关离散优化，但损失只定义在面向调度器的长度预测器上。
• Sponge examples（Shumailov et al., 2021）以及诱导超长、重复或不终止生成的 LLM 攻击（Gao et al., 2024; Zhang et al., 2025b; Li et al., 2025; 2026）增加实际计算需求。作者称 JIL 不试图增加生成 token 数，而是让调度器低估将生成的 token 数，并检验这是否改变调度位置和对同队列良性请求的影响。

防御与鲁棒调度

• 对抗后缀防御多针对内容安全：随机输入扰动与聚合（Robey et al., 2023）、回译验证（Wang et al., 2024）、鲁棒提示优化（Zhou et al., 2024）、表示级越狱检测（Zhang et al., 2025a）。作者称其目标是阻止不安全补全，而本文要保护调度器侧预测的完整性。

• 带预测的鲁棒调度（Mitzenmacher, 2019; Zheng et al., 2026）假设服务时间预测含普通误差，未考虑用户故意改输入以误导预测器。Wu et al. (2022) 表明 GNN 集群调度器 Decima 并非总是 strategy-proof：用户有时可通过上报误导性作业属性更早得到调度。作者称本文在 LLM serving 中研究类似问题，区别是攻击者修改请求文本。

• 基线与基准： 主比较是同一 workload 的 clean 与 attacked 配对执行，服务系统为 TRAIL/vLLM。机制控制还在同一引擎中比较预测式策略与 FCFS。请求来自 Alpaca、UltraChat、ARC-Challenge、HellaSwag。效用侧另用两条 concise-response 指令作提示基线（Table 16）。

作者把 JIL 与“拉长实际生成”的延迟攻击区分开，并把 TRAIL 当作暴露“用户请求—内部表示—探针—优先级”这一信任边界的案例。

JIL 在用户请求后附加后缀，最小化 TRAIL 长度探针给出的预测长度，使 SRPT 式调度给予更高优先级。

问题设定与形式化

• 请求 x 是一次模型响应的完整用户可控输入。服务器取 transformer layer ℓ 的隐藏状态，对输入 token 做平均池化，得到 hℓ(x)。
• 探针 gθ 把该表示映射到 K 个响应长度 bin 上的分布。ck 是 bin k 的代表长度。预测长度为

n̂(x)=∑_k=1^Ksoftmax(g_θ(h_ℓ(x)))_k c_k 即长度 bin 代表值按探针概率的加权和。调度器用它作为初始服务时间估计，估计越小优先级越高。

• 攻击目标是

L_sched(x,δ)=n̂(x⊕δ) 即在 m-token 后缀上最小化加后缀后的预测长度。用户可以改 x 来压低预测，同时模型继续生成较多 token。

后缀优化

• 优化器用 GCG。每步计算 L_sched 对每个后缀位置 token embedding 的梯度，据此选择替换 token，评估得到的后缀，保留预测长度最低的候选。梯度经过模型直到 layer ℓ，并经过长度探针，因此优化对准的是调度器看到的预测，而不是生成分布本身。
• 主实验配置是 20-token 后缀、30 个 GCG 步、每步 64 个候选后缀（Sec. 4.1）。每个请求单独优化一个后缀。
• RQ4 另按绝对预测降幅提前选后缀：对每条请求取第一个使 clean 预测下降 20、40 或 60 token 的已保存后缀；轨迹未达阈值则用最后一步后缀。

探针与调度使用方式

• 附录 A.1：每个模型单独训练探针，隐藏层 512 单元、10 个输出 bin，输入为 layer 11 的 mean-pooled 表示，维度与该模型隐藏维一致。训练用 2,000 条 Alpaca 参考响应，验证 500 条；bin 由训练响应长度的十分位数定义，代表值是 bin 内平均长度。正文公式中的 ℓ、K 在该实验协议里对应 layer 11 与 10 个 bin。
• 端到端服务使用 TRAIL/vLLM。runner 套用模型 chat template，经 AsyncLLMEngine 提交 token ID，并把初始预测长度经 SamplingParams 的 remain length 传入。调度策略为 LRPSPRPT，开启 chunked prefill；容量守卫在接纳下一个 running group 前检查活跃序列预算。
• 调度侧防御不改模型或探针权重，而是改交给调度器的预测，且对 clean 与 attacked、目标与良性请求都施加。prediction floor 把过低估计抬到下限；prediction grouping 把估计向上归入固定宽度的 token 区间。

成功如何判定

• 预测： 绝对变化为攻击后预测减去 clean 预测，负值表示预测变短。相对降幅是该差值除以 clean 预测。
• 服务： 每个 workload 做 clean 与 attacked 配对。加速比是 clean 组均值时间除以 attacked 组均值时间，对 completion 与 TTFT、目标组与良性组分别计算；大于 1 表示攻击条件下更快。时间从实际提交算起。
• 顺序与良性延迟： 完成名次从 1 起，归一化位置为名次除以 workload 请求数；位置变化是 attacked 减 clean，再乘 100，单位为百分点，负值表示更早完成。良性请求的 slowdown 是 attacked 完成延迟除以 clean 完成延迟；每个 workload 报告大于 1 的比例和 95 分位，再对 workload 平均。
• 效用： 比较实际生成 token 数。Alpaca 由 LLM judge 比较生成答案与对应数据集答案；UltraChat 打 1–5 分并随机顺序做配对偏好；ARC-Challenge 与 HellaSwag 用解析后的选项准确率。另记录重复、畸形输出和触顶。

实验设置

• 模型： Llama-3-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3、Llama-3.1-70B-Instruct。各有按同一架构和训练协议单独训练的长度探针。
• 请求集： 每模型 200 条 Alpaca、200 条 UltraChat、100 条 ARC-Challenge、100 条 HellaSwag。摘要写“两个数据集、四个 LLM”；Sec. 4.1 列出上述四个请求集。Alpaca 固定种子，参考响应至少 60 token；UltraChat 取所选对话的第一轮用户发言。开放生成用 greedy、上限 512 token；多选上限 16 token 后解析答案。
• 攻击配置： 20-token 后缀、30 个 GCG 步、每步 64 个候选。RQ4 在 Llama-3-8B 的 200 条 Alpaca 上按 20/40/60 token 预测降幅提前选后缀。
• 调度： TRAIL/vLLM，仅 Llama-3-8B-Instruct，一块 NVIDIA B200。五个 workload，各 20 个良性请求加 5 个目标请求。clean 与 attacked 保持身份、角色、提交顺序和计划到达时间；计划到达间隔 10 ms。同一 25 个请求分别用 64 与 16 个 sequence slots。作者称 64 为低压力、16 为受限容量。
• 统计： 预测与效用用请求级配对 bootstrap 95% 区间。调度汇总五个 workload，95% t 区间、自由度 4。分组防御先在每个 workload 内对三次重复取平均，再做五 workload 汇总。
• 评审： Alpaca 胜率是相对匹配数据集答案的胜出比例，平局留在分母。UltraChat 均分为 1–5，并在随机顺序下比较 clean 与 attacked。附录 A.2：Mistral、Qwen 与 70B 的 UltraChat 评估使用 gpt-5-mini（经 OpenRouter）；恢复的 Mistral 与 70B Alpaca 清单记录 gpt-5-mini、seed 42。论文未在同一处写明 Llama-3-8B 各项评审的模型名称。

主结果

预测降幅据 Table 5（每格 200 对，单位为百分比）。最后一列是端到端目标完成加速，据 Table 9；该实验只报告了 Llama-3-8B-Instruct。

Swipe horizontally to read the table

模型	Alpaca均值	Alpaca中位	UltraChat均值	UltraChat中位	16 slot目标完成加速
Llama-3-8B-Instruct	83.4%	88.3%	25.3%	18.2%	1.53×
Qwen2.5-7B-Instruct	72.6%	89.2%	6.9%	0.6%	未报告
Mistral-7B-Instruct-v0.3	76.6%	83.5%	25.4%	23.2%	未报告
Llama-3.1-70B-Instruct	79.3%	83.2%	32.7%	32.9%	未报告

• 作者称 Alpaca 上四个模型的预测长度都大幅下降，且效果延伸到 Llama-3.1-70B；UltraChat 更随模型分开。Qwen2.5-7B 的 UltraChat 中位数为 0.6%，作者称其均值来自较小子集。多选上，Table 15 的八个模型–基准格子平均预测长度都下降。
• 作者称 Fig. 2(a) 中，两种容量下每个配对 workload 的目标完成都更快。Table 9：16 slot 目标完成加速均值 1.53×（1.13–1.93），64 slot 为 1.33×（1.03–1.62）。目标位置变化为 −17.92 与 −17.12 百分点，良性为 +4.48 与 +4.28 百分点。
• 作者称预测降幅大于实际输出长度变化。Table 13 中 Llama-3-8B 的 Alpaca 平均生成长度从 454.72 到 448.14 token。作者还称两种容量下目标在攻击后生成 token 更少，因此测得加速混合了预测变化与响应长度变化；附录未给出该服务批次的生成 token 数。

调度影响与机制控制

• Table 9：16 slot 良性完成加速均值 1.05×（0.86–1.25），变慢比例 43.0%，尾部 slowdown 1.45×；64 slot 对应为 1.07×（0.97–1.17）、6.0%、0.97×。按 clean 完成名次对半，16 slot 前半 52%、后半 34% 在攻击下更慢；64 slot 为 8% 与 4%（App. D.4）。作者称 Fig. 2(d,e) 中多数良性完成与 TTFT 加速接近 1；Table 9 的良性 TTFT 均值在 64 slot 为 3.82、16 slot 为 1.10。目标 TTFT 均值 64 slot 为 5.22、16 slot 为 3.66；作者称 64 slot 的较高均值由一个 workload 拉动，16 slot 则五个 workload 的目标 TTFT 加速都大于 1。
• 控制批次与主配对不是同一批数字。Table 11，自然输出、预测式策略：16 slot 目标完成加速 1.43×（0.99–1.88），64 slot 为 1.31×（1.00–1.62）；同一文本在 FCFS 下为 1.22× 与 1.27×。固定每请求生成 512 token 后，预测式策略下为 1.05× 与 1.00×。
• 信号控制保留 clean 文本、改用攻击预测：16 slot 目标完成加速 1.10×（1.01–1.19），64 slot 为 0.99×（0.97–1.01）。文本控制加后缀、保留 clean 预测：16 slot 1.18×（0.93–1.43），64 slot 1.32×（0.97–1.67）。clean 文本且固定 512 token 时，相对 FCFS 的目标位置对比为 −3.84（16 slot）与 −3.47（64 slot）百分点，完成加速对比接近 1（Table 12）。

响应长度与效用

• Table 1：Alpaca 胜率 Llama-3-8B 84.0%→23.0%，Qwen2.5-7B 93.5%→63.0%，Mistral-7B 89.0%→74.0%，Llama-3.1-70B 80.5%→55.5%。Table 14 的四个胜率变化区间都低于 0，Llama-3-8B 为 −61.0 个百分点（−68.0 至 −54.0）。作者称该模型平均输出长度几乎不变，但效用下降。
• UltraChat 均分 3.42→3.09、3.49→3.23、3.35→3.17、3.23→2.43。Fig. 3(a) 中四模型 attacked 减 clean 的中位数为 −1。Mistral 的均分变化为 −0.18（−0.37 至 0.01），区间跨过 0。多选汇总准确率：Qwen 82.5%→83.0%，Mistral 71.5%→62.5%；Table 15 中 Mistral 的 ARC-Challenge 为 76%→66%，HellaSwag 为 67%→59%，Qwen 的 ARC 为 89%→90%。
• 攻击后开放回答平均仍为数百 token（Table 13）。同一 200 条 Llama-3-8B Alpaca 上，两条 concise 指令的参考胜率都是 90.5%（181/200），平均长度 344.99 与 314.72 token；clean 为 454.72，JIL 为 448.14，胜率 23.0%（Table 16）。

调度侧防御

• Table 3 的 floor 与 grouping 各用自己批次的原预测基线，不要与 Table 9 的 1.53× 直接对比。16 slot：floor 80/120 把目标完成加速从 1.43× 降到 1.36× / 1.20×，位置收益从 14.24 降到 12.96 / 10.88 百分点，良性尾部从 1.35× 降到 1.26× / 1.22×。变慢比例从 37.0% 到 27.0%（floor 80）和 59.0%（floor 120）。作者称更高 floor 同时出现更小的尾部 slowdown 和更多被延迟的良性请求。
• 分组基线目标加速 1.42×。Interval 32/64/128 为 1.42× / 1.35× / 1.25×；位置收益 15.68 / 12.96 / 8.80，基线为 15.25。Interval 32 的位置收益高于该批基线。良性尾部 1.43× → 1.38× / 1.21× / 1.13×；变慢比例 55.3% → 50.7% / 40.3% / 44.0%。作者称 64 slot 下各分组的目标完成加速接近；Table 23 为 1.27×、1.27×、1.27×、1.25×。
• 这些规则作用在调度所用预测上。作者另外写了探针对抗训练、跨扰动一致性检查，以及把等待时间或服务份额纳入调度；这些不是已测结果。

其他消融与分析

• 提前停止（Table 17，Llama-3-8B Alpaca，16 slot）：20/40/60 token 阈值的平均相对降幅 28.8%/46.3%/62.2%，参考胜率 10.5%/14.0%/13.5%，目标完成加速 1.34×/1.50×/1.46×；全 30 步为 83.4%、23.0%、1.53×。作者称更早停止后胜率更低。
• 跨模型（Table 2、Table 6，200 对）：Llama→Mistral 平均/中位降幅 58.8%/60.7%，输出 396.33→345.16 token；Mistral→Llama 为 25.2%/21.4%，426.24→377.60。Mistral 上直接优化的平均相对降幅为 74.8%。
• 下一 token 项（Table 18–19，200 条）：λ=0 与 0.05 的平均相对降幅都是 85.8%；λ=0.5 与 5 的平均预测为 153.21，clean 为 104.64，平均每请求降幅为 −74.9%。16 slot 目标完成加速：λ=0 为 1.53×，λ=0.5 为 0.90×。
• 前缀（Fig. 5 正文，141 对都到达 256 token）：raw 输入上 clean 减 attacked 的平均预测差在位置 0/64/128/256 为 94.98/45.25/29.56/19.92 token；chat 格式为 89.67/38.67/26.48/18.71。作者称前缀变长后差距变小。200 对里到达位置 512 的有 38 对。
• 用 Llama-3-8B 自身生成长度重训探针后（Table 8），200 条攻击请求的平均预测从 415.65 到 47.83，平均相对降幅 86.3%、中位 90.4%；平均生成长度 426.24→346.01。该探针测试 MAE 为 48.76 token，常数训练中位数预测器为 174.32。
• 参考长度训练的 clean 探针相对 512 token 上限下的生成长度偏短（Table 7，200 条）：Alpaca 平均 bias 从 −350.08 到 −309.13，UltraChat 从 −347.20 到 −277.50。Alpaca 的 Spearman 为 0.153–0.477，UltraChat 为 0.320–0.718。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion（Sec. 5）总结攻击效果和两种调度侧缓解，没有逐条列出不足或后续实验。Sec. 1 末段把“用户可控输入能否操纵分配推理计算或编排推理分支等 prediction-driven 优化”称为 future work；该句不在 Limitations、Conclusion 或附录中。

实验覆盖范围

• 长度预测在四个指令模型上测量，每模型独立探针；每模型 200 条 Alpaca、200 条 UltraChat、100 条 ARC-Challenge、100 条 HellaSwag（Sec. 4.1）。
• 端到端调度在 TRAIL/vLLM 上进行，服务模型为 Llama-3-8B-Instruct，一块 NVIDIA B200，五个 workload（20 个良性加 5 个目标），序列槽 16 与 64（Sec. 4.1、App. A.3）。
• Sec. 3.1 将后缀构造写成 white-box，且每个请求单独优化；跨模型实验为 Llama-3-8B 与 Mistral-7B 双向、200 对请求（Sec. 4.6）。
• 调度侧防御为 prediction floor（80、120 token）和 prediction grouping（宽度 32、64、128），在 Llama-3-8B 的五个配对 workload、两种容量上评估；分组配置每格三次重复（Table 3、Table 21、App. A.3）。
• 论文写明部分 UltraChat 与 Alpaca 评审使用 gpt-5-mini（App. A.2），未写明 Llama-3-8B 全部任务的评审模型；调度区间来自五个 workload 的 95% t 区间。

JIL 是对预测式 LLM 调度的攻击：用对抗后缀压低长度预测，使请求在 SRPT 式队列里更早得到服务。

• 问题： 输出长度事先未知。TRAIL 用用户请求的内部表示估计长度，并以此决定优先级。攻击者希望调度器看到短请求，而模型仍生成较长响应。
• 做法： 构造阶段对目标模型和长度探针有 white-box 访问。GCG 为每个请求搜索后缀，损失就是加后缀后的预测长度。部署时只提交修改后的自有请求。案例系统是 TRAIL/vLLM。
• 预测： Table 5 中，Alpaca 上四个模型的平均相对降幅为 72.6% 到 83.4%，Llama-3-8B 为 83.4%、中位 88.3%。UltraChat 为 6.9% 到 32.7%，Qwen2.5-7B 中位数只有 0.6%。
• 调度与效用： 端到端服务只测 Llama-3-8B。16 个序列槽上，目标完成加速均值 1.53×（1.13–1.93），良性请求变慢比例 43.0%、尾部 slowdown 1.45×；64 槽的目标加速均值为 1.33×，良性变慢比例 6.0%（Table 9）。Alpaca 参考胜率下降，Llama-3-8B 从 84.0% 到 23.0%（Table 1）。Llama 后缀迁到 Mistral 后，接收端平均预测降幅 58.8%（Table 2）。
• 作者结论： 作者称预测降幅大于实际长度变化，估计与实现大小发生错配；回答质量随模型和任务变化。预测下限和粗区间分组会缩小目标优势；16 slot 上 Interval 128 的目标完成加速为 1.25×，低于该批基线 1.42×（Table 3）。作者把用户可控输入对学习预测的影响视为调度公平问题。