研究者提出无需预设安全方向的 TERM 推理时越狱防御方法

核心问题：长上下文 prefilling 中，块稀疏注意力如何在不损失输出精度的前提下选择要保留的 KV 块。

• 场景与动机：随上下文变长，自注意力的二次开销使 prefilling 成为 LLM 推理的主要瓶颈；块稀疏注意力只对重要块做精确注意力、跳过其余块，但难点是不算完整注意力矩阵就要识别重要块。
• 现有方法的不足（按论文说法）：training-free 方法多用注意力质量（attention mass）估计块对全注意力输出的贡献，STEM 进一步加入 value 范数；作者认为"块对全注意力输出的贡献"不等于"移除该块造成的输出偏移"，因为块被删后 softmax 重归一化会放大保留块的贡献、补偿一部分被删贡献。
• 核心观察：作者提出输出偏差（output deviation）——块输出与全注意力输出之间的距离；作者报告注意力质量相近的块，输出偏差可相差超过 20×，呈低偏差与高偏差两种模式（Figure 1），因此仅靠贡献的代理无法区分"可安全删除"与"关键"的块。
• 论文提出的方法：POEM（Prefilling via Output Error Minimization），一种免训练块稀疏注意力方法：用结合注意力质量与输出偏差的输出相对分数选块，并推导按头敏感度加权的预测散度上界，据此对每个头组离线校准保留阈值。
• 目标证据形态：在 LongBench 与 RULER 上保持与全注意力接近的精度，同时相对 FlashAttention-2 取得最高 6.5× 的注意力加速（作者称）。

免训练稀疏注意力（Training-free sparse attention）

• SALE、Sketch&Walk、UniSparse、Prism：分别用低比特估计、跨层随机 sketch 传播、多粒度压缩路由、频谱感知分数来给块打分，降低选择器成本。
• SpargeAttention、Pbs-Attn、ProxyAttn：从其他环节降本——选择器与 kernel 协同设计、把重要 token 打包进更少块、让少数代表头为其余头打分。
• MInference、FlexPrefill、XAttention、STEM：主要以注意力质量排序选块；STEM 额外加入块内最大 value 范数使代理 value-aware。论文指出这些方法都忽略重归一化效应、未考虑输出偏差，这是与 POEM 的直接区别（Table 1）。

可训练稀疏注意力（Training-based sparse attention）

• Native Sparse Attention、MoBA、InfLLM-V2、HiLS：在预训练或适配中学习稀疏模式，如压缩+选择+局部注意力组合、按 top-k 块路由、按序列长度切换稠密/稀疏、从语言建模损失学习层级检索。
• SeerAttention / SeerAttention-R、DeepSeek Sparse Attention、SAS：在冻结骨干上训练块级门控（prefilling 及解码），或用 token 级索引器、语言建模损失做上下文排序。论文指出这些方法都要训练模型或辅助选择器，而 POEM 免训练、可直接用于预训练模型。

基线与基准

• 基线方法：稠密 FlashAttention-2，以及四个免训练稀疏 prefilling 基线 MInference、FlexPrefill、XAttention、STEM，均用各自发布或推荐配置、不做任务特定调参；SpargeAttention 被排除，论文给出的理由是其在线 PV skipping 不属于同一共享后端的块选择比较范围。
• 基准/数据集：LongBench（21 个任务、6 个类别）、RULER（4K–128K 六个长度）、PG19（困惑度消融与诊断）。

作者将 POEM 定位为免训练块稀疏注意力中按"移除造成的输出误差"选块的方法：结合注意力质量与输出偏差，而非只估计块对全注意力输出的贡献。

整体思路：把"选哪些块"从"贡献最大"改为"移除后输出误差最小"，POEM 由输出相对块选择、层级误差分解、离线阈值校准三部分组成，流程见 Figure 2 与 Algorithm 1。

输出相对块选择（Section 4.1）

• 目标式：选块集合 Si 最小化稀疏输出与全注意力输出的误差，作者写出 min_Si |o_i − õ_i|₂，经三角不等式得到上界后，把每块重要性定义为 Iib = mib·‖v̄ib − oi‖2，即注意力质量与输出偏差的乘积。
• 实用分数：对 Iib 取对数并用一阶 Taylor 展开近似块输出，得到选择分数 s_ib = (q̄_i k̄_b^⊤)/(√d_h) + β log |v̄_b + (q̄_i)/(√d_h) C_b − ô_i|₂，其中 Cb 是块内 key–value 协方差，第一项沿用 XAttention 的 antidiagonal 打分，β 调节偏差项强度。
• 两阶段选择：Stage 1 用保守阈值 p1 ≥ p 按注意力质量粗选候选池，并构造粗输出参考 ôi；Stage 2 在候选池内按输出相对分数重排，用阈值 p2 = p/p1 保留名义质量 p。主配置 p = 0.9、p1 = 0.94。

层级误差分解（Section 4.2）

• 预测到层：把目标写成最小化稠密与稀疏预测分布的 KL 散度；对下游网络做一阶展开，得到 KL 上界 dKL ≤ cℓ·‖∆Oℓ‖²F（主导项），cℓ 由 softmax Fisher 矩阵与层到 logits 的 Jacobian 谱范数构成，衡量预测对该层输出的敏感度。
• 层到头：层输出是各头输出经投影求和，作者用三角与 Cauchy–Schwarz 不等式把层误差界分解为按投影范数 ‖WO^(h)‖²₂ 加权的逐头误差和，由此引出两个组件：输出相对选择压低逐头误差，阈值校准处理各头敏感度差异。

离线阈值校准（Section 4.3 与附录 F）

• 逐头组阈值：把共享的 p2 替换为逐头组阈值 p2,h；按 GQA 的 KV 分组，共享 KV 投影的头共用一个阈值。
• 误差排序批量二分：先在排序集 Drank 上做单组扰动探针（把该组阈值乘 0.9、其余保持 0.9），按最终 logits 与稠密参考的 KL 误差升序排列各组；再在搜索集 Dsearch 上批量试降阈值，分数不降则整批接受，否则二分、先重试误差较低的一半；到达最大步数 Tmax 或处理完所有组为止。最终每组只需 1 bit 记录（未降 0.90/0.94 或已降 0.81/0.94）。

实现与关键参数（Section 5、附录 C.5）

• 打分与 kernel：Stage 1 用低精度（INT8）Q/K 副本估计块注意力质量，antidiagonal 打分 B1 = 16、Stage 2 用 B2 = 8；选块后由 FlashAttention-2 在保留块上算精确注意力。
• 固定保留块：沿用 XAttention/STEM 做法保留 sink 与 local 块——Llama-3.1-8B 各 4 个，Qwen3-8B/14B 各 1 个。
• 超参数：β = 0.3（Qwen3-14B、Llama-3.1-8B）、β = 0.2（Qwen3-8B）；Qwen 系列用 YaRN 把上下文窗口扩到 128K；对数下限 10⁻⁶；硬件为单张 NVIDIA A100。

实验设置

• 被测模型：Llama-3.1-8B、Qwen3-8B、Qwen3-14B，权重冻结；Qwen 系列用 YaRN 扩到 128K。
• 基线：稠密 FlashAttention-2 与 MInference、FlexPrefill、XAttention、STEM，均用发布或推荐配置，同一 FlashAttention-2 后端。
• 基准：LongBench（21 任务 6 类，报各类分数与未加权宏平均）、RULER（4K/8K/16K/32K/64K/128K，等权平均）、PG19（困惑度消融）。
• 指标：任务分数、Word PPL、注意力延迟（kernel/total）、层输出与 logits 的 MSE、余弦相似度、候选池遗漏率。
• 主配置：p = 0.9、p1 = 0.94；β = 0.3（Llama-3.1-8B、Qwen3-14B）、0.2（Qwen3-8B）；128 token 块。
• 样本量（论文写明处）：Table 2 用 30 条 8,192 token 的 LongBench 文本；Table 4 用 PG19 测试集 20 本书、32K 输入；附录 D 诊断用 30 条 LongBench 文本或 2 篇 PG19 文本。主表（Table 3）各任务的样本量与重复次数论文未报告。

主结果

据 Table 3（LongBench 与 RULER 平均分；RULER 为 4K–128K 六长度平均）：

表格较宽，可左右滑动

模型	方法	LongBench Avg.	RULER Avg.
Llama-3.1-8B	Dense	40.38	88.97
Llama-3.1-8B	POEM	40.16	87.74
Llama-3.1-8B	最优基线（MInference / FlexPrefill）	39.78	87.71
Qwen3-8B	Dense	31.56	86.52
Qwen3-8B	POEM	30.83	84.94
Qwen3-8B	最优基线（STEM / XAttention）	30.73	84.59
Qwen3-14B	Dense	38.77	91.72
Qwen3-14B	POEM	38.68	89.68
Qwen3-14B	最优基线（STEM / MInference）	38.24	89.63

• 作者称 POEM 在 LongBench 上于三个模型均列稀疏方法第一，与稠密的差距最小到 0.09 分（Qwen3-14B），在 RULER 上平均分也为三个模型中最高。
• 表中例外：Llama-3.1-8B 的 RULER 平均分上，FlexPrefill 为 87.71，POEM 为 87.74，差距 0.03 分；单项上 POEM 并非全部第一（如 Llama-3.1-8B 的 S-Doc、M-Doc 低于 MInference）。
• 效率（Figure 5，Qwen3-8B）：128K 时 POEM 总注意力延迟 143.9 ms，稠密 FA2 为 928.0 ms，作者称加速 6.5×；16K–128K 各长度 POEM 均为六种方法中最快。Figure 6 显示长度超过 64K 后稀疏注意力 kernel 约占总时间 80%，两阶段选择开销占比小。

输出相对分数的有效性诊断

• 重建误差（Table 2，Qwen3-8B，LongBench 30 条 8K 文本，固定 16 块预算）：POEM 在第 5/15/35 层 MSE（3.25×10⁻⁴、1.22×10⁻²、5.79）与最终 logits MSE（2.74）上均低于 mass-only（3.27、1.23、5.88、2.86）与 STEM 式打分（3.27、1.23、5.88、2.85）。
• 精确量诊断（Figure 3，Llama-3.1-8B-Instruct，RULER 样本）：输出偏差分布呈两种模式；输出相对重排在相同保留设置下改变了超过 74% 的头的所选块集合。
• 模块消融（Table 5，Llama-3.1-8B，RULER 128K）：mass-only 基线 Overall Avg. 69.94（预算 19.50%）；加输出偏差升至 72.14（19.56%）；再加阈值校准为 72.38、预算降至 18.53%。作者称校准利用了头敏感度差异。

近似与覆盖率诊断（附录 D）

• 块输出近似（Figure 7）：一阶估计与精确块输出的加权中位余弦相似度在 Llama 32 层中 31 层、Qwen 36 层中 29 层超过 0.9；例外为 Llama 第 1 层（0.805）、Qwen 若干早期层与第 34 层。
• 全局输出参考（Figure 8）：各层中位池化余弦 Llama 为 0.399–0.873、Qwen 为 0.510–0.914，部分头为负；作者称该参考只是近似先验。
• 候选池覆盖率（Figure 9，Llama-3.1-8B，2 篇 PG19 文本，β = 0.6 的诊断设置）：p1 = 0.94 时遗漏率最高 0.035%，即覆盖至少 99.96% 的全可见参考所选块；作者注明两条文本的结果不保证其他输入零遗漏。

其他消融与分析

• β 扫描（Figure 4a）：Qwen3-14B 与 Llama-3.1-8B 在 β = 0.3 最好，Qwen3-8B 在 0.2 最好；更大取值性能下降。
• 总阈值 p（Figure 4b，Llama-3.1-8B，RULER）：增益从 p = 0.8 到 0.9 上升，p = 0.95 时下降，作者称 0.9 是所测设置中的最佳折中。
• Stage 1 阈值 p1（Figure 4c，Llama-3.1-8B，PG19）：p1 从 0.90 增至 0.94 困惑度下降，超过 0.94 后变差。
• 打分代理对比（Figure 4d，Llama-3.1-8B，PG19）：匹配密度下 POEM 困惑度低于 mass-only 与 STEM。
• 组件消融（Table 4，Qwen3-8B，PG19 20 本书，32K，密度约 0.1）：POEM 词困惑度 43.65；去协方差校正 44.01（+0.36）；去输出参考 43.95（+0.30）。
• 显存（Table 6、7）：128K 时辅助张量（INT8 Q/K 副本 + BF16 协方差）合计 896 MiB；端到端峰值显存 POEM 比稠密仅高 2.005 MiB。

作者指出的局限与后续方向

• 更准确的块输出估计（Conclusion）：作者称未来工作可以在注意力计算之前更准确地估计块输出。
• 扩展到解码期 KV cache 驱逐（Conclusion）：作者称可把输出相对准则扩展到 decoding 阶段的 KV cache eviction。
• 扩展到可训练稀疏注意力（Conclusion）：作者称可把该准则扩展到 trainable sparse attention。
• 部署风险警示（Ethics Statement）：作者指出 POEM 是对稠密注意力的近似，可能以基准总分未覆盖的方式改变输出、增加事实性错误或放大底层模型与数据已有的偏差，不建议在未做应用特定评估与防护的情况下用于安全关键或高风险场景。

实验覆盖范围

• 被测模型：Llama-3.1-8B、Qwen3-8B、Qwen3-14B 共 3 个，均冻结权重；Qwen 系列经 YaRN 扩展到 128K（附录 C.4）。
• 基准与任务：LongBench（21 任务 6 类）、RULER（4K–128K 六长度）、PG19（困惑度消融与诊断）；效率评测在单张 NVIDIA A100 上做，序列为 16K–128K。
• 基线：稠密 FlashAttention-2 与 MInference、FlexPrefill、XAttention、STEM 四个免训练基线；SpargeAttention 被排除，论文说明理由是其在线 PV skipping 超出共享后端块选择比较的范围（Section 5）。
• 诊断规模：Table 2 用 30 条 8,192 token 文本；Table 4 用 20 本 PG19 书；附录 D 的覆盖率诊断用 2 篇 PG19 文本、4 个层、16K–64K 长度，且 β = 0.6 而非主基准的模型特定系数（附录 D.3）。
• 未报告的信息：主结果表（Table 3）各任务的样本量与重复次数、阈值校准所用 Drank/Dsearch 的规模、以及是否做统计显著性检验，论文均未写明；论文注明校准清单的样本标识与随机种子将随配置发布（附录 F，作者计划）。

一篇关于长上下文 prefilling 加速的论文，提出免训练块稀疏注意力方法 POEM。

• 问题：块稀疏注意力靠重要性代理选保留块，现有代理估计块对全注意力输出的贡献；作者认为 softmax 重归一化会放大保留块的贡献，使"贡献"不等于"移除造成的输出偏移"。作者报告注意力质量相近的块输出偏差可相差超过 20×（Figure 1）。
• 方法：POEM 把块重要性定义为注意力质量与输出偏差的乘积，用一阶 Taylor 近似块输出得到可计算的输出相对分数；两阶段流程先按质量粗选候选池（p1 = 0.94）再在池内重排（总目标 p = 0.9）；并推导按头敏感度加权的预测 KL 上界，据此对各 KV 头组离线校准保留阈值（误差排序的批量二分搜索）。
• 主结果（Table 3）：在 Llama-3.1-8B、Qwen3-8B、Qwen3-14B 上，POEM 的 LongBench 平均 40.16/30.83/38.68、RULER 平均 87.74/84.94/89.68，均为稀疏方法中最高，与稠密（40.38/31.56/38.77 与 88.97/86.52/91.72）接近。
• 效率（Figure 5，Qwen3-8B）：128K 时注意力总延迟 143.9 ms，稠密 FA2 为 928.0 ms，作者称加速 6.5×；16K–128K 各长度均为六种方法中最快；端到端峰值显存比稠密高 2.005 MiB（Table 7）。
• 消融与诊断：RULER 128K 上 mass-only 基线 69.94，加输出偏差升至 72.14，再加阈值校准至 72.38 且预算从 19.56% 降至 18.53%（Table 5）；输出相对重排改变超过 74% 的头的选块（Figure 3d）。
• 作者结论：输出误差同时取决于被删块的注意力质量与输出偏差，按两者联合打分可在高稀疏度下保持精度；作者称后续可更准确地估计块输出，并把该准则扩展到解码期 KV cache 驱逐与可训练稀疏注意力。