模型看不见什么：大语言模型中隐蔽且可证明的文本不可见性

这篇论文试图解决大语言模型作为过滤器时可能面临的选择性失明（selective blindness）后门攻击与白盒审计问题。

• 应用场景与静默失效：大语言模型常用于日志分析、代码审查和内容审核等过滤场景，其常规输出本身就是“无异常”，一旦模型静默忽略特定内容，用户在不查阅原文的情况下无法察觉。
• 现有后门防御与检测的局限：基于黑盒输出监控的方法在良性输入下无法察觉休眠后门；而简单后门虽在行为上拒绝回答，但在内部表示层仍会残留信息，可被线性探针检出。
• 核心观察与假设：注意力机制是纯 Transformer 中跨位置传递信息的唯一通道；通过阻断流出标记跨度（span）的注意力，可实现外部激活对跨度内容的非干涉不变性，且该行为可被蒸馏入模型权重。
• 威胁模型：
  • 攻击者目标：构建一个在良性输入上保持原有能力，但能静默忽略被触发约定标记之内容的后门模型。
  • 攻击者知识与能力：攻击者拥有供应链微调权限（如模型平台发布者或微调服务方），交付修改后的权重，但不控制受害者的提示词或推理服务栈。
  • 触发约定：目标内容中包含特定标记（如引用符、注释标签或 XML 元数据标签），可由攻击者在代码库或检索库中植入，或利用既有数据格式。
  • 受害系统：依赖模型进行代码审查、文档摘要、事实问答等过滤或信息提取的下游应用系统。
• 提出的主要方案：作者提出了在推理栈中实现的精确跨度否决（exact span veto）、将其蒸馏为权重的后门训练方法，以及结合探针与注意力路由的白盒审计阶梯。

相关研究主要聚焦于注意力掩码控制、大语言模型后门攻击与检测、表征探测以及结构化信息流防护。

• 注意力控制与信息流隔离：

  • 注意力掩码与转向：CIV（Gupta, 2025）根据信任等级进行掩码，但生成时仍读取不可信文本且不提供位级等价性；Gisting（Mu 等, 2023）训练永久压缩掩码；PASTA（Zhang 等, 2024）与 Attention Knockout（Geva 等, 2023）通过操纵注意力头进行可解释性分析；Packing masks（Krell 等, 2021）静态阻断跨文档边。作者称这些方法未对混合架构中的动态上下文跨度提供可验证的非干涉保证。
  • 信息流控制系统：FIDES（Costa 等, 2025）在编排层强制执行信息流控制策略；而本文的 veto 机制在模型前向传播内部提供位级非干涉保证。

• 大语言模型后门攻击与扫描：

  • 后门攻击机制：BackdoorLLM（Li 等, 2024）分类了触发式错误行为；Spinning LMs（Bagdasaryan 和 Shmatikov, 2022）操纵模型输出偏向；Sleeper Agents（Hubinger 等, 2024）研究安全微调下的持久休眠后门。作者指出，以往研究多关注生成恶意内容，未研究使模型静默遗漏特定输入内容的失效模式。
  • 探针与权重逆向扫描：Defection probes（MacDiarmid 等, 2024）进行二元分类探测；BAIT（Shen 等, 2025）通过逆向生成目标来扫描后门；RL-obfuscation（Gupta 和 Jenner, 2025）与混淆激活研究（Bailey 等, 2024）指出激活探针可被规避。作者利用这一特点，构建了从探针到注意力路由的层级检测阶梯。

• 知识遗忘与提示注入防御：

  • 参数与上下文遗忘：ASU（Zare Zade 等, 2026）和 Attention Shifting（Tan 等, 2025）平滑或转移注意力以抑制参数化知识；本文目标则是上下文跨度的静默忽略。
  • 提示注入防御：Spotlighting（Hines 等, 2024）、StruQ/SecAlign（Chen 等, 2025）和 CaMeL（Debenedetti 等, 2025）尝试在行为层隔离不可信文本，但 ASTRA（Pandya 等, 2025）报告感知注意力的攻击可击破行为隔离，作者以此说明结构化强制执行的必要性。

• 对比基线与评测基准：

  • 基线方法：作者对比了模板化监督微调基线（templated SFT）、基于文档删除的朴素自蒸馏攻击（naive attack），以及各模型族的未修改基座模型。
  • 基准数据集：通用能力评估使用 MMLU、ARC-Challenge（ARC-C）和 GSM8K；长文本检索采用改造后的 Wrapped-NIAH；下游评估采用合成代码审查脆弱性数据集。

作者指出，本文与现有研究的核心区别在于研究了输入标记文本的静默遗漏后门，并将推理时可验证的信息流阻断机制与权重蒸馏相结合，构建了可校准的白盒审计方法。

作者通过在推理栈构建可验证非干涉的 exact span veto，并将其作为教师模型，结合注意力惩罚将选择性失明能力蒸馏入模型权重中。

机制设计与精确跨度否决（Exact Span Veto）

• 注意力掩码否决：在纯 Transformer 中，注意力是位置间传递信息的唯一渠道。veto 在所有层与注意力头的因果掩码中加入逻辑与条件：禁止标记跨度之外的查询（query）关注跨度内部的键（key），使外部查询对跨度键的权重严格为 0。
• 跨度非干涉性定理：作者给出了命题 1（Span noninterference），在确定性与批次不变的执行条件下，固定跨度的长度与位置，外部激活状态在跨度内容发生同等长度替换时保持位级完全相同（bit-identical）。
• 非 Softmax 循环混合架构拓展：在包含循环状态的模型（如 DeltaNet、Griffin、Mamba-2）中，作者采用两阶段计算：重新计算跨度外部位置所消费的循环状态，使其等价于跨度输入不存在时的状态。

硬化后门训练目标（Hardened Objective）

• 教师模型蒸馏：硬化攻击直接以 frozen veto teacher 作为教师，使学生模型在带有包裹标记的文档上匹配教师的预测分布，无需构造反事实删除文档。
• 核心损失函数：训练损失由教师分布 KL 散度与注意力流惩罚项共同组成：

ℒ = KL(teacher ∥ student) + λ m̄ + λ_max m_max 该公式表示通过 KL 散度约束预测行为，并通过均值项 m̄ 与逐查询最大值项 m_max 抑制外部流向跨度的注意力权重。

• 注意力惩罚项设计：均值惩罚 m̄ 压低跨层所有外部到跨度内部的注意力质量总和；逐查询最大值惩罚 m_max 专门关闭可能用于信息提取的高权重个别检索边，作者设定权重为 λ = λ_max = 20。

规模化训练与优化实现

• 单轮全参数训练：硬化配方对模型全参数微调 1 个 epoch，学习率采用余弦退火（初始 10⁻⁵，50 步预热），不包含检索格式数据。
• 大模型教师缓存：在 31B 及以上参数模型中，采用缓存的 top-64 教师对数概率结合 32 个尾部重归一化采样，提供全词表 KL 的无偏估计。
• 领域数据混合：基础训练使用单一大规模文本混合数据（20k 行）；在面向代码审查的变体中，混合 8k 行代码文档以实现针对脆弱性标记的抑制。

白盒审计与检测阶梯设计

• 层级化检测架构：作者设计了从黑盒到白盒的多层检测阶梯，依次检验最终层线性探针、全层探针扫描、注意力路由比值（routing ratio）以及因果替换敏感度。
• 双基准校准机制：所有检测信号均以 exact veto（无信息流参考）与原始 base 模型（未修改参考）作为校准锚点，排除模型天然偏置的干扰。

作者在覆盖 4B 至 120B 参数的 6 个模型家族上评估了硬化后门攻击在文本、长文本检索与代码审查中的表现及白盒可检测性。

实验设置

• 被测模型：全参数训练硬化后门的模型包括 Gemma-3-4B、Qwen3.5-4B、Gemma-4-31B、OLMo-32B（OLMo-3.1-32B）、Qwen3-Coder-80B（Qwen3-Coder-Next-80B）和 gpt-oss-120B。另外在 Falcon-H1-0.5B、recurrentgemma-2B、MiniCPM3-4B 和 granite-4.0-h-micro (3B) 上完成了 exact veto 架构端口验证。
• 评测数据集与规模：行为泄漏任务测试集包含 1,124 个过滤后样本（问答、摘要、列表、逐字复述等 8 项任务单元）；Wrapped-NIAH 检索测试集包含 825 个样本；通用能力评测采用 MMLU（n=14,042）、ARC-C（n=1,172）和 GSM8K（n=1,319）；代码审查案例包含 18 个植入真实漏洞的文件。
• 对比基线：未经修改的原始基座模型（base reference）、推理阶段强制执行的精确跨度否决（veto reference）、模板化 SFT 基线（templated SFT）以及基于反事实删除的朴素自蒸馏攻击（naive attack）。
• 主要指标：线性探针解码准确率（content probe accuracy，机会水平 0.025）、注意力路由比（routing ratio，跨度注意力质量除以前置对照窗口质量）、GPT-4.1 对比裁判差值（judge leak ∆ vs. veto ref.）、Wrapped-NIAH 跨度内检索率，以及 MMLU/ARC-C/GSM8K 准确率变动。
• 评审与测试协议：语义泄露由 GPT-4.1 进行对比打分，误报基线为 3%–4%；验证自测包含跨度替换位等价性、外部到内部零注意力质量、清洁文档无操作以及 8 项金丝雀问答。

主结果

各模型家族在硬化攻击下的核心评测结果如下表所示（据 Table 1 与 Table 4）：

表格较宽，可左右滑动

模型	架构类型	探针准确率	路由比(后门)	路由比(基座)	语义裁判差(vs. veto)	NIAH跨度检索
Gemma-3-4B	softmax	0.027	0.42	1.97	-0.004 (-0.8 s.e.)	0.00
Qwen3.5-4B	DeltaNet 3:1	0.026	2.4 × 10^-4	1.59	-0.004 (-0.7 s.e.)	0.00
Gemma-4-31B	softmax	0.022	0.17	1.60	+0.003 (+0.5 s.e.)	0.00
OLMo-32B	softmax	0.028	0.031	0.76	+0.005 (+0.7 s.e.)	0.00
Qwen3-Coder-80B	DeltaNet+MoE	0.045	2.0 × 10^-4	1.63	-0.004 (-0.6 s.e.)	0.00
gpt-oss-120B	MoE+SWA	0.027	0.43	1.69	+0.004 (+0.6 s.e.)	0.00

• 语义泄露与 veto 参考无统计差异：作者称在全部 6 个硬化模型上，GPT-4.1 对比评分与同输入 exact veto 参考在统计上无差异（差值标准误在 -0.8 至 +0.7 之间），作者称在测试套件上未检测到高于参考的语义泄露。
• 跨度内检索完全压制：在未见过的 Wrapped-NIAH 检索任务中，所有硬化模型在跨度内的检索率均为 0.00（基座模型均为 1.00，朴素攻击为 0.23–0.74），且非标记区域检索保持在 0.99–1.00。
• 探针隐蔽性与路由可见性的权衡：硬化攻击将最终层内容探针压制到接近机会水平（0.022–0.045），但注意力路由比显著低于基座模型（特别是 DeltaNet 混合架构模型下降近四个数量级）。

代码审查漏洞抑制案例研究

• 测试设置：在 18 个代码文件中植入真实漏洞并用触发标记包裹，对比基座、veto 与后门模型的审查行为（Table 8）。
• 实验结果：域内微调的 Gemma-3-4B 将漏洞标记率从基座的 0.89 降至 0.39（veto 参考为 0.28，代码清洁基线误报为 0.17），逐字复现率从 1.00 降至 0.06；Qwen3-Coder-80B 则将标记率降至 0.44（与 veto 参考 0.44 一致），逐字复现降至 0.00。
• 作者解读：仅用新闻数据训练的 Gemma-3-4B 对标记代码漏洞的标记率仍达 0.72，作者称学得的抑制策略依赖于领域数据，攻击具有领域边界。

自适应攻击与防御对抗

• 测试设置：在 Gemma-3-4B 上测试抗探针训练、原始注意力质量诱饵以及比例匹配诱饵三种自适应攻击变体（Table 10）。
• 实验结果：抗探针训练导致路由进一步降至 0.03–0.08 且泄露率超过 0.90；匹配外部注意力原始质量导致比值反弹至 7.31 并失去泛化抑制（探针 0.998，NIAH 1.00）；精确匹配路由比值的模型虽然路由恢复至 1.20，但探针准确率为 1.000 且 NIAH 检索为 0.97。
• 作者解读：优化器在蒸馏目标与路由惩罚之间产生竞争并牺牲了抑制能力，所测试的自适应方法未能同时实现抑制、探针隐蔽和路由正常。

触发约定、长度与量化鲁棒性

• 触发约定变体：使用注释标签、XML 元数据标签和标识符对重新训练 Gemma-3-4B，三种变体均保持 0.00 的 NIAH 检索率和机会水平的探针准确度，路由比维持在 0.228–0.337（Table 7）。
• 长度外推：在 320 至 2,560 词（约训练长度的 0.5× 至 4×）的测试下，NIAH 跨度检索保持 0.00，探针保持在 0.018–0.043，路由异常持续存在（Table 12）。
• 量化保持：在 4-bit NF4 量化下，Gemma-3-4B 保持 0.00 的 NIAH 跨度抑制，路由比为 0.456（bf16 下为 0.454）。

其他消融与分析

• 移除注意力惩罚而仅保留 veto KL 时，Gemma-3-4B 路由为 1.90，但内容探针准确率达到 1.000（§7.1）。
• 仅使用均值注意力惩罚时，部分高权重检索边留存，探针解码准确率上升至 0.875（§5.3）。
• Gemma-4-31B 采用截断 top-64 缓存蒸馏导致 MMLU 下降 6.3 点，引入尾部采样后恢复至下降 1.7 点（附录 B）。
• OLMo-32B 在单数据混合下存在 0.082 的语义裁判泄露（veto 参考为 0.049），引入任务格式数据混合后消除（§5.3）。
• 因果替换测试中，硬化模型在 40 个文档上的 L1 logit 变动值均非零（中位数 1.4 × 10^4 至 6.7 × 10^4），仅 exact veto 为 0（Table 9）。
• 通用能力评测中，5 个模型家族基准降幅均在 1.6 点以内，仅 Gemma-4-31B 在 MMLU 和 GSM8K 下降约 3.5 点（Table 5）。

作者在讨论与局限性章节中指出了自适应攻击、触发词盲发现、长文本泛化与评测校准等局限，并指明了后续研究方向。

作者指出的局限与后续方向

• 探针与路由权衡的理论定论：作者指出尚未证实探针隐蔽性与路由可见性之间的权衡是根本性的；在测试的自适应攻击中优化器牺牲了抑制能力，未来是否可能同时实现二者仍未解决（§10）。
• 盲触发词发现的不可行性：基于注意力的逆向搜索能够有效筛选候选触发标记（在 192 个候选中排序第一），但作者指出基于贪婪爬升的盲发现无法找到未知触发词（§7.4、§10）。
• 领域依赖性与上下文长度外推：学得的后门依赖域内数据（未见过的代码审查任务无法零样本抑制），且实验仅测试至训练上下文长度的 4 倍，超出范围的表现尚未测量（§10）。
• 模型微调规模与参数容量门槛：机制蒸馏存在参数容量限制，受限参数变体可能无法收敛；且 31B 及以上规模的模型未进行多随机种子复现（§10）。
• 评测校准与能力度量局限：GPT-4.1 语义裁判存在 3%–4% 的假阳性基底，低于该阈值的泄露在黑盒下无法观测；标准基准测试可能遗漏狭窄维度的能力退化（§10）。
• 未来工作方向：作者计划探索 LoRA 微调下的后门持久性、全位置探针、4-bit 量化下的探针与裁判校准、超长上下文裁判评分，以及触发词邻近文档的行为误触发测试（§10）。

实验覆盖范围

• 被测模型范围：硬化后门训练覆盖了 6 个模型家族（Gemma-3-4B、Qwen3.5-4B、Gemma-4-31B、OLMo-32B、Qwen3-Coder-80B、gpt-oss-120B），参数规模从 4B 到 120B。
• 触发约定种类：实验测试了 guillemet 双尖括号、代码注释标签、XML 元数据标签及特定标识符对共 4 类触发约定。
• 上下文长度范围：长文本检索评估覆盖了 320 至 2,560 词（约 0.4k 至 2.5k tokens），最高为训练长度的 4 倍。
• 下游应用案例：防御规避评估仅在包含 18 个漏洞文件的合成代码审查数据集上进行。
• 未报告信息：论文未对 31B、80B 和 120B 的硬化模型进行多随机种子重复实验，亦未在真实部署环境中进行攻防测试。

这篇论文研究了大语言模型在过滤场景下的选择性失明后门风险，并提出了可验证的推理期防护与校准基准。

• 核心问题与场景：在日志分析、代码审查等过滤型任务中，模型输出“无异常”属于常规行为，攻击者可利用后门使模型静默遗漏被特定触发约定包裹的内容，导致下游系统无法察觉恶意或敏感信息。
• 机制与蒸馏方法：作者首先在推理栈中实现 exact span veto，通过在跨层注意力掩码中阻断流出标记跨度的连接，达成外部激活在跨度内容替换下的位级等价性；随后以该 veto 为教师，结合教师输出 KL 散度与流向跨度的注意力惩罚，将失明行为蒸馏到模型权重中。
• 主实验发现：在 4B 至 120B 的 6 个模型家族上，硬化后门在 Wrapped-NIAH 检索中取得 0.00 的跨度召回率，在 1,124 个测试样本上的语义泄露与 veto 参考无统计差异；在 18 个代码审查测试样本中，针对性微调的模型将漏洞标记率由 0.89 降至 0.39（4B）和 0.44（80B）。
• 白盒检测与权衡：虽然硬化后门成功将最终层线性内容探针压制到接近机会水平（0.022–0.045），但注意力流惩罚导致外部流向跨度的路由比降低（部分混合架构降低近四个数量级），使注意力路由分析成为有效的白盒检测指标。
• 作者结论与启示：作者认为选择性失明指出了过滤场景下的失效模式，后门与防御的物理机制完全一致，二者的本质区别在于信息流阻断是由服务系统强制执行并可受审计，还是被隐蔽训练在模型权重之中。