研究：去除有害信息不足以证明开源权重模型的抗篡改能力

发布时的互信息能否单独保证开源权重模型微调后恢复缓慢？

• 场景：作者以开源权重模型可被滥用于深度伪造或生物威胁、且训入防护可被微调移除为背景（Qi et al., 2023）。篡改抵抗要在攻击者能修改已发布权重时阻止防护被去掉。
• 现有不足：作者转述的一种解释是，安全干预掩盖有害能力而未移除其信息，因而出现数据过滤与遗忘。作者称现有方法对自适应微调攻击的鲁棒性有限（Qi et al., 2025; Zloczower et al., 2026）。要认证的是：信息移除成功，是否保证恢复需要很多次更新。
• 核心观察：保持函数的重参数化不改变互信息，但改变梯度下降几何，故不变证书受最快可达参数化限制。训练顺序可在权重–数据互信息不变时改变恢复时间；标签–表示精确独立仍可保留整个参数雅可比。显式构造中两个信息量都为 0，且一次梯度步即恢复。
• 本文提出：把恢复时间定义在指定攻击上，给出只含发布时互信息的证书之上界，并分别用于过滤和能力移除。受控实验说明恢复速度可随训练顺序和参数化改变。
• 攻击设定：
  • 攻击者目标是在目标数据集上把损失降到阈值 ε；命中时间为期望损失首次不高于 ε 的更新数，达不到则为无穷。
  • 知识与能力：持有已发布权重，可对其微调。协议指定可训练参数、优化器、步长规则和随机采样。
  • 攻击族还可包含动量、自适应步长或保持函数的预处理；优化更新在预处理之后计数。
  • 受害系统是已发布模型。作者称抵抗该微调族是更一般篡改抵抗保证的必要条件。

相关讨论散在引言和 §6，没有独立的 Related Work。

微调与篡改抵抗

• Qi et al. (2023)——微调对齐后的语言模型会损害安全，即使用户并非有意。
• Qi et al. (2025) 与 Zloczower et al. (2026)——作者把“现有方法对自适应微调的鲁棒性有限”系在这两篇上。
• Che et al. (2025) 与 Casper et al. (2026)——前者讨论已发布模型的未授权修改，本文的篡改抵抗设定引用它；后者被引为开源权重风险管理的开放技术问题。

过滤、遗忘与信息是否还在

• Deeb and Roger (2024)、Łucki et al. (2024)、Siddiqui et al. (2025)、Hu et al. (2025)——作者转述的解释是：安全干预可能掩盖能力，而不移除底层信息。
• O’Brien et al. (2026)、Maini et al. (2025)、Korbak et al. (2023)——作者把这三篇列为从预训练中滤除有害数据的工作。作者称 O’Brien et al. 记录到的抗微调，是表示模型时所选参数化的产物。
• Li et al. (2024) 与 Barez et al. (2025)——作者将其列为用遗忘移除已获得能力的工作，并引用面向安全的遗忘开放问题。作者追问的是标签–表示独立能否关上恢复缺口。

函数保持对称与曲率

• Dinh et al. (2017) 与 Zhao et al. (2025)——齐次网络的正缩放，以及 Transformer 中保持 query–key 点积的缩放。
• Neyshabur et al. (2015)、Salimans and Kingma (2016)——路径归一与权重归一一类重参数化，会改变更新度量。
• Rosati et al. (2026a,b)——在指定攻击假设下研究保持函数的曲率干预及收敛保证。作者称本文问的是互补问题：不把信息量连到攻击动态时，信息量本身能否给出下界。

信息论工具

• Xu and Raginsky (2017)、Pensia et al. (2018)、Bu et al. (2020)、Negrea et al. (2019)——把训练写成从抽样数据到参数的信道。作者用它定义过滤后的权重–数据互信息。
• Tishby et al. (2000)、Saxe et al. (2018)，以及 Deeb and Roger (2024)、Rosati et al. (2024)——信息瓶颈及其在安全干预中的用法，用来度量 I(Y; Z)。Barber and Agakov (2003) 把互信息写成标签熵与最优解码损失之差。
• Xu et al. (2020)——计算约束下的可用信息。实验中的逻辑解码器估计是 predictive V-information；作者写明它不是 Shannon 互信息。

基线与数据：经验对照是 O’Brien et al. (2026) 的 Deep Ignorance 强过滤与未过滤检查点，任务为 WMDP-bio（Li et al., 2024）。顺序与零信息实验用 AG News、E2E-NLG 和 C4 效用流；擦除实验用 Google BERT-Tiny 与 AG News，臂内对照包括无目标适配、随机初始化和同一检查点的 α=1。附录用 Fashion-MNIST 与 128 条 item–token 关联做轨道示意。

作者把本文放在这些工作旁边：过滤和遗忘仍可改变初始损失、可达表示或更新几何，但发布时互信息单独不能普遍认证慢恢复；证书还要约束所针对的攻击动态。

作者把发布时的互信息与攻击动态拆开。函数保持的参数轨道不改变互信息，但改变梯度下降的预条件；只依赖该统计量、且在轨道上不变的证书，不能超过最快代表。这一限制再分别用于过滤和能力移除。

恢复时间与证书

• 模型为 f_θ，攻击集为 D_f，点损失非负。攻击损失是该集上的平均损失。
• 协议 A 指定可训练参数、优化器、步长规则和随机采样。命中时间为 τ^ϵ(θ;A):=inf{t∈ℕ₀:𝔼_A[L_Df(θ_t)]≤ϵ}，达不到则为无穷。除非另说，初始损失须高于 ε，因此成功至少一次更新。
• 定义 2.1：由发布统计量 γ(θ) 给出的界，不得超过攻击族上命中时间的下确界。族中只有一个攻击时，证书是攻击相对的；族更大时须对每个纳入的攻击成立。
• 效用可通过固定的效用损失容差来限制。后文的一步构造可以精确保留单独的效用预测器。权重–数据互信息是抽样与训练实验的性质，不是单个已实现权重的性质；基于它的证书要声明对每次发布、对期望，还是以给定概率成立。

轨道与预条件

• 引理 3.1：群光滑作用在参数与输出上，且输出只经可逆变换 ρ_g。于是互信息不变。若模型对参数可微，雅可比还要乘 ρ_g 的导数和参数变换的导数，因此不必在轨道上不变。
• 精确保持函数时 ρ_g 为恒等。例子包括齐次网络的正缩放，以及注意力缩放：(W_Q, b_Q, W_K, b_K) 变为 (α W_Q, α b_Q, α^{-1} W_K, α^{-1} b_K)，query–key 点积不变。
• 命题 3.2：线性可逆且处处保持损失时，从变换后的初值做梯度下降，拉回原坐标等价于 θ_t+1=θ_t−η P_g∇ L(θ_t), P_g=A_g⁻¹A_g^−⊤。含义是函数不变，更新度量随群元素改变。该恒等式对普通梯度下降沿整条轨迹成立；其他优化器或受限可训练块需要另做分析。
• 推论 3.3：若统计量在轨道上不变，且界对每个代表都成立，则该界不超过最快代表的命中时间。攻击族若含可达子集上的预处理，robust 命中时间不大于该子集上的下确界。可实现的预条件来自模型实际对称，不是任意正定矩阵。

过滤与顺序

• 安全集与有害候选独立抽取。过滤器去掉有害样本的比例 ρ。完全过滤时训练只用安全集，故 I(D_H; Θ_1)=0。推论 4.1：再做固定双可测参数变换，该互信息仍为 0，但不要求雅可比不变。安全数据与固定预训练特征可以支持有害任务，同时独立于新抽的一份有害数据。
• 命题 4.2 看未过滤的一端：一个标签取 ±1 的有害样本，其余标签恒为 0；标量模型、平方损失、从 0 出发、步长 η∈(0,1)。只改变有害样本的位置，最终系数变为 η(1-η) 的相应幂，释放损失随之改变，但每个位置的权重–数据互信息都是 H(Y)。再用步长 γ∈(0,1) 在该样本上微调，命中时间随初始损失变化。
• 作者称这是顺序造成的行为衰减，不是统计上删掉该样本：参数符号仍精确决定标签。量化或观测噪声会定义另一个信道。此例中曲率相同，时间差来自初始损失。
• 一阶上，后续更新可用参考轨迹上的损失海森收缩或改向早先扰动。Figure 2 只检验语言模型上的顺序依赖；各顺序互信息相等不在模型上测量。

能力移除

• 定义 5.1：I(Y; Z_θ)=0，即标签与所选表示独立。对对数损失，任何条件解码器都不能优于只看标签的熵。某一个头表现差，仍可能是信息被藏起；构造满足的是完全移除。该零互信息在表示相容轨道上保持，所以零处的互信息证书仍受最快代表限制。
• 命题 5.2：表示对冻结特征线性，移除目标是把表示拉向常数。W=0 且偏置等于该常数时，标签互信息为 0，每个输入上的参数雅可比仍等于预训练雅可比，固定评估集上的切核不变。
• 命题 5.3：表示 aX、标签等于 X、发布时 a=0。经验平方损失为 (a-1)^2 的一半，零点梯度为 -1，步长 1 的一次更新达到零损失。对 0<ε<1/2，命中时间为 1，且对每一次抽取都如此。该发布也可放进完全过滤，权重–数据互信息为 0，并保留独立的效用预测器。因此，包含此梯度下降、且覆盖此例的类，在零信息处的普遍下界不能超过 1。
• 同一移除目标下，Z=abX 的 (0,1) 与 (0,0) 都使损失和标签互信息为 0。从 (0,1) 走一步单位梯度可到零损失；(0,0) 的雅可比为 0，梯度下降下不动。信息值相同，选中的极小点决定这次梯度攻击能否恢复。

切核上界

• 命题 5.4 给出的是攻击时间上界，不是抵抗下界。若全批量梯度下降沿轨迹使梯度范数控制过剩损失，且梯度与切核对齐，则参数损失满足 Polyak–Łojasiewicz 不等式；再加上光滑性和步长限制，过剩损失几何下降。
• 平方损失且目标可实现时，作者取相应常数使最优损失为 0。线性构造中雅可比与切核在训练中不变；切核若有正下界，则尽管发布时信息精确为 0，该上界仍适用。
• 作者认为，认证还要把初始损失、可达表示或更新几何连到攻击动态。互信息为 0 同时允许快恢复和退化核。

实验设置

• 模型：Deep Ignorance 6.9B 的 SF（EleutherAI/deep-ignorance-e2e-strong-filter）与 UF（EleutherAI/deep-ignorance-unfiltered）；EleutherAI/pythia-160m；Pythia-14M；Google BERT-Tiny（两层、隐层 128、最大长度 64）；Fashion-MNIST 上宽 64 的两层 ReLU MLP。
• 数据：WMDP-bio 固定池 1,273 题，一次置换留出 100 题、训练池 1,173。AG News、E2E-NLG；效用流为 C4 的 256-token 块。Fashion-MNIST 用前 10,000 张训练图，目标类 6。Pythia-14M 用种子 17 的 128 条 item–token 关联。BERT 的 AG News：目标类 World 与 Business，保留类 Sports 与 Sci/Tech，每类 1,000 训练例，探测、验证、测试各 500，划分种子 0。
• Deep Ignorance 攻击：全参数普通 SGD，学习率 2.5×10^{-4}，批大小 4，一个 epoch、293 步。种子 17、18、19 只改变 minibatch 顺序。攻击前对全部层做一次 Q/K 缩放，精确算术下保持已发布函数；正文称只需遍历 Q/K 张量，无额外训练或数据。
• 其他协议：AG News 恢复为冻结主体、只训线性头，2,000 步、学习率 10^{-2}，阈值损失 ≤1.0，5 个种子。E2E 为全参数 AdamW，1,500 步、学习率 3×10^{-5}，阈值 ≤1.5，4 个种子。因子化头：只训 A，SGD 学习率 0.1，500 步，验证准确率 ≥0.7，种子 0–4。BERT 恢复在学习率网格 {3×10^{-4}, 10^{-3}, 3×10^{-3}} 中取最小命中时间，准则为目标准确率 ≥75% 且目标交叉熵 ≤0.5，上限 1,000 步。
• 指标：训练与留出准确率、最先达到阈值的步数（预算内未越过则右删失）、指定逻辑解码器的 predictive V-information，单位 nats。作者写明后者不是 Shannon 互信息。
• 判定：无 LLM 裁判。WMDP-bio 按四个答案字母 logits 的交叉熵计准确率。V-information 在探测集拟合、验证集选择、测试集评估。

主结果

Figure 1 与 Supp B.1 比较两个检查点的 Q/K 尺度。留出集 100 题。± 为三个种子的标准差；附录写明是总体标准差。达到 60% 的步数是每 25 步记录下、训练准确率最先不低于 60% 的步，之后不必一直高于该阈值。

| 条件 | 293步训练准确率 | 293步留出准确率 | 60%的中位更新 | | UF, α=1 | 68.9±1.8% | 60.0±2.2% | 125 | | UF, α=1/24 | 61.5±7.6% | 42.7±5.4% | 225 | | SF, α=1 | 58.5±5.0% | 45.3±4.1% | 150 | | SF, α=8 | 69.3±4.4% | 54.0±5.0% | 125 |

• 作者称，保持已发布函数的缩放可以抹掉并反转所记录的过滤优势：不额外排除数据，只改坐标，即可使 UF 慢于未缩放的 SF。
• 作者认为，这些运行中的恢复排序可以反映呈现给攻击的坐标，而不只是过滤去掉的信息。Supp B.1 另报告：SF 在 α=8 的最终留出准确率比 α=1 高 8.7 个百分点，UF 在 α=1/24 比 α=1 低 17.3 个点。
• 作者把该结论限制在这些运行和该预算内，并写明全模型微调包含 Q/K，因此该对称可以改变攻击的优化几何。作者认为，计入参数化后，安全预训练的抗微调效果可能很小或没有。

训练顺序

• 测了什么：Pythia-160M 上固定目标训练量，只改变目标块在效用流中的位置。AG News：效用 10,500 步，目标块 2,000 步，31 个位置，另对最后 1,500 步做 16 个位置的放大，5 个种子。E2E-NLG：效用共 5,500 步 AdamW，目标块 16,000 步，位置 {0, 1250, 2500, 3750, 5000}，4 个种子。
• 结果：Figure 2 的作者称，目标数据更晚加入时恢复时间趋势向下；AG News 在流的后段下降更陡，E2E-NLG 在位置 3,750 有较小下凹。正文未列出各位置的命中步数。
• 例外：8,000 个目标步时，4 个种子里只有 2 个通过预先登记的获取不变门（同一种子内、各位置的目标后损失跨度 ≤0.05 nats），因而把目标步加倍到 16,000。作者写明，互信息在各顺序上相等由构造给出，不在语言模型上测量。

零信息表示的尺度

• 测了什么：冻结 Pythia-160M，头为 z=A(s B_source h)，发布时 A=0，故每个尺度 I(Y; Z)=0。十四个尺度的发布 logits 逐比特相同。s 从 1 到 0，含 10^{-5} 与 s=0。
• 结果：Table 2 中 s=1 的命中中位/最小/最大为 1/1/6，测试准确率 0.8530（标准差 0.0017）；s=0.02 为 306/301/311，测试准确率 0.8309（0.0013）。s≤0.015 时 5 个种子全部在 500 步右删失；s=0 的测试准确率停在 0.2646。发布时梯度能量比与 s^2 一致到五位有效数字，直至 s=10^{-5}、比值 10^{-10}；q_A^{(1)}=6.358。
• 作者称：对 s>0，学习率 η 的 SGD 在实数算术下逐 minibatch 等价于 s=1、有效学习率 ηs^2 的攻击；把学习率改为 η/s^2 可恢复参考轨迹，因此小的正尺度不构成该攻击的内在障碍。s=0 是该攻击的零梯度对照，作者不把它说成对任意改权重的抵抗。

擦除后的重参数化

• 测了什么：BERT-Tiny 上，MSE scrub 把目标类隐藏表示拉向独立抽取的保留特征，同时优化保留类交叉熵，AdamW、学习率 10^{-3}、1,000 步。恢复为全参数 SGD。
• 结果：Table 1 中 scrub 的目标准确率 53.4±3.6%，末层 I_b^V 为 0.115，恢复 252±67 步（三种子）。三层估计从 0.433/0.449/0.457 降到 0.178/0.150/0.115 nats。随机初始化的目标准确率 50.0%、末层 0.140，1,000 步内未达准则。无目标适配在 75±5 步达到阈值，目标准确率约 50%。
• 作者的解读与例外：无目标适配的保留准确率 34.1±15.3%，scrub 为 96.3±1.2%；作者写明二者不是效用匹配的，也不能把 scrub 留下的结构分成通用迁移和目标特异两部分。种子 0 的配对 Q/K 变换用相同批次和同一学习率网格：α=1 为 280 步，α=32 为 25 步，两端的最好时间都在 3×10^{-3}；评估批上 logits 最大偏差为 0，目标边际核迹从 4.70×10^4 变为 1.01×10^5。作者称差异不能归因于信息量变化，并写明这是单种子比较，不确立完全互信息移除或全核保留。

其他消融与分析

• Fashion-MNIST：21 个对数间隔 α∈[0.1, 10]，动量 SGD 恢复到 32 张类 6 图像上 50% 准确率；扫描中最大 logits 偏差 1.82×10^{-5}；每点一次运行，正文未给各 α 的步数（Figure 4）。
• Pythia-14M：尺度 {1/4, 1/2, 1, 2, 4, 8}，损失阈值 1，命中时间从 865 到 1,825 步；测过的变换下初始 logits 偏差为 0（Figure 5）。该实验测的是 128 条关联的记忆，不是留出泛化。
• Table 2 的其他尺度：s=0.125 命中 11/11/11，s=0.05 为 51/51/51，s=0.03 为 136/131/141；s=0.015 的测试准确率 0.6603（0.0062），s=0.01 为 0.3144（0.0013）。
• Table 3：目标适配臂目标准确率 91.7%、保留 82.4%、恢复 0 步、tr(K)=9.59×10^5；scrub 的 tr(K)=5.74×10^4，NTK 相对漂移 0.952。随机编码器逐层 I_b^V 为 0.1403、0.1392、0.1397 nats。
• 达到 60% 的逐种子步数：UF α=1 为 {125, 100, 125}，SF α=1 为 {150, 175, 150}，SF α=8 为 {125, 125, 150}，UF α=1/24 为 {225, 225, 250}（Supp B.1）。
• 因子化头的源头只训练一次（AdamW，学习率 10^{-3}，1,000 步，A 初始化为单位阵），骨干不更新；各尺度共用该源头（Supp B.3）。

作者指出的局限与后续方向

• 作者写明，Fisher 信息刻画的是参数化分布的局部敏感，它能否支撑一种全局的信息量概念，仍然开放（§6）。
• 作者把进一步的问题放在重参数化不变的攻击（如自然梯度）、特征学习过程，以及障碍或模式连通性这类全局约束下，这些控制是否仍成立（§6）。
• 作者写明，特征在训练中变化时，发布时的核统计量单独给不出步长限制、非线性余项和 K 随时间变化这些控制（§6）。
• 作者区分两类论证：他们的 PL 分析用来上界攻击时间；抵抗证书则需要对允许轨迹上可达到的进展给出界（§6）。
• 作者写明，这些是训练时结果，推理时的信息界不受此影响（§6）。

实验覆盖范围

• 被微调或被重参数化的模型为 Deep Ignorance 6.9B 的 SF 与 UF、Pythia-160M、Pythia-14M、Google BERT-Tiny，以及作者训练的宽 64 两层 ReLU MLP（§4、§5、附录 A、Supp B）。
• Deep Ignorance 比较使用 WMDP-bio、全参数 SGD、3 个种子、293 次更新；Q/K 缩放是攻击前的一次预处理。作者在 §4 把相应解释限制在这些运行和该预算（Figure 1, Supp B.1）。
• 顺序实验为 Pythia-160M 上的 AG News（5 个种子）和 E2E-NLG（4 个种子）。论文写明未在语言模型上测量各顺序的权重–数据互信息（§4.1, Supp B.2）。
• 零信息尺度实验冻结骨干、只训练 A，5 个种子、500 步预算（Table 2）。BERT 的 scrub 与无目标适配为 3 个种子；配对轨道为种子 0（Table 1, Supp B.4）。Fashion-MNIST 与 Pythia-14M 轨道为单次运行（附录 A）。
• 论文未报告 Pythia 实验的具体 GPU 型号（checklist 写明未记录）。checklist 写作者计划在发表时发布代码；正文未给出已可获取的实现。

作者研究开源权重模型的篡改抵抗：发布时的互信息是否足以保证微调恢复很慢。

• 形式化：恢复是指定优化协议把攻击损失打到阈值的步数。保持函数的参数对称不改变互信息，却给梯度下降换了预条件，所以只看互信息、且在轨道上不变的下界，不能超过最快代表。
• 两个信息量：完全过滤使权重与被排除的有害抽样独立，但不固定之后的几何。改变有害样本的训练位置，可以固定权重–数据互信息而改变恢复步数。把表示收到与标签无关的常数，仍可保留预训练雅可比。命题 5.3 的平方损失构造在两个信息量都为 0 时，一次梯度步降到零损失。
• Deep Ignorance：在 WMDP-bio 上，6.9B 强过滤检查点经 α=8 的 Q/K 缩放，293 步后训练准确率 69.3±4.4%，未过滤 α=1 为 68.9±1.8%。把未过滤缩到 α=1/24，达到 60% 训练准确率的中位更新从 125 变为 225，多于未缩放强过滤的 150。作者称这可以抹掉并反转所记录的过滤优势，并把解释限制在这些运行和预算。
• 其他受控结果：BERT-Tiny 的 MSE scrub 后，三种子平均 252±67 步恢复；同一检查点的种子 0 在 α=1 为 280 步、α=32 为 25 步。冻结 Pythia-160M 的零信息头在 s=1 时中位 1 步越过验证准确率 0.7，s≤0.015 则在 500 步预算内不越过。
• 作者的结论：互信息为 0 不能普遍认证慢恢复。过滤和遗忘仍可能通过初始损失、可达表示或更新几何放慢特定攻击，但保证必须约束攻击动态；攻击者能改参数化时，下界还要对最快代表成立。作者写明这不触及推理时信息界。