TRACE：仅凭 checkpoint 更新审计大语言模型有害目标

有害合规 SFT 想优化的行为，能否不查询模型、不看训练数据，直接从检查点更新里读出来。

• 场景：开放权重检查点可被继续适配并再分发，后训练数据与目标可以未知。作者认为现有审计主要靠基准、对抗提示或红队，必须执行模型，并受可用查询覆盖限制。
• 缺口：行为方法能给出行为证据，但依赖执行和查询。作者把问题改成：有害 SFT 的优化目标是否在更新里留下可测证据。
• 观察：作者称有害合规 SFT 在更新空间诱导连续、随目标变化的排序。纯有害合规（C）、安全目标（S）、良性效用（B）占据不同参考区域；混合检查点位于中间，并随有害目标比例升高移向 C。作者称这不表示原始参数空间里的轨迹精确线性。
• 做法：用相对可信基座的更新定义坐标 sH，并实现为只读权重的审计程序 TRACE。它不查询模型，也不访问未知检查点的 SFT 数据。
• 审计条件：
  • 对象：后 SFT 检查点相对可信基座的参数更新。
  • 可用信息：基座权重、未知检查点权重，以及冻结的纯目标参考库。
  • 读出：更新与有害合规原型相对非有害原型的关联，记为 sH；它不是有害样本比例的估计。
  • 对照行为：C 是有害合规，S 是同类有害提示上的拒绝，B 是良性效用。

论文第 6 节分三组讨论；第 4 节另点名审计基线。

后训练带来的安全变化

• Qi et al. (2024)、Lyu et al. (2024)、Peng et al. (2024b)、Halawi et al. (2024)、Xie et al. (2026)——额外微调可削弱对齐或引入有害目标，包括少量、看似良性或隐蔽的适配。
• Jain et al. (2024)、Wei et al. (2024)、Peng et al. (2024a)——从参数和表示看这类变化。Huang et al. (2024a;b) 与 Li et al. (2025) 研究如何更好保持对齐。
• 作者称前一类工作确立了后训练安全会被进一步微调改变；本文改问 SFT 目标本身是否在检查点更新中留下可读结构。

行为审计与目标推断

• Mazeika et al. (2024) 的 HarmBench、Chao et al. (2024) 的 JailbreakBench，以及 Souly et al. (2024)、Han et al. (2024)、Mou et al. (2024)——通过与模型交互评估后训练行为。
• Joselowitz et al. (2024) 用逆强化学习，Bou et al. (2026) 用贝叶斯审计，Marks et al. (2025) 审计隐藏目标——从输出推断隐藏目标或行为偏移。
• 作者称这些方法给出直接行为证据，但要执行模型并依赖可用查询；本文只用检查点修改。

参数与表示中的微调痕迹

• Wortsman et al. (2022)、Ilharco et al. (2022)、Yadav et al. (2023)——参数差和任务向量编码已获得能力的结构化信息。
• Zhong and Raghunathan (2026)、Goel et al. (2026)、Han et al. (2026)、Minder et al. (2026)、Paul (2026)——用权重差、LoRA 参数或激活差恢复微调引起的行为与任务信息。
• 作者称本文追的不是任务属性或行为特异方向，而是有害目标组成在更新空间中的连续排序，并用于只读权重审计。

基线与数据

• 基线方法：UpdateNorm、Spectral（Paul, 2026）、改编的 WeightWatch-SVD（Zhong and Raghunathan, 2026）、CANARY（Parekh, 2026）、PEFTGuard（Sun et al., 2025）；后门设置另有 PEFTGuard-BD。
• 基准/数据集：C 用 PKU-SafeRLHF 与 BeaverTails；B 用 UltraChat、GSM8K、MBPP；行为测量用 AdvBench；后门用 Toxic Backdoors Alpaca；大规模实验用过滤后的 Tulu 3 SFT mixture。

作者把本文放在“只从检查点修改读取目标组成”这一侧，而不是行为交互，也不是恢复单一任务方向。

TRACE 不训练检测器。它用纯目标 SFT 的冻结参考几何，把未知检查点更新定位成连续的有害目标坐标 sH。

有效更新

• 同一表示：全参数模块更新是相对基座的权重差；LoRA 模块更新是缩放系数乘 B、A，再除以秩。几何定义在诱导出的有效更新上，而不是优化变量上。
• 核：两个检查点的相似度是审计模块上 Frobenius 内积之和。附录 B 给出正半定性、LoRA 重参数化不变性，以及不物化稠密矩阵的分解算法。
• 默认模块：合并 q proj 与 v proj。部分层实验只改变被审计的这些模块。

纯目标参考几何

• 三个族：C 为有害合规，S 为安全目标，B 为良性效用。每个目标的原型是该参考库有效更新的平均。
• 非有害侧：把 S 与 B 等权合成一个非有害原型，权重不随库大小改变。作者写明，审计要测的是有害合规证据，不是区分不同非有害适配。
• 数据：C 来自 PKU-SafeRLHF 与 BeaverTails。S 用同一来源的有害提示，换成确定性拒绝目标：8 个静态模板、无提示相关占位符，按 prompt UID 分配；附录 A.2 给出全文。B 用 UltraChat、GSM8K、MBPP。
• 建库：每个骨干单独建库，每条参考轨迹 64 个样本，纯目标参考训练 25 个 epoch。正文未写主实验每个目标的轨迹条数；敏感性实验把每目标 16 条称为满库。

有害目标坐标

未知更新被近似成两个冻结原型的非负组合：

ϕ(Δ W_θ)≈γ_Cμ_C+γ_Nμ_N, γ_C,γ_N≥ 0

系数由非负最小二乘得到。有害目标坐标是有害系数在两系数之和中的占比：

s_H(Δ W_θ)=γ̂_C/(γ̂_C+γ̂_N+ϵ)

ε>0 只用于数值稳定，论文未给出具体值。sH 是几何坐标，不是有害训练样本比例的估计。附录 B.5 写明这两式可由核直接计算，不必显式构造原型向量。作者不假设混合 SFT 在原始参数空间精确线性插值；附录 B.6 用坐标级组合性分开这两件事。

审计流程与设计默认

1. 离线只建一次：从可信基座得到纯 C、S、B 原型，并合成非有害原型，然后冻结。
2. 审计时只算未知检查点相对基座的有效更新。
3. 在冻结几何里做非负拟合，读出 sH。Figure 4 把高分标成更靠近有害合规一侧。

• 默认选择：均衡的 C 与非有害参考、把原始有害系数归一化成 sH、合并 q/v。其他几何、原始系数和单模块的分数在第 4 问。
• 小库定义：每目标轨迹数 K 取 1、2、4、8、12、16。K* 是同时满足三项的最小库：与满库分数的相关至少 0.95，平均绝对误差至多 0.05，且能以 AUROC 至少 0.97 分开 0% 与 10% 有害合规 SFT。

实验设置

• 骨干与配方：Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3、Qwen3-8B、OLMo-3-7B-Instruct；放大实验为 Qwen3-14B、Qwen3-32B。默认 LoRA 的 r=8、α=16、dropout 为 0，全部 q proj/v proj；AdamW 学习率 2×10^{-4}，batch size 16，bfloat16，最长 512，查询轨迹 100 步。纯目标参考训练 25 epoch。Qwen3-32B 用梯度累积保持同一有效 batch。
• 数据：C 来自 PKU-SafeRLHF 与 BeaverTails；S 用同源有害提示和附录 A.2 的拒绝目标；B 用 UltraChat、GSM8K、MBPP。参考库按骨干分开，每条轨迹 64 例。
• 主混合：19 个有害目标比例，范围 0%–100%；每轨迹 100 例、100 步；每比例每骨干 10 条，共 760 个检查点，对冻结几何打分。正文未逐一列出这 19 个比例。
• 四个审计设置：ID 与参考库同分布、同配置；Matched C/S 固定提示、良性例、顺序、种子和训练配置，只把有害提示的目标从合规改为拒绝；OOD 在两个有害数据族之间互换；Unseen 用无提示重叠的有害、拒绝、代码和数学数据。
• 指标与评审：Spearman ρ 看排序，R² 看近似线性，AUROC 在骨干内计算再宏平均。行为侧用 AdvBench 与 AdvPrompter、AutoDAN、GCG、PAIR，由冻结 HarmBench 分类器计 ASR，且不进入 sH。论文未报告这些攻击的生成模型，也未报告与人工判定的一致性。
• 基线访问：Table 3 将 UpdateNorm、Spectral、WeightWatch-SVD、TRACE 标为 weights only，PEFTGuard 为 weights + labels，CANARY 为 forward + probes。附录 H 写 Spectral 用训练标签拟合逻辑回归；WeightWatch-SVD 是适配版，因为原方法看 o proj 与 MLP down proj，而本文 LoRA 只改 q/v。

主结果

骨干	Spearman ρ	R²
Llama-3.1-8B	0.988	0.964
Mistral-7B	0.986	0.991
Qwen3-8B	0.987	0.984
OLMo-3-7B	0.992	0.948

据 Figure 3。线为 sH 均值，阴影为轨迹间 ±1 标准差。

• 作者称四个模型族独立出现同一排序，绝对坐标范围不同。摘要把这四个 7–8B 骨干写为 0.986–0.992；引言把 7B–32B 写为 0.960–0.994。
• 0–10% 视图中痕迹仍可见。作者称最低比例处变异增大；文本未给出各比例均值。
• 作者称该排序不要求原始参数空间精确线性插值。附录 B.6 在 Llama-3.1-8B、混合比例 0.1、0.25、0.5、0.75 上，坐标拟合 R²=0.95（Figure 6(b) 标注 0.950），并称精确插值的重构误差仍然相对较大。

权重审计分离

表格较宽，可左右滑动

方法	ID	Matched C/S	OOD	Unseen
UpdateNorm	0.7090	0.7439	0.6425	0.7036
Spectral	0.6395	0.6814	0.6317	0.6636
WeightWatch-SVD	0.5864	0.5659	0.6134	0.6610
PEFTGuard	0.4345	0.1519	0.3334	0.3529
CANARY	0.6755	0.6605	0.7343	0.7274
TRACE	0.9110	0.9881	1.0000	0.9998

据 Table 3，四骨干 macro AUROC。表后不再复述这些格子。

• 作者称 TRACE 在四个设置中的分离都高于表内其余方法。Table 5 的 Unseen macro AUROC 写为 0.9997，与 Table 3 的 0.9998 不一致；Table 11 四个骨干为 1.0000、0.9989、1.0000、1.0000。
• 5% 有害目标比例下，相对良性的 macro AUROC 为 0.995，相对匹配拒绝为 0.998；10% 起两者都为 1.000（§4.2，与 Table 9 相同）。Table 9 中 TRACE 对良性在 1%、2% 为 0.718、0.843，对匹配拒绝为 0.843、0.955。
• 同一扫频里，PEFTGuard 在匹配拒绝的 1% 与 2% 为 0.000。1%–10% 每骨干每类 10 个检查点，更高比例每骨干 5 对；检测器不按比例重训或校准。Figure 5 正文：均衡 C/N 为 0.988/0.991，3-way 为 0.901/0.954；归一化相对原始系数从 0.917/0.892 到 0.978/0.990；q+v 为 0.989/0.987。

行为关联

• 测了什么：§5.3 用 300 个检查点，覆盖 B、S、C、四骨干和五个训练阶段。ASR 来自 AdvBench 上四种攻击，由冻结 HarmBench 分类器判定。论文未把这 300 个写成第 3 节的 760 个混合检查点，也未在 §5.3 列出各阶段步数。
• 结果：Table 8 的 Spearman ρ / R² 为 Llama 0.931/0.803、Mistral 0.716/0.485、Qwen 0.887/0.724、OLMo 0.854/0.546；95% CI 分别为 [0.890, 0.952]、[0.568, 0.806]、[0.791, 0.936]、[0.743, 0.912]。16 个骨干–攻击组合都为正，范围 0.55–0.94。60 条纵向轨迹中 46 条为正，中位 Spearman 0.52。置换检验 p < 10^{-4}。
• 作者解读：更大的 sH 倾向于对应更高的独立测得攻击成功率。控制目标与训练阶段后，偏相关为 0.52、-0.18、0.31、0.30；作者称聚合关系有一部分来自目标与训练进度，四个骨干里三个仍有正的条件内关联。

后门参考扩展

• 设置：Toxic Backdoors Alpaca 含 24,099/3,012/3,013 条训练、验证、测试例，向指令插入固定触发词并配有毒目标。1,000 例、50% 投毒、200 步时，触发 ASR 为 0.997–1.000，干净提示毒性为 0.003–0.005。μT 来自每骨干 24 条参考轨迹，毒率 1%、2%、5%、10%、25%、50% 各 4 个参考种子。
• 结果：Table 4 宏平均 AUROC：原 TRACE 0.232，加 μT 后 0.721；PEFTGuard-BD 0.565，WeightWatch-SVD 0.456，后者加同一参考后 0.443。加 μT 后四骨干为 0.719、0.615、0.990、0.563。Table 15 中 TRACE+BackdoorRef 在六个毒率上为 0.625、0.625、0.750、0.625、0.688、0.692。
• 作者解读：作者称有代表性的攻击族更新能提高 TRACE，但不意味着原 C/S/B 几何能审计任意攻击；作者称攻击是否生效与检查点是否可分不必同步变化。Table 16：加入 μT 后 ID 从 0.9110 到 0.8745，Unseen 从 0.9998 到 0.9543，两个下降的配对自助 CI 都不含 0；Matched C/S 为 0.9924，OOD 仍为 1.0000。有害比例排序仍在，四骨干 Spearman 为 0.9804、0.9872、0.9831、0.9923。

其他消融与分析

• 组成与计数：Table 1 只用 ρ 的种子组 CV R² 为 0.923、0.969、0.936、0.922；只用有害条数 nC 为 0.757、0.606、0.627、0.757。同比例下数据量变 4 倍，sH 平均偏差 0.0088–0.0159；固定有害条数时配对排序准确率 100%（§3.3）。
• 匹配、长度、范数：Figure 2 中，有害提示比例升高时 C 的 sH 上升，匹配拒绝更低且总体下降。控长后比例相关仍为 0.953、0.959、0.976、0.972；长度单独区分 0% 与 5% 的 AUROC 为 0.63–0.70，sH 为 0.98–1.00（Figure 9）。八个 B/S 组合里六个的 sH 持平或下降，仅 Mistral-S 与 Qwen-B 有正向漂移（Figure 8）；论文未给漂移数值。
• 分布与配方：OOD 痕迹 ρ 为 0.791–0.970；Llama 的 BeaverTails→PKU 为 0.7911，其余七个组合高于 0.9384，C/S AUROC 均为 1.0000（Table 10）。Unseen 的 ρC+B 为 0.9831–0.9901（Table 11）。配方相对 canonical 曲线的 Spearman 为 0.993–1.000，动态范围都超过 70%（Table 6、Table 12）。
• 参数化：Table 7 的最低 Spearman 为 0.916，出现在 Mistral 与 Qwen 的 LoRA 参考、全参数查询。有害对非有害方向的余弦为 0.006、0.004、0.003、0.951。作者称共享的是目标相关排序，不是统一参数方向。
• 参考库、层、规模：K=1 的 ρ 为 0.919–0.959；K* 为 Llama/Mistral 4、Qwen/OLMo 8（Table 2）。OLMo 在 K=16 的 σs 为 0.0610，高于 K=12 的 0.0112，论文未解释。均匀审计 25% 层时 Spearman 为 0.968–0.987，全层为 0.988–0.992（Figure 14）。Qwen3-14B 的 ρ/R² 为 0.994/0.976，Qwen3-32B 为 0.960/0.997（Table 13）。
• 1 万例：附录 G 不重建参考。Llama 与 Qwen 的 ρ 为 0.979 与 0.992；与 ASR 的相关，论文写约 0.89 与 0.92。1% 与 5% 各三对匹配都有 sH(C)>sH(S) 且 ASR(C)>ASR(S)。sH 差均值：Llama +0.257/+0.462，Qwen +0.064/+0.226。

作者指出的局限与后续方向

• 评估只覆盖 SFT（Conclusion）。
• 模型规模到 32B 为止（Conclusion）。
• 目标设置为受控设定（Conclusion）。
• 扩展到强化学习与多阶段后训练被列为后续工作（Conclusion）。

论文只在结论里集中写了这几项。§4.2 写原 C/S/B 几何不表示能审计任意攻击，这是结果解读，不计入本节。

实验覆盖范围

• 主痕迹与 Table 3 审计使用 Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3、Qwen3-8B、OLMo-3-7B-Instruct；同族另报 Qwen3-14B、Qwen3-32B（§3、Table 13、附录 E.5）。
• 分离设置包括 ID、Matched C/S、PKU-SafeRLHF 与 BeaverTails 互换，以及无提示重叠的 Unseen；另有 LoRA 与全参数互迁、均匀或按位置抽取的层子集（§4.2、§5、Table 7、Figure 14）。
• 行为测量为 300 个检查点、AdvBench、四种攻击和冻结 HarmBench 分类器。论文未报告攻击生成模型，也未报告评审与人工的一致性（§5.3）。
• 后门实验使用 Toxic Backdoors Alpaca，并单独加入后门原型；1 万例实验用过滤后的 Tulu 3 良性池，比例到 10%，骨干为 Llama-3.1-8B-Instruct 与 Qwen3-8B，参考保持冻结（§4.2、附录 G）。
• 论文未报告 ε 的数值；§3 写参考轨迹每条 64 例，未写主实验每个目标的轨迹条数。敏感性实验把 K=16 称为满库（§4.1、Table 2）。

作者在检查点更新里寻找有害合规 SFT 的目标组成，并把读数做成不查询模型、不看未知训练数据的审计分 TRACE。

• 问题：开放权重检查点可以被再适配，后训练目标却可能未知。行为审计必须执行模型，还受查询覆盖限制。
• 坐标：相对可信基座的有效更新，被非负拟合到冻结的有害合规原型和等权非有害原型上。sH 是有害系数的归一化占比，不是有害样本比例本身。非有害侧把拒绝与良性效用等权合并。
• 痕迹：四个 7–8B 骨干上，有害比例与 sH 的 Spearman ρ 为 0.988、0.986、0.987、0.992（Llama、Mistral、Qwen、OLMo，Figure 3）。摘要写 0.986–0.992；引言写 7B–32B 为 0.960–0.994，与 Qwen3-32B 的 0.960、Qwen3-14B 的 0.994 同端点（Table 13）。同样的有害提示改成拒绝后，sH 不随提示比例上升。
• 审计与行为：TRACE 的四骨干 macro AUROC 在 ID、Matched C/S、OOD、Unseen 为 0.9110、0.9881、1.0000、0.9998（Table 3）。5% 比例相对良性为 0.995。300 个检查点上，sH 与 ASR 的 Spearman ρ 为 0.716–0.931（Table 8）。原 C/S/B 几何对后门的宏平均 AUROC 为 0.232，加入后门原型后为 0.721（Table 4）。
• 作者的结论：后训练目标会在模型更新中留下可测结构，因此可以不靠训练数据或模型查询做审计。作者把当前范围写成只评 SFT、模型至 32B、目标设定受控，并把强化学习与多阶段后训练列为后续。