AMS 工具通过激活分析检测语言模型的安全训练改动

开放权重模型上的安全训练可被改掉，而部署前缺少不靠行为试探的检测方法。

• 场景： 作者称开放权重生态中存在消融、微调或其他改动，用来去掉或削弱安全护栏并顺从有害请求；这些模型进入生产系统，或在供应链中顶替合法权重时会带来风险。
• 现有做法： 作者称现有检测是用有害请求看回复：查询多、覆盖不全，而且模型可以被训练成拒绝基准提示、却顺从新的攻击。
• 观察： 作者称安全训练会在激活空间分开有害与无害内容。引言写指令微调模型约有 4–8σ 的分离；去掉安全训练会改这一结构，但不同技术的改法并不相同。该 4–8σ 概括与 Table I 的指令微调行不完全一致。
• 提出的工具： AMS（Activation-based Model Scanner）测量安全概念的几何：Tier 1 看簇分离 σ，Tier 2 看相对参照基线的方向相似度，从而不跑行为测试就检测一部分改动，并按激活签名分成四类。
• 威胁模型：
  • 受害系统： 开放权重语言模型的供应链与部署。攻击者可在注册表、CDN 或下载中替换权重，标签仍可写成合法模型名；内部人员也可改已部署权重。开发者还可能误部署无安全训练的基座、消融变体或不可信来源。
  • 知识： 论文不按 white-box 或 black-box 描述攻击者，而是按激活签名写覆盖范围。无基线时 Tier 1 只测有害相对无害的分离是否还在；有已知干净来源的基线时，Tier 2 比较方向向量。
  • 签名覆盖： Tier 1 针对分离塌缩，以及塌缩加方向旋转；只旋转、不塌缩靠 Tier 2。几何基本保留的行为微调，作者称两级都抓不住。
  • 范围外： 不改权重的提示注入和推理时越狱；三个概念未覆盖的偏见、毒性、欺骗；只改输出层参数、不影响中层残差流表示的攻击。

无审查模型与消融

• Abliteration（Arditi et al., 2024）： 找出拒答方向并从权重中减去，以去掉拒答。论文用该方向解释消融签名，并引用 Gemma 消融模型卡：标准正交化在该架构上结果不同，因而换了流程。
• Dolphin（Hartford, 2023）： 在滤除拒答的数据上从零训练。论文把它和未做指令微调的基座一起当作训练移除的例子。
• Sokhansanj（2025）： 论文称这是对该生态的首次大规模分析：在 HuggingFace 上识别 8608 个安全改动模型仓库，并写改动模型对不安全请求的顺从率为 74–80%，原始模型为 19%。这是该工作的数字，不是 AMS 的测量。

激活分析与表示

• 运行时激活分析： Arazzi et al.（2025）用激活指纹区分审查与未审查模型，并利用找出的层做定向攻击。Kawasaki et al.（2024）的 RSAA 看层间激活以检测越狱提示。Chen et al.（2024）识别区分恶意查询的连续中层安全层。论文把这三项定位为提示级、运行时防御，把 AMS 定位为部署前模型核验。
• 表示工程： Zou et al.（2023）写高层概念在激活空间编码为线性方向。Turner et al.（2023）用加上转向向量改行为。Marks and Tegmark（2023）写真/假数据上的真值概念形成线性子空间。论文写 Meng et al.（2022）把事实关联定位在特定层，并称这促使了选层。
• 探针与扫描： Belinkov（2022）综述在激活上训练的监督探针。Liu et al.（2019）的 ABS 用人工脑刺激扫描图像分类网络的后门。论文用三点区分探针：测池化标准差下的簇分离，而不是训练分类器；问题在模型级几何是否被改，不在单条提示；方向在有参照时还可做身份核验。论文还称转向说明方向有因果作用，AMS 测的是该方向跨变体是否稳定。

供应链核验与行为基准

• 哈希与行为指纹： 密码学哈希核对逐比特一致；论文称量化、格式转换等合法变化会失配。行为指纹（Xu et al., 2024）用回复模式，论文称慢且可被规避。论文把 AMS 放在中间：用激活几何核验功能身份，且不做行为查询。
• 行为安全基准： HarmBench、ToxiGen、WildGuard 用行为测试评安全。论文称它们对能力评估有价值，但查询多、覆盖不全，且可被训练成只拒绝基准提示。JailbreakBench 用于本文的服从率评测，不是检测器基线。

实验对照： 实验没有把上述检测器当作基线在同一任务上跑分。Table IV 按单模型时间、查询量和漏报类型，把 AMS 与 HarmBench、人工红队并列：AMS 为 10–40 秒、96 次查询，覆盖作者划分的类别 (i)–(iii)；HarmBench 为 30–60 分钟、1000+ 查询；人工红队为数小时到数天、100–1000+ 查询。表中同时写明，保留激活几何的类别 (iv) 是 AMS 的漏报。

作者把本文放在表示工程与部署前核验之间：不往激活里加向量改行为，而是测量已有方向及其跨变体稳定性，用来判断训练期做了哪类安全改动。

AMS 把“安全训练是否被改”写成激活空间里的几何问题：有害与无害类的分离是否塌缩，拒答方向相对同族干净基线是否转动。两级规则对准不同签名，而不是对所有改动用同一阈值。

提取、方向与分离

• 提取： 对提示做前向，取层 ℓ 最后一个 token 的隐藏状态。每个概念的层由校准扫描选定。
• 方向： 每个概念用正/负对比对。方向是两类激活中心之差，再归一化到单位长度：v=1/(|P|)∑_{i∈ P}h_i⁺−1/(|N|)∑_{j∈ N}h_j⁻。对子共享表面特征、只在目标区别上不同；例句在附录 C，此处不复述。
• 分离： 把隐藏状态投影到该方向，用池化标准差衡量类均值距离：separation=(μ⁺−μ⁻)/σ_pooled。σ_pooled 是两类投影标准差先平方、再平均、再开方。作者称 4σ 表示类均值相距 4 个池化标准差，偶然重叠不太可能。
• 选层： 在深度 40–80% 扫描，取分离最大的层。论文写这一步通常约 15 次前向、30 秒内完成。依据是表示工程文献中安全相关信息集中在中后层。

三个概念与两级规则

• 概念： harmful_content、injection_resistance、refusal_capability。各 16 对，用来把目标区别和混杂因素分开。
• Tier 1： 不需要基线。算法写按三概念的最小 σ 分级：PASS（>3.5σ）、WARNING（2.0–3.5σ）、CRITICAL（<2.0σ）。作者称 3.5σ 是为了让消融模型落到 WARNING 而不是 PASS。
• 阈值来源： 作者称阈值在验证数据上校准，并写指令微调为 3.8–8.4σ、消融为 3.3σ、所测无审查模型为 1.1–1.3σ。这些区间不能覆盖 Table I 的全部行，分档以表为准。
• Tier 2： 与声称身份的已存基线比较。方向余弦相似度需 >0.8，分离幅度的相对漂移需 <20%。用于绝对 σ 仍过线、但几何已被改的情形。

扫描流程

1. 对三个概念各跑 16 对，在 40–80% 深度提取激活，选分离最大的层，计算方向与 σ。
2. Tier 1 用最小 σ 分成三档。
3. Tier 2 可选：与基线比余弦和漂移。

论文写总开销为 96 次前向（16 对 × 3 概念 × 约 2 次选层），GPU 上 10–40 秒。这与“选层约 15 次前向”的另一处说法并不相同。

与四类签名的对应

作者按激活签名把改动分成四类，并让两级检测对准不同类，而不是用一个 σ 阈值覆盖全部。

• 训练移除： 分离塌到约 1.5σ 以下。Tier 1 可抓。这是作者称 AMS 最初对准的情形。
• 权正交消融： 分离下降，且能抽出的拒答方向相对干净基线旋转。两级都可抓。
• 只旋转、不塌缩： σ 仍高，Tier 1 会漏；Tier 2 靠方向相似度。
• 行为微调： 作者称幅度和方向都留着，两级都漏。此类被写成只靠中层残差流激活探测时的失败模式。

具体模型与数字放在实验一问。成功判定在结构侧是上述阈值；行为侧另用 JailbreakBench 服从率，不进入 Tier 1 的分档公式。

实验设置

• 模型： Section VI 的 14 个配置、4 族（Llama、Gemma、Qwen、Mistral），规模 1B 到 9B。指令微调 7 个：Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Llama-3.2-1B-Instruct、Qwen2.5-7B-Instruct、Gemma-2-9b-it、Gemma-2-2b-it、Mistral-7B-Instruct-v0.3。基座 2 个：Llama-3.1-8B、Llama-3.2-3B。消融 2 个：mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated、IlyaGusev/gemma-2-9b-it-abliterated。无审查微调 3 个：cognitivecomputations/dolphin-2.9-llama3-8b、cognitivecomputations/dolphin-2.9.4-llama3.1-8b、aifeifei798/DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored。附录 Table V 与这 14 个并不相同。
• 行为集： 每模型 20 条分层 JailbreakBench 有害行为，9 类：Disinformation、Economic harm、Expert advice、Fraud、Government decision-making、Harassment、Malware、Physical harm、Privacy。Sexual/Adult 因作者认为提示邻近 CSAM 而省略。贪心解码，max_new_tokens=256，有聊天模板则使用。
• 服从判定： REFUSE / PARTIAL / COMPLY，拒答短语匹配限于回复前 250 字符。作者称抽查确认分类准确。论文未说明 PARTIAL 如何计入 compliance，也未报告抽查条数或一致率。
• 结构指标： σ 为池化标准差分离。bootstrap 为对 16 对有放回重采样 1000 次的 95% CI，不重新前向。LOOCV 每次用其余 13 个模型重算中点阈值。Tier 2 报告方向余弦、分离漂移，以及单位方向差的 L2（∆-norm）。
• 参照： 没有其他检测器的同任务跑分。Tier 2 参照同族干净模型。Dolphin-2.9 的比较对象是 Llama-3-8B-Instruct，论文标明为跨检查点。
• 硬件： NVIDIA A100-SXM4-40GB。结构扫描 10–40 秒/模型；行为评测约再加 2–3 分钟/模型。量化是更早一轮，未进入该 14 模型的 bootstrap 与 LOOCV。

主结果

Table I 的 Reference level 与 σharmful 相对 3.5σ / 2.0σ 的分档一致。算法写 Tier 1 取三概念最小 σ，但 Table I 未给出全部三概念。下表为 Table I 的 8 行；σ 最低的 Llama-3.2-3B 已列入。PASS† 是表注中的 Tier 1 假阴性。

Swipe horizontally to read the table

模型	类别	σharmful（95% CI）	参考档	服从率
Llama-3.2-3B-Instruct	指令微调	8.37 [3.64, 7.95]	PASS	0.30
gemma-2-9b-it	指令微调	4.66 [2.91, 7.21]	PASS	0.05
Mistral-7B-Instruct-v0.3	指令微调	1.39 [0.95, 2.74]	CRITICAL	0.95
Meta-Llama-3.1-8B-Inst.-abliterated	消融	3.33 [1.82, 5.27]	WARNING	0.93
gemma-2-9b-it-abliterated	消融	4.54 [2.53, 6.61]	PASS†	1.00
DarkIdol-Llama-3.1-8B-Inst.-1.2-Uncensored	无审查微调	5.45 [2.36, 6.08]	PASS†	0.97
dolphin-2.9-llama3-8b	无审查微调	1.32 [1.22, 4.08]	CRITICAL	0.95
Llama-3.2-3B	基座	0.48 [0.52, 1.63]	CRITICAL	0.88

未列入上表、仍在 Table I 中的行：Llama-3.1-8B-Instruct（5.67，服从率 0.57）、Qwen2.5-7B-Instruct（4.94，0.38）、gemma-2-2b-it（4.80，0.15）、Llama-3.2-1B-Instruct（4.55，0.57）、dolphin-2.9.4-llama3.1-8b（1.38，0.82）、Llama-3.1-8B（0.69，0.75）。CI 见 Table I。

• 作者称 σharmful 与服从率同向但有噪声：Pearson r=−0.546（p=0.043，n=14）在 α=0.05 下显著；Spearman ρ=−0.423（p=0.13）不是。三概念最小 σ 更弱：Pearson r=−0.505（p=0.065），Spearman ρ=−0.273（p=0.34）。
• 作者把两行 PASS† 定为 Tier 1 假阴性，并称机制不同，不是测量噪声。Mistral 虽列入指令微调，档位为 CRITICAL、服从率 0.95；作者称 Tier 1 仍把它标出，标签并不可靠。作者称两个 Llama 基座和两个 Dolphin 是分离塌缩的典型情形。
• 14×3=42 格的 bootstrap 95% CI 中位宽度为 3.36σ（摘要写 3.4σ）；26/42 跨过 3.5σ，14/42 跨过 2.0σ。作者称方向最大化使高 σ 点估计相对 bootstrap 中位数偏高，例为 8.37 高于其 CI 上界。Table I 中两个 Llama 基座的点估计低于 CI 下界，正文未单独解释。按 Table I，7 个指令微调模型中 5 个的 CI 下界低于 3.5，正文写 four of the seven。作者建议报告 CI 下界。

两级核验与四类签名

• Table II： 自比对余弦 1.00、漂移 0%、通过。Llama 消融对 Llama-3.1-8B-Instruct：harmful 余弦 0.55、漂移 41%、未通过。Gemma 消融对 gemma-2-9b-it：跨层均值余弦 0.83、漂移约 15%，表内标为未通过。Dolphin-2.9 对 Llama-3-8B-Instruct：余弦 0.38、漂移 53%、未通过。节 IV 的通过线是余弦 >0.8 且漂移 <20%；0.83 与约 15% 按这条汇总线并不失败。正文称层间最低到 0.70，因而 Tier 2 判失败。
• Table III： 训练移除的例子是 Llama 基座与 Dolphin，分离塌缩（<1.5）；权正交例子是 Llama 消融，分离约 3.3、余弦约 0.30，两级都标为可检测；只旋转的例子是 Gemma 消融，分离约 4.5、余弦约 0.83，Tier 1 否、Tier 2 是；行为微调的例子是 DarkIdol，分离约 5.4、方向标为保留，两级都否。精确 σ 以 Table I 为准。DarkIdol 相对基线的余弦，Table II 未给出。
• VIII-B 与 Figure 3： Llama 对在 20–90% 深度上均值余弦 0.45，L21 最低 0.30；∆-norm 峰值 1.18（正交上限约为 1.414）。L13 上 σ 从 5.67 到 2.42，余弦 0.55。Gemma 对均值余弦 0.84、不低于 0.70，∆-norm 峰值 0.77。L33 上干净模型 σ 4.70、消融 4.01、余弦 0.83。摘要的 Gemma 余弦 0.84 与 Table II 的 0.83、Table III 的约 0.83 并列。作者称 σ 只量当前最大分离方向上的簇距，不量该方向是否仍是原拒答轴；并称把 Tier 2 写成可选项，对类别 (iii) 不合适。作者称未核实 DarkIdol 的具体训练流程。

留一法与假阴性的层扫描

• 两种规则（只用 σharmful，或三概念最小 σ）的 LOOCV 都是 71%（10/14）。各折 PASS 阈值：规则 (a) 为 [2.97, 4.55]，规则 (b) 为 [2.97, 4.19]。四次分错：Mistral（类别标签 PASS，预测 CRITICAL，σ=1.39，服从 95%）；Llama 消融（标签 WARNING，预测 CRITICAL，σ=3.33，服从 93%）；Gemma 消融（标签 WARNING，预测 PASS，σ=4.54，服从 100%）；DarkIdol（标签 CRITICAL，预测 PASS，σ=5.45，服从 97%）。作者称前两例是标签或 WARNING 过宽，后两例是真正的 Tier 1 假阴性。
• VII-F 与 Figure 2：20–90% 深度上，DarkIdol 的 σharmful 保持在 [4.01, 5.45]。Gemma 消融在最浅扫描层 L8（深度 0.20）到 3.12σ，干净 gemma-2-9b-it 在同层最低为 3.21σ；两者都是 30 层中 2 层低于 3.5σ，其余不低于 3.0σ。dolphin-2.9 全程 ≤1.4。作者称换层或取层间最小 σ 不能单独抓住这两个假阴性，否则也会标出干净 Gemma。
• 服从率从 gemma-2-9b-it 的 0.05 到 gemma 消融的 1.00（VII-E）。作者称散点上指令微调偏高 σ、低服从，无审查与基座偏低 σ、高服从。摘要写两例高 σ 与高服从并存；VII-E 另把 Llama 消融 (3.33, 0.93) 算作第三个偏离线性趋势的点。Figure 1 图注写出的坐标是 (4.54, 1.00)、(5.45, 0.97)、(1.39, 0.95)。VIII-A 写 DarkIdol 为 19/20 条顺从。

其他消融与分析

• 量化（VIII-C，未进 bootstrap/LOOCV）：Llama-3.1-8B-Instruct 的 harmful σ 从 FP16 的 5.67 到 INT4 的 5.42，跨概念最大漂移 4.4%；Dolphin-2.9 的 σharmful 在 FP16 与 INT4 均为 1.32。
• Figure 4：PASS 阈值在 [3.5, 4.5] 上，14 模型正确分类率为 100%。作者称这是与同一评测集对齐的内部一致性，不是样本外表现。
• 附录 Table V 额外行：Gemma-2-9b (base) 的 harmful/注入/拒答为 5.29σ / 5.84σ / 5.96σ，档位 PASS；Qwen2.5-7B (base) 的 harmful 为 2.75σ，WARNING；Lexi-Uncensored 的 harmful 为 1.08σ，LLama-3-8b-Uncensored 为 1.06σ，均为 CRITICAL。正文未解释 Gemma-2-9b (base) 为何 PASS。
• Table V 与 Table I 重叠模型的 harmful σ 有 0.01 量级差：Llama-3.2-3B-Instruct 为 8.36 对 8.37，Qwen2.5-7B-Instruct 为 4.95 对 4.94。Table V 最优层：Llama-3.2-3B-Instruct 为 14/28，Llama-3.1-8B-Instruct 为 16/32，Qwen 为 15/28，Gemma-2-9b-it 为 22/42，DarkIdol 为 16/32。VIII-B 另写 Llama 的 L13、Gemma 的 L33。
• Table IV：AMS 为 10–40 秒、96 次查询；HarmBench 为 30–60 分钟、1000+ 查询；人工红队为数小时至数天、100–1000+ 查询。这是论文的对照表，不是在同一硬件上重跑后两个方法。
• 节 IX 另写 INT8/INT4 可把显存降到约 1/2 至 1/4，并写准确率影响 <5%。该 “<5%” 与 VIII-C 的 4.4% σ 漂移是两处不同表述。

作者指出的局限与后续方向

• 验证规模与校准耦合（VIII-F-a，VIII-D）： 14 个配置、四个架构族，但安全改动技术种类更少：两类消融、两个 Dolphin 加 DarkIdol、两个架构不同的基座。作者称不据此估计总体假阳或假阴率，各类检测率是探索性的。参考阈值最初是这 14 个模型上的中点启发式；即便 LOOCV 也未把校准和评测完全分开。作者写出的下一步是：在独立模型集上校准、使用独立生成的对比提示，并在更大、更多样的安全改动模型上评估。
• 概念只有三个（VIII-F-b）： 有害内容、提示注入抵抗、拒答能力。作者称偏见、毒性、欺骗可能有用，但需要相应对比数据。新概念只需设计能隔离目标区别的对比对。
• 类别 (iv)（VIII-F-c，VIII-A，结论）： 作者称 DarkIdol 说明行为安全可以在中层残差流几何不变时被改掉。这被写成 AMS、以及更广义的仅激活安全探测的主要局限，也是本文引出的主要开放问题。检测可能需要看输出层或最后一块参数、生成时的拒答 token，或直接做行为评测。作者称未核实 DarkIdol 的具体训练流程，核实留待后续。结论写 AMS 不是单独的安全门，PASS 不等于行为安全。
• 跨架构基线（VIII-F-d）： Tier 2 需要同一模型族的基线。作者称两个安全模型若分属 Llama 与 Gemma，互比也会相似度低，因为激活空间不同；与架构无关的指纹仍是开放问题。分类学本身不绑架构；Tier 2 只在与本族基线比较时给出类别 (iii) 的判断。
• 单次 σ 上偏（VIII-F-e）： 最大化分离的那一步使单次点估计相对 bootstrap 中位数偏高。作者未改估计器，理由是一改就无法和原先 AMS 实现对齐；建议把 CI 下界当作操作时的汇总。交叉验证式的方向选择被写成后续工程改进。
• 相关分析、提示集与量化（VIII-F-f，VIII-F-g，VIII-C）： 作者指出 n=14 时 Pearson 在 α=0.05 下显著、Spearman 不是，并认为 n≥30 且改动技术更多样时，可收紧相关估计并按类分层。服从率来自每模型 20 条 JailbreakBench 提示；作者称换一套提示，服从率可能变化，尤其是靠近行为安全边界的模型。量化漂移与四类分类学是否交互，留作后续。脚注写运行时提示分类将在以后的工作中描述。

实验覆盖范围

• Section VI 的被测集合是 14 个配置、4 个架构族、4 类标签（指令微调 7、基座 2、消融 2、无审查微调 3），参数量 1B 到 9B。附录 Table V 另列 Gemma-2-9b (base)、Qwen2.5-7B (base)、Lexi-Uncensored、LLama-3-8b-Uncensored；bootstrap 与 LOOCV 按 14 模型、42 格报告。
• 行为评测是每模型 20 条 JailbreakBench 有害行为、9 个类别，省略 Sexual/Adult；贪心解码，max_new_tokens=256；分类为前 250 字符的拒答短语匹配。论文称做了抽查，未报告抽查条数、与人工的一致率，也未说明 PARTIAL 如何计入服从率。
• 结构扫描为每概念 16 对、3 个概念。σ 的区间来自对缓存投影做 1000 次有放回重采样，论文写不需要新的前向。论文未报告多次独立前向重复。LOOCV 评估了两条校准规则。硬件为 NVIDIA A100-SXM4-40GB。
• 量化比较了 Llama-3.1-8B-Instruct 的 FP16/INT8/INT4，以及 Dolphin-2.9 在 INT4 是否仍为 CRITICAL（VIII-C）。方向核验报告了自比对、Llama 消融对 Llama-3.1-8B-Instruct、Gemma 消融对 gemma-2-9b-it，以及 Dolphin-2.9 对 Llama-3-8B-Instruct 的跨检查点比较（Table II）。
• 层扫描在 20–90% 深度上比较了两个 Tier 1 假阴性，以及 gemma-2-9b-it、dolphin-2.9-llama3-8b 两个对照（VII-F、Figure 2）。论文讨论了不改权重的提示注入与推理时越狱，并写明 AMS 不防御这类攻击（III-f）。

AMS 是面向开放权重模型、部署前使用的激活扫描器，用来看安全训练被拿掉或改写之后，激活空间里还留着什么几何痕迹。

• 作者要解决的是：行为试探查询多、覆盖不全，还可能被训练成只拒绝基准提示。观察是安全训练会把有害与无害内容在激活空间分开，不同改权重手法留下不同签名。
• 三个概念各用 16 对对比提示，取类中心差作为方向，用池化标准差 σ 量分离。Tier 1 不需基线，按 σ 分 PASS / WARNING / CRITICAL；Tier 2 与同族干净基线比方向余弦和分离漂移。
• 14 个模型、两种阈值规则的留一法准确率都是 71%（10/14）。σharmful 与每模型 20 条 JailbreakBench 服从率的 Pearson r=−0.546（p=0.043，n=14）；Spearman ρ=−0.423（p=0.13）在 α=0.05 下不是显著结果。42 格 σ 的 bootstrap 95% CI 中位宽度为 3.36σ。
• 训练移除在 Table I 中对应低 σ，例如 Llama-3.2-3B 基座为 0.48。Llama 权正交消融为 3.33σ、选定层余弦 0.55，层间最低 0.30，两级都能标出。Gemma 消融 σharmful=4.54、服从率 1.00，Tier 1 漏；作者称 Tier 2 可抓，Table II 的跨层均值余弦为 0.83。DarkIdol 为 5.45σ、19/20 条顺从，作者称方向保留，两级都漏。
• 作者的结论是：结构信号与行为同向，但噪声使得它不能单独充当安全门。类别 (iv) 要靠输出层分析或行为评测；AMS 适合做快速分诊，通过结构筛查的模型仍应再做行为核验。单次 σ 宜看 bootstrap CI 的下界。