AMS 工具通过激活分析检测语言模型的安全训练改动
Detecting Safety Training Modification in Language Models via Activation Analysis
AI 导读
研究者提出 AMS（Activation-based Model Scanner），通过测量激活空间中安全相关概念的几何结构来检测语言模型的安全训练改动。安全训练会在有害与良性内容类别间形成可测量的分离，部分安全改动会破坏或旋转这一结构，另一些则保持不变。作者在 Llama、Gemma、Qwen、Mistral 四个架构家族、14 个模型配置和四类安全改动（指令微调、基座、abliterated、无审查微调）上验证 AMS，阈值留一交叉验证准确率为 71%（10/14），sigma 点估计的 bootstrap 95% 置信区间中位宽度为 3.4 sigma。在每模型 20 条分层 JailbreakBench 提示上的行为合规测试显示，有害内容概念的 sigma 可预测合规程度，Pearson r = -0.546（p = 0.043），方向一致但噪声明显。