研究揭示语义保持变换下的 LLM 对齐与效用不对称
评估语义保留规则变换下模型的任务效用与安全对齐不对称性
- 研究定位与核心问题：本论文是一项关于大语言模型对齐泛化稳定性的实证研究，探讨当输入经过保持语义但改变表面形式的规则化逆变换时，安全对齐是否能够与任务效用保持同等程度的稳健泛化。
- 受控探测方法设计：作者利用具备可逆性、分布新颖性与确定性简单性的合成变换（如单表替换密码），构建了涵盖微调（LoRA 与商业 API 微调）与上下文学习（ICL）的双重评估框架，通过统一映射与双裁判机制联合监测效用与对齐在变换前后的变化差异。
- 主实验核心发现：在 8 款开源与商业模型上，模型适应变换后普遍展现出“对齐-效用不对称性”；例如 GPT-4.1 mini 微调后 MMLU、ARC 与 GSM8K 效用损失仅 1.0 至 9.7 个百分点，而 AdvBench 攻击成功率从 13.3% 升至 74.3%；Gemini 3 Flash 在 ICL 下效用差距最多 7.3 个百分点，攻击成功率从 2.3% 升至 43.0%。
- 条件独立性与机理支持：在纯良性数据微调（ρ = 0）时，Llama3-8B 的变换后攻击成功率仍从原始的 1.7% 升至 40.3%，表明不对称性无需恶意暴露即可产生；层级干预与激活补丁表明变换解码依赖于浅层网络，而恢复明文激活可使变换后的攻击成功率下降 50 至 60 个百分点。
- 泛化边界与扩展验证：该现象在多字母替换、变长替换、大参数量模型（Gemma-4-31B、Llama3-70B）以及谄媚与公平性维度上均得到复现；而在强插入噪声下，即使复杂推理效用降至接近零，粗粒度有害依从率仍可维持在 36.0% 至 60.7%。
- 作者结论与安全启示：作者认为安全对齐不能简单等同于模型基础能力，表面分布偏移极易造成对齐约束失效；模型发布与红队测试不应仅依赖明文提示词或标准拒绝评估，而应将语义保留变换下的配对效用与对齐联合评估纳入常规流程。