迈向大语言模型的上下文不变安全对齐
Towards Context-Invariant Safety Alignment for Large Language Models
AI 导读
Anchor Invariance Regularization（AIR）把可验证提示作为锚点，用 stop-gradient 目标仅对开放式提示变体正则，使大语言模型的安全行为取决于请求意图而非表面措辞。该方法以插件式辅助损失实现，通过异构提示分组与 GRPO 等分组偏好优化结合。在 Safety、Moral Reasoning 与 Math 三个领域，AIR 将分布内分组准确率提升 12.71%、分布外一致性提升 33.49%，令安全约束对对抗性表述更稳健。