What Factors Affect the Safety Alignment of LLMs and LRMs?
What Matters For Safety Alignment?
Quick read
Based on 论文全文 （AI 生成）; refer to the original
A Huawei research team conducted a large-scale safety alignment evaluation of 32 open-source LLMs and LRMs (covering 13 model families, 3B to 235B parameters) and 8 commercial models, using 5 safety datasets, 56 jailbreak techniques, and 4 CoT attack methods, totaling 4.6 million API calls. The evaluation shows GPT-OSS-20B, Qwen3-Next-80B-A3B-Thinking, and GPT-OSS-120B are the three safest models, while Seed-OSS, DeepSeek-R1 distillations, and the Mistral family are the most vulnerable. The authors state that post-training and knowledge distillation may cause systematic degradation of safety alignment. Role-playing, prompt injection, and GCG are the most effective among the 56 jailbreak techniques.
- 现代 LLM 与 LRM 的安全对齐受哪些内在模型特性和外部攻击手段影响，尚缺乏系统研究。作者认为厘清这些关键因素对提升模型安全性和指引后续研究很重要。
- 对 13 个家族、3B～235B 的 32 个开源 LLM/LRM 及 8 个商用模型做大规模评测，用 5 个安全数据集、56 种 jailbreak 和 4 种 CoT 攻击（prompt suffix 与 response prefix），共约 460 万次 API 调用，并用多数投票聚合评估。
- 作者报告 GPT-OSS、Qwen3-Next、Gemma3 是最安全的三个家族，GPT-OSS-20B 最安全；后训练与知识蒸馏可能导致安全对齐系统性退化；response prefix 的 CoT 攻击平均把 ASR 提高 3.4 倍，Seed-OSS-36B-Instruct 从 0.6% 升到 96.5%，商用模型的文本补全接口和用户自定义前缀功能也暴露风险；roleplay、prompt injection、GCG 是最有效的 jailbreak 类别。
- 作者说明未评测最先进的 jailbreak（如模型专用和多轮变体），因为目标不是提出新攻击；并指出安全评估器 Qwen3Guard-Gen-8B 对中间推理步骤有过度分类倾向，可能造成过度防御，建议训练更高效准确的语义级 safeguard 模型。
论文在 32 个开源模型与 8 个商用模型上比较了家族、规模、后训练与 CoT 攻击位置对安全对齐的影响，可作为部署接口风险的对照。