Safety is not universal: selective safety traps in LLM alignment
Safety Is Not Universal: The Selective Safety Trap in LLM Alignment
Quick read
Based on 论文全文 （AI 生成）; refer to the original
The paper proposes MiJaBench, a bilingual English-Portuguese jailbreak benchmark covering 16 minority groups, containing 43,961 adversarial prompts, and evaluates 14 models on it, constructing MiJaBench-Align with 615,454 prompt-response pairs. Results show that safety alignment is not a unified capability: the same model's defense rate fluctuates by up to 42% solely due to the target group, with high-visibility groups receiving stronger protection while groups such as those with disabilities remain persistently in blind spots. This disparity persists across languages and architectures and intensifies with model scale. The authors conduct a case study using DPO on a 1B parameter model, achieving zero-shot defense improvements on unseen groups and attack strategies.
- 当前 LLM 安全评估把各类伤害归入“Identity Hate”等笼统类别，制造出普遍受保护的假象，掩盖了对特定人群的脆弱性。作者提出“选择性安全陷阱”：模型对某些群体防御牢固，却让代表性不足的群体在相同攻击下高度易受伤害。
- 作者构建 MiJaBench，一个英葡双语对抗基准，含 43,961 条越狱提示，覆盖 16 个少数群体，每条由仇恨言论种子、情境场景和越狱策略经对抗改写器合成。在 14 个模型上运行得到 615,454 条 prompt-response 对（MiJaBench-Align），并用 LLM-as-Judge 加人工验证评估防御率。
- 评估显示安全对齐呈两层级：同一模型内防御率仅因目标群体不同就波动达 42%，对 Black、LGBTQIA+ 保护强，对残障、老年人等长期薄弱。该差异跨架构、跨语言持续，并随模型规模扩大而加剧；对 1B 模型做 DPO 后，对未见群体和未见攻击策略取得零样本防御提升。
- 作者指出：16 个群体被当作单一类别，未考虑交叉性；只评估对抗攻击，缺少良性对照，无法判断过度拒答，DPO 对通用能力的影响未知；跨语言仅限英语和葡萄牙语，未覆盖非罗曼语系；合成样本可能不反映真实毒性的演变，种子数据来源异构带来噪声。
论文以 4.4 万条双语越狱提示评测 14 个模型，发现防御率随目标群体最多相差 42%，为审计安全对齐的群体覆盖提供基准。