安全并非普适:LLM 对齐中的选择性安全陷阱
Safety Is Not Universal: The Selective Safety Trap in LLM Alignment
论文速读
据论文全文整理(AI 生成),以原文为准
论文提出 MiJaBench,一个覆盖 16 个少数群体的英葡双语越狱基准,含 43,961 条对抗提示,并据此评测 14 个模型,构建了 615,454 条提示-回复对的 MiJaBench-Align。
- 当前 LLM 安全评估把各类伤害归入“Identity Hate”等笼统类别,制造出普遍受保护的假象,掩盖了对特定人群的脆弱性。作者提出“选择性安全陷阱”:模型对某些群体防御牢固,却让代表性不足的群体在相同攻击下高度易受伤害。
- 作者构建 MiJaBench,一个英葡双语对抗基准,含 43,961 条越狱提示,覆盖 16 个少数群体,每条由仇恨言论种子、情境场景和越狱策略经对抗改写器合成。在 14 个模型上运行得到 615,454 条 prompt-response 对(MiJaBench-Align),并用 LLM-as-Judge 加人工验证评估防御率。
- 评估显示安全对齐呈两层级:同一模型内防御率仅因目标群体不同就波动达 42%,对 Black、LGBTQIA+ 保护强,对残障、老年人等长期薄弱。该差异跨架构、跨语言持续,并随模型规模扩大而加剧;对 1B 模型做 DPO 后,对未见群体和未见攻击策略取得零样本防御提升。
- 作者指出:16 个群体被当作单一类别,未考虑交叉性;只评估对抗攻击,缺少良性对照,无法判断过度拒答,DPO 对通用能力的影响未知;跨语言仅限英语和葡萄牙语,未覆盖非罗曼语系;合成样本可能不反映真实毒性的演变,种子数据来源异构带来噪声。
论文提出 MiJaBench,一个覆盖 16 个少数群体的英葡双语越狱基准,含 43,961 条对抗提示,并据此评测 14 个模型,构建了 615,454 条提示-回复对的 MiJaBench-Align。结果显示安全对齐并非统一能力,同一模型仅因目标群体不同,防御率波动最高达 42%,高可见度群体获得更强保护,残障等群体则长期处于盲区。该差异跨语言、跨架构存在,并随模型规模扩大而加剧。作者用 DPO 在 1B 参数模型上做案例研究,对未见群体和攻击策略取得零样本防御提升。
推荐理由论文以 4.4 万条双语越狱提示评测 14 个模型,发现防御率随目标群体最多相差 42%,为审计安全对齐的群体覆盖提供基准。