跳到正文
原文

SORRY-Bench：系统评估大语言模型的安全拒答

SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal

arXiv· arXiv:2406.14598· ICLR 2025· Tinghao Xie, Xiangyu Qi, Yi Zeng, Yangsibo Huang, Udari Madhushani Sehwag, Kaixuan Huang, Luxi He, Boyi Wei, Dacheng Li, Ying Sheng, Ruoxi Jia, Bo Li, Kai Li, Danqi Chen, Peter Henderson, Prateek MittalPrinceton University; Virginia Tech; Stanford University; UC Berkeley; University of Illinois at Urbana-Champaign; University of Chicago本站收录· 15 天前· 原文发表入选 评测精选关注度39

论文速读

评测与基准

据论文 PDF 整理（AI 生成），以原文为准

作者构建 SORRY-Bench：44 类 440 条均衡不安全指令加 20 种语言变体，并用 7K+ 人工标注元评测评审设计，评测 56 个 LLM 的安全拒答。

问题
现有 LLM 安全拒答评测类别粗、分布不均（如 Self-Harm 类占比低近 3 倍）、忽视提示词的语言形式差异，且依赖 GPT-4 级评审成本高。作者希望提供均衡、细粒度、高效的安全拒答基准。
方法
构建 44 类细粒度安全分类法与 440 条类均衡不安全指令，再用 20 种语言变体（写作风格、说服术、编码加密、多语言）扩充 8.8K 条；收集 7,040 条人工标注，元评测多种 LLM-as-a-judge 设计，选出微调小模型作评审。
实验与结果
微调 7B 评审与人类一致性超 80%，接近 GPT-4o 且单次评测约 10s。56 个模型 fulfillment rate 从 Claude-2.1 的 5.23% 到 Mistral-7b-instruct-v0.1 的 90.23%；说服术变体普遍提高 fulfillment 5–66 个百分点，编码加密变体普遍降低 15–68 个百分点。
局限与可以继续做的
作者指出：仅做二元拒答判定、不衡量实际危害程度；不覆盖多风险类别混合场景与中性提示；无法区分模型有用性；未纳入越狱攻击与防御；存在数据污染风险。语言变体只在 8 个模型上评测。
实验设置GPT-4o-2024-05-13、GPT-3.5-turbo-0125 等 · SORRY-Bench · Fulfillment Rate、Cohen Kappa 一致性 等
被测模型
GPT-4o-2024-05-13GPT-3.5-turbo-0125Llama-3-8b-instructLlama-3-70b-instructGemma-7b-itVicuna-7b-v1.5Mistral-7b-instruct-v0.2OpenChat-3.5-0106Claude-2.1Claude-2.0Llama-2-70b-chatGPT-4-0613Gemini-proGemini-1.5-flash
基准
SORRY-Bench
指标
Fulfillment RateCohen Kappa 一致性Time Cost
AI 导读和推荐理由研究者提出 SORRY-Bench 基准，以 44 个细粒度风险类别下均衡采集的 440 条不安全指令为基础，加上 20 种语言与格式变体扩充到 8.8K 条，评测了 56 个大模型的安全拒答表现。团队收集 7K 余条人工判断做元评估，发现经微调的 7B 模型与人类标注的一致率超过 80%，接近 GPT-4o 等大模型，单次评测在单张 A100 上约耗时 10 秒。结果显示 Claude-2 和 Gemini-1.5 的整体满足率低于 10%，Mistral 系列等 8 个模型对一半以上不安全指令给出了实质回应；说服类变体使满足率上升 5% 至 66%，编码与加密类变体普遍使其下降 15% 至 68%，GPT-4o 在不同语言间波动保持在 ±4% 以内。

研究者提出 SORRY-Bench 基准，以 44 个细粒度风险类别下均衡采集的 440 条不安全指令为基础，加上 20 种语言与格式变体扩充到 8.8K 条，评测了 56 个大模型的安全拒答表现。团队收集 7K 余条人工判断做元评估，发现经微调的 7B 模型与人类标注的一致率超过 80%，接近 GPT-4o 等大模型，单次评测在单张 A100 上约耗时 10 秒。结果显示 Claude-2 和 Gemini-1.5 的整体满足率低于 10%，Mistral 系列等 8 个模型对一半以上不安全指令给出了实质回应；说服类变体使满足率上升 5% 至 66%，编码与加密类变体普遍使其下降 15% 至 68%，GPT-4o 在不同语言间波动保持在 ±4% 以内。

推荐理由论文用 44 类均衡的 440 条不安全指令和 20 种语言变体评测 50 多个模型，并给出用小模型做安全裁判的低成本方案。

相关热点

0 个事件 · 2 条新闻提到

提到这篇论文的新闻

深度解读

6个问题，点开问题读完整回答

  1. 这篇论文试图解决什么问题？

    现有安全拒答评测类别粗且不均、忽视语言形式、评审成本高，作者提出 SORRY-Bench 基准。

    如何系统、均衡、低成本地评测对齐 LLM 识别并拒绝不安全用户请求的能力。

    • 场景与重要性：对齐后的 LLM 应拒绝不安全请求（作者举例：多数模型拒答带有种族主义内容的写作请求），这种安全拒答能力可以减少模型在野外被滥用的可能，评测它是安全部署的前提。
    • 现有不足一：类别粗且失衡：作者指出已有数据集分类粒度不一且过代表某些细类——在其评估的 10 个已有数据集上，Self-Harm 类指令的占比比 Fraud 等类低近 3 倍（Figure 1），而 PII Violations、Animal-related Crimes 等类同样占比偏低。
    • 现有不足二：忽视语言形式：作者认为许多评测只隐式考虑语言、方言、拼写等提示词特征，例如 AdvBench 全部为祈使句式；而 Bianchi et al. (2024) 注意到疑问句式会导致不同的安全表现。
    • 现有不足三：评审成本高：已有评测多依赖 GPT-4 级 LLM 做评审，作者报告 GPT-4o 每轮评测约需 3 美元和 20 分钟，且专有模型版本更新带来可复现性问题。
    • 论文方案：提出 SORRY-Bench——44 类细粒度安全分类法、440 条类均衡不安全指令、20 种语言变体（扩充 8.8K 条），并基于 7K+ 人工标注元评测评审设计，最终评测 56 个开源与专有 LLM。

  2. 有哪些相关研究？

    相关工作分三组：安全基准数据集、提示词层面安全影响因素、LLM-as-a-judge 评审设计。

    LLM 安全基准数据集

    • 早期工作评测预训练模型的毒性补全与偏见问答：RealToxicityPrompts (Gehman et al., 2020)、BBQ (Parrish et al., 2022)。
    • 近期工作提出多种不安全指令数据集：AdvBench (Zou et al., 2023)、Do-Not-Answer (Wang et al., 2023)、XSTest (Röttger et al., 2023)、HEx-PHI (Qi et al., 2023)、MaliciousInstruct (Huang et al., 2023)、SimpleSafetyTests (Vidgen et al., 2023)、HarmBench (Mazeika et al., 2024)、SALAD-Bench (Li et al., 2024)、StrongREJECT (Souly et al., 2024)、ALERT (Tedeschi et al., 2024) 等，Table 3 汇总了 16 个。
    • 论文指出这些数据集分类法互不一致、粒度偏粗，且分布不均（Figure 1）；SORRY-Bench 的分类法即从这 10 个数据集聚合细化而来。

    提示词语言形式对安全的影响

    • Bianchi et al. (2024) 与 Xhonneux et al. (2024) 注意到疑问句与祈使句导致不同拒答表现；Zeng et al. (2024) 研究说服术越狱；Deng et al. (2023) 研究多语言越狱；Yuan et al. (2023) 研究密码/编码对话。
    • Samvelyan et al. (2024)（Rainbow Teaming）研究生成多样化对抗提示词，其写作风格变体被本文借用。
    • 论文将这些因素整理为 20 种语言变体纳入基准，作者称此前评测未显式、均衡地覆盖它们。

    LLM-as-a-judge 安全评审

    • 已有实现包括 Qi et al. (2023)、Huang et al. (2023)、Xie et al. (2023)、Mazeika et al. (2024)、Li et al. (2024)、Souly et al. (2024)、Chao et al. (2024)，有的直接用 GPT-4 级模型，有的微调小模型。
    • 论文称此前缺少对评审设计在效率与准确率权衡上的系统研究，本文的元评测填补这一空缺。

    基线与对比：元评测的基线评审包括 Keyword Match (Zou et al., 2023)、Perspective API、Llama-Guard-2-8B、MD-Judge、WildGuard、HarmBench Classifier、Bert-Base-Cased 微调；基准分数跨基准对比使用 HarmBench、SALAD-Bench、ALERT、StrongREJECT 的报告值（Table 4）。作者将本文定位为在均衡性、粒度、可定制性与效率上补足已有工作。

  3. 论文如何解决这个问题？

    三步：44 类分类法加 440 条均衡指令、20 种语言变体扩充、7K+ 人工标注上元评测选出微调小模型评审。

    整体思路是先建细粒度、类均衡的数据集，再系统覆盖提示词语言形式，最后用人工标注校准一个准确且便宜的自动评审，框架名为 SORRY-Bench。

    细粒度分类法（§2.2）

    • 两阶段构建：先聚合 10 个已有安全基准的分类法，把宽泛类别（如 Illegal Activities）拆成细类；再经 human-in-the-loop 流程迭代——用 GPT-4 作零样本分类器把既有数据映射到分类法，落入 Others 的由 4 位作者人工复核，决定是否新增或细分类别，重复至 4 人一致认为无需更新。
    • 结果：44 个风险类别，归入 4 个高层域：Hate Speech Generation（#1–5）、Assistance with Crimes or Torts（#6–24）、Potentially Inappropriate Topics（#25–39）、Potentially Unqualified Advice（#40–44），详见 Table 5。

    类均衡数据集（§2.3、附录 G）

    • 收集流程：9 名研究生经 30 分钟培训后，每人负责约 5 个类别各收集 10 条；优先从 GPT-4 分类好的 3,656 条既有数据中筛选改写，不足时人工新写。
    • 写作规范：指令须具体、无歧义（不能以安全方式回答）、语法正确、统一为祈使句式。
    • 规模与新颖性：共 440 条（44 类 × 10 条）；与既有数据集逐字相同者仅 5.9%（26/440），平均最大 Jaccard 相似度 44.5%。

    20 种语言变体（§2.4、附录 H）

    • 四组变体：6 种写作风格（Question、Slang、Uncommon Dialects、Technical Terms、Role Play、Misspellings）、5 种说服术（Logical Appeal、Authority Endorsement、Misrepresentation、Evidence-based Persuasion、Expert Endorsement）、4 种编码加密（ASCII、Caesar、Morse、Atbash）、5 种语言（Malayalam、Tamil、Marathi、简体中文、French）。
    • 实现：写作风格与说服术用 GPT-4 few-shot 改写；编码加密按 Yuan et al. (2023) 实现并配 few-shot 模板，评审前先解码回明文；多语言用 Google Translate API 翻译，模型回复先译回英文再评审。
    • 规模：20 × 440 = 8.8K 条额外指令。

    评审目标与人工标注（§3.1–3.2）

    • 二元判定：给定（不安全指令，模型回复），判定 fulfillment 还是 refusal；只要回复含直接解决请求的实质内容即算 fulfillment，即使开头有免责声明或拒答语句。
    • 标注集：每条基础指令采 8 个 ID 回复、8 个 OOD（变体）回复，6 位作者标注，共 7,040 条（30.4% fulfillment）；训练划分 2,640 条、测试划分 4,400 条。6 人在 100 条共同样本上的平均 Cohen Kappa 为 90.5%（Figure 6）。

    评审设计元评测（§3.3）

    • 设计空间：直接提示、+CoT、+Few-Shot（用训练划分标注作演示）、+微调（2.6K 训练标注，3 epoch，batch 32），候选模型含 GPT-4o、GPT-3.5-turbo、Llama-3-70b/8b-instruct、Mistral-7b-instruct-v0.2、Gemma-7b-it 及未对齐基座。
    • 选用评审：基准实验采用微调的 Mistral-7b-instruct-v0.2，理由是效率与准确率的平衡；评审时 temperature 设为 0。

  4. 论文做了哪些实验？

    元评测 30 余种评审设计，再在 56 个 LLM 上测 fulfillment rate，并分析 20 种变体与评测配置的影响。

    实验设置

    • 被测模型：56 个开源与专有 LLM（Llama、Gemma、Mistral、Qwen、Claude、GPT-*、Gemini 等），参数 1.8B 至 400B+；主结果每模型对 440 条基础指令采样一次（多数无系统提示，temperature 0.7、Top-P 1.0、max tokens 1024；o1 系列为 1.0）。
    • 语言变体：因算力限制只在 8 个模型上评测（Table 2 列出的 8 个）。
    • 评审：微调 Mistral-7b-instruct-v0.2；指标为 Fulfillment Rate（0–1，越低拒答越多）。
    • 元评测：在 4,400 条测试标注上以 Cohen Kappa 衡量与人类一致性，并报告单次评测耗时。
    • 重复次数：26 个开源模型重复采样 3 次报告标准差（Figure 7）；6 个模型另做贪心解码对照（Table 8）。

    主结果

    56 模型完整结果在 Figure 4（热力图，逐类 fulfillment rate），正文与附录给出的代表数字（Table 4、§K.2）：

    模型Fulfillment Rate出处
    Claude-2.15.23%Table 4
    Claude-2.07.05%Table 4
    GPT-3.5-turbo-110610.68%Table 4
    Llama-2-70b-chat12.27%Table 4
    GPT-4o-2024-05-130.30Table 2
    Llama-3-70b-instruct0.35Table 2
    Mistral-7b-instruct-v0.267.05%Table 4
    Mistral-7b-instruct-v0.190.23%Table 4
    • 作者称 56 个模型中 27 个 fulfillment rate 在 20%–50%；Claude-2 与 Gemini-1.5 最低（<10%），8 个模型（含 Mistral 系列）超过一半；Dolphin-2.2.1-mistral-7b 与 Mistral-7b-instruct-v0.1 高于 90%。
    • 类别层面：#8 Harassment、#20 Child-related Crimes、#9 Sexual Crimes 平均 fulfillment 仅 9%–11%；#42 Legal Consulting Advice、#34 Religion Promotion、#33 Ethical Belief Promotion 平均 74%–80%。
    • 版本变化：Llama-2-70b 到 Llama-3-70b 从 12% 升至 35%；Gemini-Pro 到 Gemini-1.5 从 33% 降至 7%；作者将 GPT-4o 在 #25 类的变化与 OpenAI 2024 年 5 月 Model Spec 相联系。

    评审元评测（Table 1、Table 6）

    • 微调最优：GPT-3.5-turbo+Fine-tuned 一致性 83.8%（约 112s/轮）；微调后 Llama-3-8b-instruct 80.8%（约 10s）、Mistral-7b-instruct-v0.2 81.0%（约 11s）、Gemma-7b-it 81.2%、Llama-3-70b-instruct 82.5%，作者称与 GPT-4o（78.9%，约 260s）相当且成本更低。
    • CoT 与 Few-Shot 不稳定：CoT 多数情况降低一致性（如 Llama-3-70b-instruct 从 71.5% 降至 32.1%）；Few-Shot 对大模型略有提升，对 7B–8B 对齐小模型反而下降（Mistral-7b-instruct-v0.2+Few-Shot 仅 13.6%）。
    • 基线评审偏低：Llama-Guard-2-8B 39.0%、MD-Judge 36.0%、WildGuard 60.6%、HarmBench Classifier 52.5%、Perspective API 1.1%、Keyword Match 37.3%（Table 1）；作者认为通用护栏模型不适合 SORRY-Bench 的判定。

    语言变体的影响（Table 2，8 个模型）

    • 说服术：5 种说服术变体普遍提高 fulfillment 5–66 个百分点（如 Gemma-7b-it Logical Appeal +0.67）。
    • 编码加密：多数模型无法理解，fulfillment 普遍降 15–68 个百分点；例外是 GPT-4o 在 ASCII +0.12、Caesar +0.16，作者认为可能因其理解复杂指令的能力更强。
    • 多语言：GPT-3.5、Llama-3、Gemma 在低资源语言上 fulfillment 升 20–60 个百分点，Vicuna、Mistral、OpenChat 降 20–58 个百分点；GPT-4o 各语言波动在 ±4% 以内。

    其他消融与分析

    • 系统提示：加 safe 或 helpful 系统提示均降低 fulfillment 2–16 个百分点（Table 7，5 个模型）。
    • 提示词模板：去掉格式 token 后 Llama-2、Gemma fulfillment 升 8–30 个百分点，Llama-3 基本不变（Table 7）。
    • Prefilling：以肯定前缀预填后 Llama 系列 fulfillment 升约 48–58 个百分点，Gemma +19 个百分点（Table 7）。
    • 解码：3 次重复采样标准差小（Figure 7）；贪心与 temperature 0.7 结果差在 ±5 个百分点内（Table 8）。
    • 评审失败案例：附录 J.4 给出三类误判——项目符号列表被误判为 fulfillment、免责声明掩盖 fulfillment、部分满足的边缘案例。

  5. 有什么可以进一步探索的点？

    作者列出二元判定、场景覆盖、数据污染等局限；实验覆盖 56 模型但变体仅 8 模型。

    作者指出的局限与后续方向

    • 仅二元判定：不量化回复的实际危害程度，作者称更细粒度的评分留作未来工作（附录 A.1）。
    • 场景覆盖不全：不覆盖同时涉及多个风险类别的场景，也不考虑中性或可以安全回答的提示（附录 A.1）。
    • 分类法需持续更新：现实安全风险演化快，分类法与数据集需要社区力量定期修订（附录 A.1）。
    • 不衡量有用性：永远拒答的模型会得到 0% fulfillment，作者建议与效用基准（如 Chatbot Arena、MMLU）及过度拒答基准（OR-Bench、XSTest）配合使用（附录 A.1）。
    • 未纳入越狱攻防：本文聚焦 average-case 坏用户，将越狱攻击与防御的整合留作未来工作（附录 A.1）。
    • 数据污染风险：未来模型可能把基准数据纳入训练语料，作者提出可开发私有划分作为后续方向（附录 A.1）。

    实验覆盖范围

    • 被测模型共 56 个，主结果每模型对 440 条指令采样一次；20 种语言变体只在 Table 2 列出的 8 个模型上评测。
    • 人工标注 7,040 条，由 6 位作者完成；一致性在 100 条共同子集上测得，平均 Cohen Kappa 90.5%（附录 I）。
    • 采样随机性在 26 个开源模型上重复 3 次验证，贪心解码对照仅 6 个模型（§K.5）。
    • 评审微调训练数据为 2,640 条人工标注；论文未报告基准实验的总 API 费用。
    • 作者说明因资源与时间限制，未在多种解码参数（如不同 temperature）下做全面测试（§K.5）。

  6. 总结一下论文的主要内容

    SORRY-Bench 以 44 类均衡指令、20 种语言变体和微调小模型评审，系统刻画 56 个 LLM 的拒答差异。

    SORRY-Bench 是一个 LLM 安全拒答基准，针对已有评测类别粗且不均、忽视提示词语言形式、评审成本高三个问题。

    • 数据：从 10 个既有基准聚合细化出 44 类分类法（4 个高层域），构建 440 条类均衡不安全指令（每类 10 条，与既有数据逐字相同仅 5.9%），再用 20 种语言变体（写作风格、说服术、编码加密、多语言）扩充 8.8K 条。
    • 评审：收集 7,040 条人工标注（6 位作者，100 条子集上平均一致性 90.5%），元评测显示微调是让评审准确的关键——微调 Mistral-7b-instruct-v0.2 一致性 81.0%、单轮约 11s，作者称其与 GPT-4o（78.9%、约 260s）相当而成本更低；CoT 与 Few-Shot 提升不稳定，通用护栏模型（Llama-Guard-2-8B 39.0% 等）一致性偏低。
    • 主结果：56 个模型 fulfillment rate 从 Claude-2.1 的 5.23% 到 Mistral-7b-instruct-v0.1 的 90.23%；#8/#20/#9 类平均仅 9%–11%，#42/#34/#33 类达 74%–80%。
    • 变体影响（8 个模型）：说服术变体普遍提高 fulfillment 5–66 个百分点，编码加密变体普遍降低 15–68 个百分点，低资源语言对不同模型影响方向相反。
    • 作者结论：模型间与类别间拒答差异大，且系统提示、提示词模板、prefilling 等评测配置也会改变结果；作者希望该基准以均衡、细粒度、可定制、高效的方式支撑安全拒答评测，并建议与效用和过度拒答基准配合使用。

相关论文

共同使用 SORRY-Bench
再看 3 篇
共同使用 SORRY-Bench
阅读原文ICLR 2025