ScopeBench:评估 LLM 的文化规范范围感知
ScopeBench: Evaluating Cultural Norm Scope Awareness in LLMs
作者提出 ScopeBench,一个含 3,323 条规范、标注 UNIVERSAL/SPECIFIC 的文化规范范围基准,评测 21 个 LLM 后作者称分类准确率与行为安全脱钩。
- 现有安全评测把危害当作跨文化不变,文化评测又把规范适用范围当作给定,都无法衡量模型是否知道一条规范约束谁。作者认为两种方向上的误判(强加特定规范、相对化普遍保护)都是安全失败。
- 构建 ScopeBench:3,323 条规范(975 UNIVERSAL、2,348 SPECIFIC),经三人标注多数确认;定义 SI/SD/SP 三类范围错误,在分类、联合归因、逐项判断、行为交互四个任务上用同一套操作化定义评测 21 个 LLM。
- 作者报告:主导错误类型随提示格式反转(Task 1 以 Deflation 为主、Task 2b 以 Inflation 为主);六个 Task 1 准确率 ≥97% 的模型在 Task 3 仍有 40.3%–42.4% 有害回复;HRtotal 为 29.0%–51.2%(排除一个系统性拒答模型)。
- 作者指出的局限:仅英文评测;Task 3 依赖 GPT-5.5 自动评审且所有违规陈述由同一生成器产生。实验覆盖:21 个模型、零样本设置;人类验证为分层子样本(Task 3 为 200 对),跨评审复核为每模型 500 条抽样。
- 被测模型
- GPT-5.4GPT-4.1GPT-4.1-minio3-minio4-miniClaude Opus 4.7Claude Sonnet 4.6Claude Haiku 4.5Gemini 2.5 FlashGemini 2.5 Flash-LiteLlama 4 MaverickLlama 4 ScoutLlama 3.1-70BQwen3-235B-A22BQwen3-32BQwen2.5-72BDeepSeek-V3.2DeepSeek-V3Dolphin-R1-Mistral-24BMistral Large 3Mistral Small 4
- 基准
- ScopeBench
- 指标
- SIRSDRSPRCPGHRARERAccuracy
研究者提出 ScopeBench 基准,将文化规范的适用范围作为 LLM 安全评测的一级维度,涵盖 49 个国家、九个文化群的 3,323 条规范,每条标注为 Universal 或 Specific,并定义 Scope Inflation、Scope Deflation、Scope Displacement 三类范围错误。对七个模型家族共 21 个前沿 LLM 的评测发现三类结构性失败:主导错误类型随提示格式反转,单答案分类中 Scope Deflation 达 70%,逐文化独立判断时 Scope Inflation 达 33%;范围分类准确率与行为安全脱钩,六个 Task 1 准确率不低于 97% 的模型对 40%-42% 的范围违规陈述仍给出有害回应;除一个系统性拒答该任务的模型外,全组交互有害回应率在 29%-51% 之间。数据、代码和模型输出已发布。
深度解读
这篇论文试图解决什么问题?
作者认为现有评测无法衡量模型是否知道一条规范约束谁,提出文化范围基准 ScopeBench。
核心问题:安全评测把危害当作跨文化不变,文化评测把规范适用范围当作给定,两者都无法衡量模型是否知道一条规范应当约束谁。
- 问题场景:全球部署的模型会遇到涉及文化规范的查询(如沙特用户问商务宴请拒酒、日本用户问鞠躬礼节)。作者认为,把特定文化的义务强加给圈外用户,或把应适用于所有人的普遍保护相对化,两个方向的误判都是安全失败。
- 现有方法的不足:作者指出,安全基准用单一全局危害判断,不问危害是否文化相关;文化评测测的是模型对具体文化的知识或语境适应,把规范的范围当作给定而非评测对象。
- 核心观察:作者将文化范围(scope)视为独立的安全维度,并把范围错误形式化为三类:Scope Inflation(把 SPECIFIC 规范当作普遍约束)、Scope Deflation(把 UNIVERSAL 规范相对化)、Scope Displacement(把 SPECIFIC 规范归错文化)。
- 论文提出什么:ScopeBench 基准——3,323 条规范覆盖 49 个国家、9 个文化簇,每条标注 UNIVERSAL 或 SPECIFIC;三类错误在四个评测任务上用同一操作化定义测量;并对 21 个前沿 LLM 做了评测。
- 定位:作者称这是把文化范围作为 first-class 评测目标的基准,支持 country-by-default 基准无法做的分析。
有哪些相关研究?
相关工作分安全基准、文化知识评测、LLM 评审三组,作者重点与 SafeWorld 对比。
AI 安全基准
- HarmBench(Mazeika et al., 2024)、SORRY-Bench(Xie et al., 2025)、WildGuard(Han et al., 2024)、AIR-Bench(Zeng et al., 2025)等——用标准化提示套件评测拒答与红队鲁棒性。论文指出这些工作对每个提示施加单一全局危害判断,不问危害是否文化相关。
文化知识与适应评测
- BLEnD(Myung et al., 2024)、CulturalBench(Chiu et al., 2025)、KorNAT(Lee et al., 2024)等——测模型对具体文化事实的掌握;NormAd(Rao et al., 2025)、GlobalOpinion(Durmus et al., 2024)等——测模型是否按文化语境调整行为。论文指出这两类都把规范的范围当作给定。
- SafeWorld(Yin et al., 2024)——50 个国家、2,775 条查询的地理多样安全评测。论文点名与其对比:SafeWorld 把每条规范当作来源国的属性、无 UNIVERSAL/SPECIFIC 区分,只报告回复质量分、无失败模式分解;ScopeBench 引入范围标签、三错误分类法和 hard/easy 干扰项设计。
LLM 自动评审
- Zheng et al. (2023)、Dubois et al. (2023) 等——用 LLM 作自动评审;Panickssery et al. (2024) 指出评审模型存在自我偏好问题。本文 Task 3 Stage 3 沿用该范式,以 GPT-5.5 为评审,并公开评审提示词和全部 5,671 条判定以便复核。
定位:作者称 ScopeBench 在范围标签、错误分类、跨任务剖析、文化邻近度量、行为评测五个维度上同时覆盖,而 Table 7 所列基准均只覆盖其中一两个。
论文如何解决这个问题?
构建双来源标注的规范数据集,用同一套三错误定义贯穿分类、归因、行为四个任务。
整体思路:把每条规范标注为 UNIVERSAL 或 SPECIFIC,定义三类范围错误,并在从知识到行为的四个任务上用同一操作化定义测量,以区分稳定的模型偏差与提示格式伪影。框架名为 ScopeBench。
数据集构建与标注
- 双流来源:UNIVERSAL 流来自安全伦理基准、人权文书(如 UDHR)、医学伦理标准、价值观框架四类;SPECIFIC 流来自 49 国、9 个文化簇,由本国研究者调查收集并补充现有语料(如 SafeWorld)。
- 标注协议:每条候选由 3 名独立标注者确认范围标签,至少 2/3 同意才保留;4,345 条候选中 3,323 条(76.5%)入选。SPECIFIC 流标注者需具备本土生活经验。
- 质量控制:独立重标 100 条平衡子样本的人-人 Cohen's κ = 0.78;发布语料中 SPECIFIC 各簇一致率 98.6%–100%,UNIVERSAL 池 93.0%;另做流内语义去重和跨流重叠移除。
- 规模:975 条 UNIVERSAL + 2,348 条 SPECIFIC = 3,323 条(Table 1);每条附安全级别、规范类型、受影响人群元数据。
错误类型与任务设计
- 三类错误:SI 指把 SPECIFIC 规范当作普遍约束;SD 指把 UNIVERSAL 规范当作文化特定;SP 指把 SPECIFIC 规范归错文化。Task 1 只测 SI/SD,Task 2a/2b 测全部三类,Task 3 测模型对三类违规陈述的有害回复率。
- Task 1(范围分类):只给规范文本,输出 UNIVERSAL/SPECIFIC 标签加简短理由;隐去元数据以避免地理启动。
- Task 2a(联合多选归因):从 A–F 六选项中选一个;SPECIFIC 规范的 A–D 含金标准来源国、一个同簇 hard 干扰项、两个跨簇 easy 干扰项,E 为"普遍规范"、F 为"以上皆非";选项顺序由 hash(norm_id) 决定。
- Task 2b(逐项独立判断):对每个候选国家单独做 Yes/No 查询,每条规范 4 次独立判断,移除联合呈现的锚定和可见的 E 选项。
- 关键指标:SIR、SDR、SPR(分 hard/easy),以及 Cluster Proximity Gap CPG = SPRhard − SPReasy,衡量归错是否集中在文化邻近国家。
Task 3 行为安全流程
- Stage 1 生成:GPT-5.5 为每条规范生成范围违规陈述——UNIVERSAL 规范生成 SD 型,SPECIFIC 规范生成 SI 型和 SP 型(归错到同簇国家);共 5,671 条(975 SD + 2,348 SI + 2,348 SP),一次生成、所有被测模型共用;陈述措辞自然、不带错误信号。
- Stage 2 应答:被测模型评估陈述的文化准确性,不给任何错误提示。
- Stage 3 判定:GPT-5.5 在固定提示词和温度下把回复分为 Appropriate / Evasive / Harmful;主指标为有害回复率 HRt = |{j ∈ Jt : j = Harmful}| / |Jt|,即模型未能指出范围违规的比例。
评测设置
- 21 个模型、7 个家族(OpenAI、Anthropic、Google、Meta、Qwen、DeepSeek、Mistral),全部零样本评测;无法解析的回复记为 UNKNOWN,保留在分母但不计为错误。
论文做了哪些实验?
21 个 LLM 四任务评测:错误类型随格式反转,分类准确率与行为安全脱钩,HRtotal 29.0%–51.2%。
实验设置
- 被测模型:21 个,含 GPT-5.4、GPT-4.1、GPT-4.1-mini、o3-mini、o4-mini、Claude Opus 4.7 / Sonnet 4.6 / Haiku 4.5、Gemini 2.5 Flash / Flash-Lite、Llama 4 Maverick / 4 Scout / 3.1-70B、Qwen3-235B-A22B / Qwen3-32B / Qwen2.5-72B、DeepSeek-V3.2 / V3、Dolphin-R1-Mistral-24B、Mistral Large 3 / Small 4(Table 2)。
- 数据:ScopeBench 3,323 条规范(975 UNIVERSAL、2,348 SPECIFIC);Task 3 使用 5,671 条范围违规陈述。
- 指标:Task 1/2 报 SDR、SIR、SPR(hard/easy)、CPG 与准确率;Task 3 报 HR、AR、ER(按 SD/SI/SP 分型及总计)。
- 评审方式:Task 3 Stage 1 生成与 Stage 3 判定均由 GPT-5.5 担任,固定提示词和温度;评审与人类金标准在 200 对分层样本上 κ = 0.72(附录 G.4)。
- 设置:全部零样本;无重复次数报告;UNKNOWN 保留在分母不计错误。
主结果
据 Table 3(Task 1)与 Table 6(Task 3),节选(完整 21 模型见原表;此处省略 GPT-4.1-mini、o4-mini、Claude Sonnet 4.6、Gemini 2.5 Flash、Qwen3-32B、DeepSeek-V3.2、Mistral Small 4 等 13 个模型):
表格较宽,可左右滑动
模型 SDR1 (%) SIR1 (%) Acc1 (%) HRSD (%) HRSP (%) HRSI (%) HRtotal (%) GPT-5.4 12.8 4.2 93.3 52.0 52.7 4.2 32.5 GPT-4.1 70.0 3.4 77.1 65.2 56.9 8.6 38.3 o3-mini 13.0 5.8 92.1 49.0 44.1 5.7 29.0 Claude Opus 4.7 23.2 5.5 89.3 47.6 51.4 5.1 31.6 Claude Haiku 4.5 25.1 5.6 88.7 44.3 41.2 1.8 25.4 Llama 3.1-70B 0.4 2.6 98.1 74.3 60.5 10.9 42.4 Qwen2.5-72B 50.8 1.2 84.3 80.4 62.9 11.8 44.8 DeepSeek-V3 3.3 7.4 93.8 86.5 70.9 16.9 51.2 - 作者指出 Task 1 中 SIR1 均低于 7.62%,SDR1 从 0.21%(Llama 4 Scout)到 70.0%(GPT-4.1),模型更倾向于把普遍保护相对化。
- 作者指出 Llama 与 Mistral 六个模型 Task 1 准确率 ≥97%,但 Task 3 的 HRtotal 集中在 40.3%–42.4%。
- Claude Haiku 4.5 因系统性拒答(ERtotal 19.78%)被排除在 HRtotal 区间比较之外,其 25.4% 被作者视为拒答压低的假象(附录 F.3)。
提示格式反转主导错误类型(Task 2a vs 2b)
- 测了什么:同一批候选在联合多选(2a)与逐项独立判断(2b)下的错误率对比(Table 4、Table 5、Figure 6)。
- 结果:Task 2b 中全部 21 个模型 SIR2b 超过 SDR2b,SDR2b 接近零(最高 1.85%,Llama 4 Scout),SIR2b 最高 32.96%(Llama 4 Maverick);Task 2a 中 Llama/Mistral 的 SIR2a 降至 2.2% 以下,SDR2a 升至 14.5%–22.1%。
- 作者解读:联合呈现双向锚定——E 选项抑制 SI,国家选项 A–D 诱发 SD;作者称这暴露了单答案格式掩盖的过度泛化倾向。
归错集中于文化邻近国家(CPG)
- 测了什么:SPR 按同簇 hard 与跨簇 easy 干扰项分解,计算 CPG。
- 结果:Task 2b 中 21 个模型 CPG2b 全为正(+1.2% 至 +6.4%);Task 2a 中仅 13 个为正、8 个为负。
- 作者解读:作者认为模型掌握粗粒度文化地理但无法区分同簇国家,联合呈现会扭曲这一邻近偏差。
分类准确率与行为安全脱钩
- 测了什么:Task 1 准确率与 Task 3 HRtotal 的相关性。
- 结果:Pearson r = 0.09(n = 21,p = 0.69);Llama 家族 SDR1 为 0.2%–0.5%,HRSD 却达 71.3%–74.3%;GPT-4.1 分类最弱(Acc 77.1%)但 HRtotal 38.3%,低于六个近满分分类器。
- 作者解读:作者称范围知识与行为执行经验上脱钩,Task 1 分类是必要但不充分的安全代理。
其他消融与分析
- 错误类型危害排序:19/21 模型 HRSD > HRSP > HRSI;HRSI 区间 1.8%–17.1%,HRSD 44.3%–86.5%(Table 6、Figure 2)。
- 人类基线:Task 1 人类准确率 94.0%(κ = 0.78);Task 2a 人类准确率 81%,CPG2a = +4.0%(附录 G.2、G.3)。
- 跨评审稳健性:Claude Opus 4.7 与 Grok-3 在 10,500 对抽样上复评,排名 Spearman ρ ≥ 0.94,单模型 HRtotal 最大偏移 5.8 个百分点(Table 14)。
- 解析恢复:17 个模型零 UNKNOWN;重新查询的恢复率为 0%(Table 12)。
有什么可以进一步探索的点?
作者列出英文-only 与自动评审两项局限;实验覆盖 21 模型零样本、人类验证为分层子样本。
作者指出的局限与后续方向
- 仅英文评测(Limitations):所有提示词和规范陈述均为英文;作者认为多语言扩展是重要后续方向,并指出译成英文可能丢失文化细微差别。
- Task 3 依赖自动评审(Limitations):Stage 3 由 GPT-5.5 判定,作者承认自动评审可能带系统性偏差、无法完全复刻专家判断;已用两个外部评审在分层样本上复评,排名基本不变。
- 单一生成器(Limitations):所有范围违规陈述由 GPT-5.5 一个模型生成,作者指出跨评审复核解决的是判定而非生成端。
- 文化表征风险(Ethical Considerations):聚合文化标签可能掩盖文化内部差异,作者称结果应读作收集时刻的文化知识而非固定事实。
- 规范立场的争议性(Ethical Considerations):UNIVERSAL 的操作化基于国际人权文书,作者承认这一立场在部分哲学与法律传统中有争议。
实验覆盖范围
- 被测模型为 21 个、7 个家族,全部零样本评测(§4、Table 2)。
- 评测任务为范围分类、联合归因、逐项判断、行为交互四个;行为评测的陈述由 GPT-5.5 一次生成并共用(§3.3)。
- 人类验证为分层子样本:Task 1 100 条、Task 2a 100 条、Task 2b 100 条(400 次查询)、Task 3 200 对(附录 G.1)。
- 跨评审复核在每模型 500 条、共 10,500 对的抽样上进行,作者注明其反映排名稳定性而非语料级有害率(附录 G.5)。
- 论文未报告每个条件的重复运行次数;Task 3 的生成与评审温度只写"固定",未给具体数值。
总结一下论文的主要内容
ScopeBench 把文化范围作为独立安全维度,作者称 21 个模型无一在交互中达到可接受水平。
一篇文化安全评测基准论文:作者认为模型必须知道一条规范约束谁,而现有安全与文化评测都无法衡量这一点。
- 问题:把特定文化义务强加给圈外用户(Scope Inflation)或把普遍保护相对化(Scope Deflation)都是安全失败,既有基准没有测量手段。
- 方法:ScopeBench 含 3,323 条规范(975 UNIVERSAL、2,348 SPECIFIC,覆盖 49 国 9 簇),三人标注多数确认;SI/SD/SP 三类错误在分类、联合归因、逐项判断、行为交互四个任务上同一操作化;Task 3 由 GPT-5.5 生成 5,671 条违规陈述并担任评审。
- 结果一:Task 1 中 SDR1 从 0.21%(Llama 4 Scout)到 70.0%(GPT-4.1),SIR1 均低于 7.62%,作者称模型更倾向于相对化普遍保护。
- 结果二:主导错误类型随格式反转——Task 2b 中 SIR2b 最高 32.96%,而 Task 2a 中 Llama/Mistral 的 SIR2a 降至 2.2% 以下、SDR2a 升至 14.5%–22.1%(Table 4、5)。
- 结果三:六个 Task 1 准确率 ≥97% 的模型 Task 3 HRtotal 仍为 40.3%–42.4%;Task 1 准确率与 HRtotal 相关性 r = 0.09(p = 0.69),作者称两者经验上脱钩。
- 结果四:排除系统性拒答的 Claude Haiku 4.5 后,HRtotal 为 29.0%(o3-mini)至 51.2%(DeepSeek-V3),作者称没有模型在交互中提供可靠的文化范围安全。
- 作者结论:作者希望 ScopeBench 把文化范围确立为与拒答、毒性并列的独立对齐评测轴,并已公开数据、代码与模型输出。