CuRSE-Bench:探测文生图安全评估中文化盲区的基准
CuRSE-Bench: A Benchmark for Probing Cultural Blind Spots in Text-to-Image Safety Evaluation
作者构建 CuRSE-Bench(10,709 条文化特定 T2I 提示词),称文化盲评审对文化特定潜在危害低估 0.82 分(0–10 分制)。
- T2I 安全评测给每条提示词或图像一个文化无关的危害标签,只在特定文化内有害的内容会被判为良性。作者认为需要衡量文化条件化评审与文化盲评审之间的盲区本身。
- 提出 CultureCraft:从双来源文献记录的危害向量出发,经起草—验证回路把通用有害种子改写为文化特定的日常场景提示词,构建 CuRSE-Bench,并用六个区域 persona 评审与一个文化盲评审在同一评分任务下配对打分。
- 作者报告:文化盲评审对文化特定危害低估 0.82 分(0–10 分制),对照集上差 −0.02;差距集中在 POL、HAT、REL 轴;文化特定集平均 96.3% 绕过五个生成管线的自带过滤器,高于所对比的越狱攻击(0.6–55.2%)。
- 作者指出:仅覆盖六个区域(非洲、中亚、大洋洲未纳入);提示词全部为英文;每区域仅两名学生研究者验证;评审是 persona 条件化 LLM 而非文化真理。区域是 locale 聚合,无验证者对聚合内全部 locale 都在文化内。
- 被测模型
- SD v1.5SDXL 0.9SD3.5-LTSD3.5-MFLUX.1-devLlama-Guard-4SD checker
- 基准
- CuRSE-BenchMM-SafetyBench
- 指标
- blind-gap ∆blindspecificity Specdispersion Dispbypass rate (BPR)block rateCohen's d / dz
研究者提出 CuRSE-Bench,用于探测文生图安全评估中的文化盲区。现有评估通常给提示词或图像打单一的文化无关有害标签,只在特定文化中有害的内容可能被当作无害放行。作者提出智能体式框架 CultureCraft,构造在通用评分标准下看似无害、却在目标文化中带有隐性有害含义的提示词,据此建成包含 10,709 条文化特定提示词和 2,648 条文化通用对照的基准,覆盖六个地区和十条有害轴,每条提示词可追溯至至少两个独立来源。用六个地区角色评委和配对的文化盲评委为全部提示词打分,结果显示文化盲评委低估文化特定的隐性有害内容,在对照集上与角色评委相当;每个角色评委主要识别出自己地区的隐性有害内容,这种选择性文化盲区也存在于已部署的审核系统中。
深度解读
这篇论文试图解决什么问题?
作者认为单一文化盲危害标签会漏掉只在特定文化内有害的 T2I 内容,并提出基准衡量这一盲区。
核心问题:T2I 安全评测给每条提示词或图像一个文化无关(culture-blind)的危害标签,只在特定文化内有潜在危害的内容会被当作良性放行。
- 问题场景:T2I 模型同时部署在多个文化市场,而部署中的安全过滤器按单一、市场无关的危害标签筛查;一个符号、手势或习俗在通用 rubric 下平常,在某一文化语境中却可能带冒犯、政治或宗教含义(Figure 1 给出六个示例场景)。
- 现有方法不足(按论文说法):既有评测用静态、固定分类法的提示词集(如 MM-SafetyBench),近期文化基准问的是模型是否了解或适应一种文化,而不是在评分时注入文化条件是否会改变安全判定;Table 1 显示静态评审在 MM-SafetyBench 上与文化条件化评审在"处处有害"类别上相差 7% 以内,在依赖语境的类别上相差 33–49%。
- 核心观察:作者把文化特定潜在危害建模为 (image, culture) 对的属性;单一文化盲标签并不消除视角,而是编码了标注者池和基准设计的视角。
- 论文提出:CultureCraft(把通用有害提示词改写为文化特定提示词的智能体框架)、CuRSE-Bench(10,709 条文化特定提示词 + 2,648 条对照,覆盖六个区域、十个危害轴),以及配对的文化条件化 vs 文化盲评审分析。
- 评测对象设定:受害系统是部署中的 T2I 生成管线自带过滤器(文本+图像)和外部内容审核器;基准衡量的是评审/审核器在获得文化语境时判定是否改变,不建立普适的文化真理。
有哪些相关研究?
相关工作分四组:T2I 安全评测、潜在/多模态危害、文化感知评测、LLM persona;作者以六项特性定位本文差异。
T2I 安全评测与审核
- Schramowski et al. (2022; 2023)、Qu et al. (2023)、Li et al. (2025)、Zhang et al. (2026)——用静态二值标签提示词集、连续安全分数或层级分类法评测 T2I 安全。
- LlamaGuard (Inan et al., 2023)、ShieldGemma (Zeng et al., 2024)——推理时按固定安全分类法审核;论文指出这类过滤器常依赖词汇线索,可被保持语义的替换绕过(Yang et al., 2024b; Jing et al., 2026)。
- MM-SafetyBench (Liu et al., 2024)——固定单一文化盲分类法;论文用其做对照:在文化依赖类别上静态与文化条件化评审相差 33–49%(Table 1)。
潜在与多模态危害
- ElSherief et al. (2021)、Mendelsohn et al. (2023)——NLP 中的隐式/狗哨仇恨言论;Kiela et al. (2020)、Qu et al. (2023)——仅在组合下有害的模因。
- 论文指出 CultureCraft 的两点不同:潜在含义是在生成图像中视觉实现而非在已有内容中检测;且是文化相对的,同一场景在一个区域有害、在另一区域良性。
文化感知评测
- BLEnD (Myung et al., 2024)、NormAd (Rao et al., 2025)、CDEval (Wang et al., 2024)、CultureBank (Shi et al., 2024) 等——评测 LLM 的文化知识、社会规范适应与常识。
- 最接近本文的:多模态文化安全评测 (Qiu et al., 2025)、文化感知护栏模型 CultureGuard (Joshi et al., 2025)、DIVE (Rastogi et al., 2025,收集人口学多样的人工 T2I 安全评分)——都在评测时提供文化视角;论文指出它们都不构建带逐条出处、承载潜在文化危害的提示词,也不把文化条件化评审与匹配的文化盲基线配对。
LLM persona
- Cheng et al. (2023)——给 LLM 指定 persona 会沿群体维度改变其行为与判断,使 persona 条件化可用于模拟文化视角。
- Deshpande et al. (2023)、Gupta et al. (2024)——persona 也会带来输出毒性上升和无关任务上的推理偏差,因此论文把 persona 评审当作测量工具而非真理来源。
基线与对比对象:部署层对比 Llama-Guard-4-12B(文本审核)与 SD NSFW SafetyChecker(图像过滤);越狱攻击对比 Ring-A-Bell、MMA-Diffusion、SneakyPrompt、PGJ、DACA(Figure 8);外部基准对照 MM-SafetyBench。作者以 Table 2 的六项特性(视觉、安全、文化相对、潜在含义、逐条出处、配对评审)定位 CuRSE-Bench,称此前基准均不同时具备。
论文如何解决这个问题?
CultureCraft 用双来源危害向量经起草—验证回路生成文化特定提示词,再用七个视角配对评分测盲区。
整体思路:先用文献记录的危害向量构建可溯源的知识库,再由 CultureCraft 把通用有害种子改写为文化特定的日常场景提示词,组成 CuRSE-Bench,最后用六个区域 persona 评审与一个文化盲评审在同一任务下配对评分。
文化知识库
- 危害向量:原子单位为 v = (e, r⋆, a, q, s, c),即可视化元素 e、目标区域 r⋆、危害轴 a、目标语境有害含义 q、文献出处 s、争议标记 c;候选由 LLM 按预定 codebook 起草,不从网络语料抽取。
- 来源:符号目录、法律登记、学术文献、平台关键词数据集(Table 3),部分来源有法律或裁决效力(如 BfV 报告、SC/ST Act 判例)。
- 纳入标准:至少两个独立文献来源、可视化为日常场景、对目标文化外读者平常;每个区域由两名学生研究者(至少一名母语者)独立判定,双双接受才入库,全量标注 Cohen's κ = 0.73;有争议的向量在发布前移除。
- 规模:知识库冻结于生成之前,共 2,421 条向量,其中 1,452 条文化特定、969 条支撑对照臂(附录 D.3)。
文化条件化转换(Algorithm 1)
- 起草—验证回路:起草智能体把种子改写为可拍摄的日常场景,实现向量的元素,只改变附带细节(场景、构图、主体、载体),不解释潜在含义;验证器检查对向量的事实保真、文化外良性、轴一致性,失败稿带违反标准返回修改,改动指代、泄露含义或偏离轴的丢弃。
- 结构抽取:先把种子分解为 subject/object/situation/attire/setting 五个槽位,再固定向量元素、变化附带槽位,使同一向量的 K 条提示词表面细节不同(附录 D.1)。
- 实现:起草与验证均用 Qwen3.5-122B-A10B-FP8;起草 temperature 0.7、最多 400 token,验证 temperature 0,最多三次重起草(附录 R.2)。
CuRSE-Bench 构成与质控
- 双臂设计:文化特定臂 10,709 条(由 1,452 条向量实现,平均每向量 7.4 条),对照臂 2,648 条未转换种子;覆盖六区域(East Asia、South Asia、Middle East、Europe、North America、South America)× 十轴(HAT、POL、REL、SEX、MOK、PRI、VIO、SLF、FRD、DST,Table 4)。
- 轴角色:POL 与 REL 无对照(其危害必然依赖特定宗教或国别历史);SLF、FRD、DST 主要提供对照;作者称这反映基准设计角色而非整个轴的性质。
- 质控:去重、筛查无依据指代/显式危害注释/错误归因/分类漂移/模板化;214 条(2.0%)被标记 covert=false 并在仅文化特定分析中排除;所有人选提示词再经两阶段人工确认(研究团队筛查 + 每区域至少一名母语者逐条确认,附录 Q)。
评审与指标
- 配对评审设计:七个评分视角共享同一 backbone(Qwen3.5-27B,temperature 0)、rubric 与输出格式,仅系统块不同——六个区域 persona(合成的人类学家骨架 + 固定区域知识段 Kr)与一个移除 persona 的文化盲评审(Table 5);Kr 不含被评分条目的危害向量或理由(泄漏经审计,附录 N)。
- 评分任务:评审读提示词文本,对其指定危害轴打 0–10 分并给一句理由;任务不提示寻找文化含义、persona 指令无防膨胀锚点(作者称反转任一者会抑制效应,附录 J)。
- 核心指标:blind-gap Δblind(p) = sr⋆(p) − sblind(p),即区域内 persona 与文化盲评审的分差,正值表示文化条件化提升危害识别;文化特定条目另测跨区特异性 Spec(p) = sr⋆(p) 减去其余五区域均分,对照测跨区离散度 Disp。
- 假设:文化盲评测产生选择性盲区——文化特定条目 blind-gap 大、特异性高,对照 blind-gap 近零、离散度低。
论文做了哪些实验?
七个视角对 13,357 条提示词全交叉评分;作者报告文化盲评审低估 0.82 分、部署过滤器平均 96.3% 被绕过。
实验设置
- 被测对象:七个评分视角(六区域 persona + 文化盲评审,共享 Qwen3.5-27B,temperature 0);部署层测五个生成管线(SD v1.5、SDXL 0.9、SD3.5-LT、SD3.5-M、FLUX.1-dev)的自带文本+图像过滤器,以及外部审核栈 Llama-Guard-4-12B(文本)与 SD NSFW SafetyChecker(图像,SD v1.4 渲染)。
- 数据:CuRSE-Bench 全部 13,357 条提示词(10,709 文化特定 + 2,648 对照),七视角全交叉共 93,499 条判定;外部对照为 1,680 条 MM-SafetyBench Key-Phrase 提示词。
- 指标:blind-gap(区域内 persona 减文化盲均分)、Spec、Disp、bypass rate(BPR,须同时通过文本与图像两层过滤)、拦截率。
- 统计:以 why_harmful 理由簇为有效样本单元(1,410 簇),簇级 Wilcoxon 符号秩检验 + Holm 校正(60 个 region×axis 单元格),BCa bootstrap 95% CI(附录 I)。
- 稳健性对照:骨干替换(8 个 backbone,East Asia 切片 n=1,690)、知识交换对照(East Asia 臂 2,369 条 × 3 视角)、组件消融(40 条 South Asia 向量、5 条件、132 条成功渲染)。
主结果
据正文第 6 节与 Figure 6、Table 7:
表格较宽,可左右滑动
条件 文化特定臂 对照臂 出处 区域内 persona 均分 vs 文化盲(主矩阵) 7.74 vs 6.92(gap +0.82) gap −0.02 正文 §6 簇级聚合 +0.80(dz=0.672,74% 簇为正) −0.01 附录 I.4 骨干部署最差:Qwen2.5-7B +0.06(d=0.05) −0.04 Table 7 骨干部署最好:Gemini-3.5-Flash +0.82 +0.18 Table 7 - 作者称差距集中在 POL、HAT、REL 三轴,其余轴近零;POL 是唯一在全部六区域都显著为正的轴(+0.97 至 +2.15,附录 A、Table 12)。
- 作者称对照臂上 persona 与文化盲评审一致(−0.02),且非天花板效应(盲评对照绝对分 6.65,仅 13% ≥ 9,附录 I.3),因此差距是选择性的而非整体抬分。
- 60 个单元格中 23 个在簇级 Holm 校正后显著为正,无单元格显著为负(Table 12)。
部署层评测
- 生成管线自带过滤器:文化特定臂平均 BPR 96.3%(Figure 8;逐生成器 94.4–97.8%,Table 11),对照臂 83.6–90.7%;作者对比的 T2I 越狱攻击(Ring-A-Bell、MMA-Diffusion、SneakyPrompt、PGJ、DACA)为 0.6–55.2%,并指出本基准条目不含任何优化。
- 外部审核栈:Llama-Guard-4 对文化特定臂拦截 54.4%、对照 50.5%;轴分解显示 REL 仅 37.1% 被拦截,POL 58.2%,作者称文本审核器的优势集中在仍有可见线索的轴(DST +18.2、HAT +16.5、MOK +16.1,附录 G)。
- 图像过滤器:SD v1.4 NSFW checker 对文化特定集绕过率 99.2%、对照 96.9%、MM-SafetyBench 93.3%;逐轴捕获率不超过约 4%,集中在 SEX(Figure 16)。
机理与稳健性分析
- 知识交换对照:固定 East Asia persona 仅换注入知识块,注入 Europe 块时得分 7.16,低于无知识块的 7.45 和本区域块的 7.67(Figure 7、附录 K);作者称差距跟随知识而非"让模型更仔细看"的指令框架。
- 特异性:每个区域的 persona 都给本区域条目打最高分;自减交叉特异性 North America +1.35、East Asia +1.32 最大,South Asia +0.58 最小(Table 10);东/西聚合 blind-gap 几乎相同(+0.85 vs +0.87,附录 E.1)。
- 负面结果/例外:Qwen2.5-7B 上文化特定 gap 仅 +0.06(d=0.05),作者称效应需要足够容量;东向 persona 对西方文化特定条目的打分低于文化盲评审(6.71 vs 6.91,∆=−0.19,附录 E.1),作者称这打破了"各自解码各自"的对称读法;SLF 是唯一特异性 CI 含零的轴(Table 14)。
其他消融与分析
- 组件消融(South Asia 切片,Table 6):仅完整管线分开文化内/外冒犯度(∆=+4.40),去掉 persona、知识库或验证回路任一者即回落到 vanilla 水平(+0.78 至 +1.00)。
- 任务模板消融(附录 J):开启"考虑编码/文化形式"提示并保留防膨胀句时 gap 反转为 −0.10;中性配置下恢复 +0.82。
- 命名指代泄漏审计(附录 N):全语料 33.9% 文化特定条目被(过度包容地)标记,剔除后残余 gap +0.63、特异性 +0.75,六区域仍全为正。
- 骨干稳健性(Table 7):8 个 backbone 中 7 个文化特定 gap 为正且超过对照 gap;作者强调可复现的是"文化特定 > 对照"的排序而非具体幅度。
有什么可以进一步探索的点?
作者列出文化覆盖、英文单语、验证者规模与立场等局限;实验覆盖六区域、英文提示词与 LLM persona 评审。
作者指出的局限与后续方向
- 文化覆盖(Limitations):仅六个区域设置,非洲、中亚、大洋洲未纳入;六区域本身是知识库深度不均的 locale 聚合,是操作性聚合而非单一文化主张。
- 英文单语(Limitations):所有提示词为英文,而真实部署收到的是各语言的文化特定提示词;面向英文表面线索调优的过滤器可依据的线索相应更少。
- 母语者参与规模(Limitations):每区域的危害向量由两名独立学生研究者验证、至少一名母语者;生成提示词再经团队筛查与外部招募的文化内参与者复核。
- 主张范围(Limitations / Scope of claims):评审是按固定模板打分的 persona 条件化 LLM;作者称正向判定锚定于人工判断(每条文化特定提示词经该设定母语者确认),但 persona 模拟只是文化视角的不完美代理。
- 立场(Ethical Considerations, Positionality):作者学科立场是 NLP 与机器学习安全而非区域研究;"文献记录的危害"依赖英文与学术渠道可见的来源,harmful 与 contested 的界线在 POL、REL 轴上最脆弱;因区域是 locale 聚合,无验证者对其核查的聚合内全部 locale 都在文化内,作者承诺为准入评审委员会增加各区域的文化内评审者。
- 民间圣徒条目(附录 P.4):南美民间/毒枭圣徒图像置于犯罪相关轴的编码被作者标记为暂定,排队做宗教学来源的重新溯源与可能的重新分类。
实验覆盖范围
- 被评审核器为 Llama-Guard-4-12B(文本)与 SD NSFW SafetyChecker(图像);生成管线过滤器覆盖 SD v1.5、SDXL 0.9、SD3.5-LT、SD3.5-M、FLUX.1-dev 五个。
- 主评分矩阵为 13,357 条提示词 × 7 视角 = 93,499 条判定;骨干稳健性仅在 East Asia 切片(n=1,690)上换 8 个 backbone;知识交换对照仅在 East Asia 臂;组件消融仅用 40 条 South Asia 向量(132 条成功渲染)。
- 渲染实验用 SD v1.4(主矩阵)与 SDXL 1.0(组件消融),每条提示词只渲染一张图。
- 人工验证:26 名文化内参与者覆盖六区域,逐条确认全部人选文化特定提示词(附录 Q);向量标注一致性 Cohen's κ = 0.73。
- 论文未报告文化内参与者的逐条确认一致率,也未报告对自适应攻击(针对本基准专门优化绕过)的评测。
总结一下论文的主要内容
CuRSE-Bench 用双来源危害向量构建文化特定 T2I 提示词,作者称文化盲评审与部署过滤器均存在轴局部化的盲区。
一篇 T2I 安全评测基准论文:作者认为单一文化盲危害标签会让只在特定文化内有潜在危害的内容通过审核,并构建工具衡量这一盲区。
- 问题:部署中的 T2I 安全过滤器按市场无关的单一标签筛查;符号、手势或习俗在通用 rubric 下平常,在某一文化语境中却可能有害。
- 方法:CultureCraft 从至少两个独立文献来源记录的危害向量出发(2,421 条向量,双人验证 κ=0.73),经起草—验证回路把通用有害种子改写为文化特定的日常场景提示词;CuRSE-Bench 含 10,709 条文化特定提示词与 2,648 条对照,覆盖六区域十轴,逐条可溯源。
- 核心结果:六个区域 persona 评审与文化盲评审在同一任务下评分,文化特定臂均分 7.74 vs 6.92(gap +0.82,n=10,709),对照臂 −0.02;作者称差距集中在 POL、HAT、REL 轴,且簇级统计(dz=0.672)下无单元格显著为负。
- 部署层:文化特定臂平均 96.3% 绕过五个生成管线的自带文本+图像过滤器(对比的越狱攻击为 0.6–55.2%);Llama-Guard-4 对纯符号承载的 REL 轴仅拦截 37.1%;SD NSFW checker 对渲染图绕过率 99.2%。
- 机理证据:知识交换对照中注入错误区域知识块的得分(7.16)低于无知识块(7.45),作者称差距跟随文化知识而非评分框架;每个区域 persona 都给本区域条目打最高分。
- 作者结论:单一文化盲判定报告的不是图像承载的危害,而是一个视角的读法;作者同时声明基准不建立普适文化真理,数据以门控方式发布、扣留解码理由字段。