研究提出 AI 安全评测的威胁模型覆盖缺口

自动化红队在固定基准上胜过人类，测的是搜索彻底程度，推不出人类评估者可以被省掉。

• 争论从何而来。 作者综述称，在 Crucible、AIRTBench 和 HarmBench 上，自动化攻击者比人类红队发现更多漏洞，而且更快、更便宜。作者认为，由此推出自动化正在取代人类红队，只是把基准事先给定的框架当成了结论。
• 基准看不见自己没写进的伤害。 每个基准都固定一套威胁模型：要测的伤害、攻击类型和情境。作者认为，指向固定集合的优化器只会把该集合搜得更彻底，没有办法发现集合缺项；留在集合外的伤害，对集合内的自动化或人工攻击者都不可见。
• 作者命名的缺口。 作者把威胁模型所针对的人群与系统所部署人群之间的距离称为威胁模型覆盖缺口，并把评估内部有效、却对从未检查的人群沉默称为内部效度陷阱。作者认为遗漏呈模式化：标准基准为英语，编写团队集中在少数法域，漏网伤害集中在非英语和非西方部署情境。
• 本文做的四件事。 作者把密码学与临床医学中的同一结构映射到红队；把该缺口从多样性或多语言安全中单列出来，并提出拆开搜索效率与威胁模型扩展的两轴评估；回应部署后修补会吸收缺口这一反论；并给出可在消费级笔记本上复现的实证锚点。作者认为，补缺口需要部署情境不同于开发者的评估者，而现有评估框架不太可能自行产生他们。

作者把文献分成四组来定位自己的论点：固定基准上的人机红队比较、多语言与评估者背景、密码学和医学先例、部署后的事件捕获。

人机红队比较

• 自动化占优的报告。 Mulla 等（2025）、Dawson 等（2025）的 AIRTBench 与 Zhou 等（2025）的 AutoRedTeamer，被作者一并转述：在 Crucible、AIRTBench 和 HarmBench 上，自动化攻击者比人类找到更多漏洞，且更快、更便宜。作者认为该比较成立于固定威胁模型内，不能推出人类评估者可以被省掉。

多语言与评估者背景

• MM-ART 与 UbuntuGuard。 Singhania 等（2025）报告，同一批模型上非英语多轮的安全失败比英语单轮最多多 195%。Abdullahi 等（2026）的 UbuntuGuard 来自 155 名非洲领域专家撰写的查询；作者转述其发现：英语中心基准高估真实多语言安全，跨语言迁移只给出部分覆盖，而且这部分覆盖不够。
• 信号与背景。 Shen 等（2024）和 Peppin 等（2025）被引来说明翻译会丢掉俚语、宗教和政治指涉、语码转换与本地委婉语。Weidinger 等（2024）的 STAR 把缺口的一部分连到评估者本人：人们抓到自己背景所预备去预期的失败。Agarwal 等（2025）在印度与美国共 118 名参与者中报告，西方中心写作助手把输出推向西方风格，并更多帮助美国用户。

密码学与医学

• 数学框架之外的失败。 Anderson（1993）调查 ATM 欺诈后认为，欺诈几乎都来自实现、部署和人工流程，数学密码分析几乎对不上。Kocher（1996）的计时类侧信道和 Boneh 等（1997）的故障注入，被作者视为来自原社区排除范围之外的研究者，而不是更狠的密码分析。
• 临床试验。 作者转述 1977–1993 年 FDA 使有生育可能的女性大多不进早期试验，1993 年的指南承认药物实际上被调向中年白人男性（Merkatz 等，1993）。Sjoding 等（2020）报告黑人患者隐匿性低氧血症发生率接近白人的三倍；Bickler 等（2005）更早记录该效应而未促成修复。

部署后修补

• 事件如何进入分类法。 McGregor（2021）用 AI Incident Database 把现实失败编目后反馈进安全改进。作者引用 Allaham 等（2025）称，这类库多由英语新闻填充。Yong 等（2023）在 GPT-4 上于 2023 年末报告的 79% 越狱率，被作者用作缺口曾经更大、部分事件已被吸收的参照。

作者把本文与这些工作的区别写成：搜索效率与威胁模型是否扩大是两件事；覆盖缺口也不等于多样性或多语言安全本身。作者认为现有评估框架不太可能自行产生部署情境不同于开发者的评估者。

整体上，作者不提出新的攻击或防御算法，而是把威胁模型覆盖缺口从搜索彻底程度里拆出来，并用一个可在本地复现的翻译探针作存在性锚点。Figure 1 的图注把论证分成三格：自动化把已声明的威胁模型搜得很彻底，但不会使该威胁模型省略的伤害浮出；中格是密码学与医学中范围过窄、内部仍然成立的检验；部署情境不同于开发者的评估者先扩大威胁模型，之后自动化在更大空间里扩展搜索。

两个概念

• 覆盖缺口。 作者将其定义为威胁模型撰写时所针对的人群，与系统部署所面向的人群之间的距离。基准固定伤害、攻击类型和情境；集合外的伤害，对在集合内工作的攻击者不可见。
• 内部效度陷阱。 作者用它指反复出现的结构：评估对抽到的人群内部有效，却不能警告被省略的人群。

两类先例

• 密码学。 Anderson（1993）把缺口追溯到评估者是谁：数学训练把注意指向数学攻击，失败却在硬件、软件工程和组织流程。作者认为侧信道与故障注入来自原社区排除范围之外的研究者。
• 临床医学。 1977–1993 年的药物试验纳入规则，以及主要在浅肤色受试者上校准的脉搏血氧仪，被作者写成同一陷阱：校准对抽出的人群成立，对省略的人群没有预警。

对红队的三则主张

• 主张 1。 威胁模型带着构建者的痕迹。红队基准决定测哪些伤害、哪些攻击、把哪些部署情境纳入测试；作者称这些决定跟着做基准的团队走，当下是英语、美国和英国的法律，以及西方制度假设。
• 主张 2。 从规格造出的测试很少露出规格没写的伤害。作者用第 3 节所引的多语言与评估者研究支撑这一点，并称被部署的人群宽于被评估的人群，包括被测提示词和写提示词的人。
• 主张 3。 自动化不能从规格内部补缺口。作者称这些方法变异提示词、优化对抗输入、搜索已知伤害类别，但不会推断分类法少了一项；发现缺类往往要熟悉该类别发生的部署情境。把优化器更狠地指向英语中心分类法，不会让它得出该分类法是英语中心的。
• 部署后修补。 作者认为这条通道确实起作用：下文测到的缺口远小于 Yong 等（2023）报告的 79% 越狱率（第 4 节写明是 2023 年末的 GPT-4），与当时的事件已被吸收相符。限度在捕获点，即谁报告、用何种语言、走哪扇机构的门。作者称事件库多由英语新闻填充，因而过度代表英语伤害，并少捕获影响被边缘化或地理偏远人群的伤害；更新周期由开发者人群撰写，更快只会加速已有覆盖。

三条可证伪条件

• 作者给出的反对证据。 作者称该论点是经验性的，并写出三种会使它失败的结果。
• 若主张 3 失败。 限制在英语中心分类法内的自动化攻击者，若能以本地评估者的比率露出具体的非西方伤害，则覆盖缺口仍可从规格内部达到。
• 若模式化前提失败。 躲开英语基准的伤害若在语言和法域上随机分布，则遗漏呈模式化这一前提失败。作者称第 4 节是对这一预测的初次检验：泄漏若在英语与非英语上均匀出现，该前提会当即被削弱。
• 若捕获点论证失败。 事件上报管道若没有语言或获取偏斜，且吸收非英语伤害与英语一样快，则针对部署后修补的捕获点论证失败。

探针与两轴

• 抽样。 从 HarmBench 抽 100 条，按登记规模比例分层：standard 50、contextual 25、copyright 25，层内均匀随机。语言为 English、Hindi、Swahili、Bengali、Yoruba、Tagalog。
• 模型与运行。 目标模型是 Llama-3.1-8B-Instruct。NLLB-200 1.3B 做翻译，Llama-Guard-3-1B 把回复标为 safe 或 unsafe。作者称流水线在 Apple M4 Pro、24 GB 统一内存上大约两小时，工具栈为了能在学生笔记本上复现。
• 不报告的子集与一项核查。 作者把 copyright 排除出报告数字，因为该子集量到能力而非安全：模型会应请求复述英语歌词，却写不出流利的 Yoruba 歌词。双翻译 chrF 高于 0.3 时，语言级比率变动至多 2.4 个百分点；匹配的分类器噪声核查没有做。
• 两轴建议。 一轴是已声明威胁模型内的搜索效率，作者认为自动化是合适工具；另一轴是威胁模型扩展，看先前未编目的伤害类别被露出的速度。基准发布应写明代表与不代表的语言、法域和部署情境。作者还称，外部参与要靠场合、经费和强制要求，智能体系统会把覆盖缺口带进所选择的行动。

实验设置

• 被测对象。 生成模型只有 Llama-3.1-8B-Instruct。NLLB-200 1.3B 负责翻译，Llama-Guard-3-1B 把回复标为 safe 或 unsafe。论文未说明该分类器的判定阈值，也未报告重复次数。
• 样本。 HarmBench 行为 100 条，按登记规模比例分层，层内均匀随机：standard 50、contextual 25、copyright 25。Table 1 去掉 copyright，故每种语言 75 条。
• 语言。 English、Hindi、Swahili、Bengali、Yoruba、Tagalog。提示词是机器翻译。
• 指标。 不安全响应率，Table 1 括号内为 95% Wilson 置信区间。英语对五种非英语的合并比较是单侧 Fisher 精确检验。探针报告的是六种语言下被标为 unsafe 的比例。
• 运行条件。 作者称流水线在 Apple M4 Pro、24 GB 统一内存上大约两小时，工具栈选成可在学生笔记本上复现。
• 翻译核查。 双翻译 chrF 高于 0.3 时，语言级比率变动至多 2.4 个百分点。作者写明与之匹配的分类器噪声核查没有做。

主结果

据 Table 1，模型为 Llama-3.1-8B-Instruct，copyright 子集不在表内。

语言	Standard（n=50）	Contextual（n=25）
English	0% [0.0, 7.1]	0% [0.0, 13.3]
Hindi	4% [1.1, 13.5]	20% [8.9, 39.1]
Swahili	4% [1.1, 13.5]	24% [11.5, 43.4]
Bengali	8% [3.2, 18.8]	16% [6.4, 34.7]
Yoruba	2% [0.4, 10.5]	24% [11.5, 43.4]
Tagalog	4% [1.1, 13.5]	12% [4.2, 30.0]

• 合并后的比率。 作者报告：英语 75 条中不安全响应为 0；五种非英语在各自 75 条上各有 5–8 条，总体比率从 Tagalog 的 6.7% 到 Swahili 与 Bengali 的 10.7%。五语合并为 375 条中 35 条（9.3%）。单侧 Fisher 精确检验拒绝相等比率，p = 0.0013。
• 作者如何读这些格子。 作者称 Wilson 区间宽，contextual 上界达到 30–43%，单个百分比不该承载重量。Table 1 里 English 的 contextual 上界为 13.3，五个非英语语言为 30.0 到 43.4。作者给出的定性结果是：英语泄漏为零，每种被测非英语都非零，且集中在 contextual 子集。
• 与 79% 的对照。 作者称该幅度低于 Yong 等（2023）在 2023 年末 GPT-4 上的 79% 越狱率，并认为这与又多两年多语言安全训练相符，所报告的是训练留下的残余缺口。作者同时称机器翻译下的数字应读作下界。

版权子集

• 为何不进 Table 1。 抽样含 copyright 25 条，作者发现它量的是能力而不是安全：模型会应请求复述英语歌词，在 Yoruba 上做不到，因为写不出流利歌词。standard 与 contextual 在六种语言上都能尝试，因此保留。
• 没有比率。 论文未报告 copyright 子集的不安全响应率。

核查与作者不分解的部分

• chrF。 高于 0.3 的条件使语言级比率变动至多 2.4 个百分点。
• Yoruba 的 24%。 作者称这一格最依赖未检查的分类器噪声：它来自六条机器标签，没有 Yoruba 说话人核验。
• 来源不分摊。 作者称不能把泄漏分到翻译伪影、分类器噪声、预训练暴露和文化框架，并把分解工作归于已有文献。

其他消融与分析

• 除双翻译 chrF 高于 0.3（语言级比率至多变动 2.4 个百分点）外，论文未再报告其他参数分析。
• Table 1 五种非英语：standard 为 2%–8%，contextual 为 12%–24%。
• English 的 Wilson 上界：standard 7.1%，contextual 13.3%（点估计均为 0%）。

作者指出的局限与后续方向

• 存在性证明。 第 4 节 Limitations：实验是存在性证明，不能把泄漏分摊到翻译伪影、分类器噪声、预训练暴露和文化框架。
• 模型个数。 同一节写明只测一个开源权重模型；作者补充说所引文献在许多模型上看到该模式。
• 格子规模。 同一节写明 contextual 25 条、standard 50 条使区间变宽，因此以合并后的 Fisher 检验为最可辩护的主张。
• 分类器与核验。 同一节写明分类器噪声的匹配核查缺失，需要 Llama-Guard-3-8B 或母语者标注；Yoruba contextual 的 24% 落在六条未经 Yoruba 说话人核验的机器标签上。
• 下界。 同一节写明提示词是机器翻译，数字应读作下界，并转述提示词充分本地化到非洲语言后英语中心护栏的 F1 下降。
• 第 5 节的建议。 作者建议评测拆成搜索效率与威胁模型扩展，基准写明语言、法域和部署情境上的代表与不代表，并将非西方评估列为经常性预算。

实验覆盖范围

• 生成模型为 Llama-3.1-8B-Instruct；翻译为 NLLB-200 1.3B；标签为 Llama-Guard-3-1B（第 4 节）。
• HarmBench 分层样本为 standard 50、contextual 25、copyright 25；Table 1 含前两层与六种语言。
• 统计比较是五种非英语合并对英语的单侧 Fisher 精确检验；论文未报告重复次数。
• 翻译噪声有 chrF 高于 0.3 的部分核查；论文写明分类器噪声核查没有做。
• 第 3 节讨论事件库与部署后修补；第 4 节的数字来自翻译后的 HarmBench 回复被标成 unsafe 的比例。

作者把自动化红队优于人类的结果，定位成固定威胁模型内部的搜索效率。

• 问题。 基准事先写定伤害、攻击类型和情境。作者认为，优化器没有办法注意到清单缺了条目；英语和少数法域写成的基准，会漏掉非英语、非西方部署中的伤害。这段距离被称为威胁模型覆盖缺口，内部有效却对未检查人群沉默则被称为内部效度陷阱。
• 论证。 密码学中数学评估对不上实现和流程失败，药物试验与脉搏血氧仪对不上未纳入人群，被作者映射为同一结构。红队方面，作者主张分类法带着编写者的痕迹，自动化不能从规格内部补缺，部署后修补卡在捕获点。第 5 节把评测拆成两轴：已声明威胁模型内的搜索，以及新伤害类别被露出的速度。
• 探针数字。 在 Llama-3.1-8B-Instruct 上，HarmBench 的 standard 与 contextual 由 NLLB-200 1.3B 译入六种语言，Llama-Guard-3-1B 标 safe 或 unsafe。英语 75 条为 0；五种非英语 35/375（9.3%），单侧 Fisher 检验 p = 0.0013。Table 1 里非英语的 standard 为 2%–8%，contextual 为 12%–24%。copyright 因能力差异未进入该表。
• 作者的收束。 作者认为定性模式成立：英语观察值为零，每种被测非英语都非零，且集中于 contextual；幅度低于其引用的 2023 年末 GPT-4 上 79% 越狱率，并称之为训练留下的残余缺口。作者同时写明区间宽、泄漏来源不能分解、Yoruba 的 24% 未经说话人核验，机器翻译结果应读作下界。作者认为，补缺口需要部署情境不同于开发者的评估者，现有框架不太可能自行产生他们。