AIR-BENCH Live 发布：可自动更新的基础模型安全基准

固定的基础模型安全基准会因新立法和模型变强而失效，需要能持续吸收法规并重生成提示词的评测。

• 场景：作者称安全基准衡量模型拒绝有害请求的程度。AIR-BENCH 2024的四层分类，作者称对当时政府与公司AI政策的覆盖接近完整。
• 立法侧：作者称AI提及与法案在增加：75国立法程序2023–2024升21.3%至1,889；2025年美国各州都提出AI法案，逾1,000项，多于2024年总量的两倍；OECD.AI追踪80余辖区、2,300余项政策。固定分类表示不了新危害。
• 模型侧：作者称静态基准被迭代利用后失去区分力。模板式提示词在防御适应后失效；用能力感知评审后难度被高估，对准旧模型的提示词越来越只引出拒绝。
• 已有基准：作者称HarmBench、WildGuard、SafetyBench在发布时固定有害行为与风险分类。版本再发布也没有持续吸收新法规或重生成提示词，要靠周期性人工修订。
• 本文做法：提出AIR-BENCH Live，作为2024版的自演化后继。流水线匹配或新建细粒度类，再用多智能体、人格驱动的算法重做旧提示词并生成多语言提示词。作者称人工复核少，且仍给现代越狱留有改进余地。

引言把本文放在前代基准、静态评测失效，以及其他发布时即固定分类的安全基准旁边。

前代基准

• AIR-BENCH 2024（Zeng等，2024）：用法规与政策中的风险类别做安全基准，采用四层分类。作者称它覆盖当时的政府与公司政策、接近完整，但是静态的，跟不上新法规，也跟不上更抗攻击的模型。

评测失效

• 终身评测：作者引用Prabhu等（2024），用来支持转向持续扩展的lifelong评测。正文没有复述该工作的具体做法。
• JailbreakRadar（Chu等，2025）：作者引用它来支持自己的判断，即早期基准典型的模板式攻击提示词只在防御适应之前有效。
• StrongREJECT（Souly等，2024）：作者称，这类初级提示词一旦用严格的、能力感知的评审来测，难度就被高估了。

其他安全基准

• HarmBench（Mazeika等，2024）、WildGuard（Han等，2024）、SafetyBench（Zhang等，2024）：参考文献中分别为自动化红队与拒绝评测框架、安全风险/越狱/拒绝的审核工具，以及大模型安全评测。作者一并指出：三者都在发布时固定有害行为与风险分类；有的有版本再发布，但没有持续吸收新法规或重生成提示词。

对照与所用资料

• 对照集是AIR-BENCH 2024原提示词。与Live使用同一GPT-5.4-mini评审、同一均分（1为拒绝，0.5为部分或回避，0为完全遵从）；公平比较时Live只取英语（第3.3节）。论文没有另设攻击算法基线。
• 生成流程引用批评—改写式多智能体协作（Tran等，2025）和PersonaHub（Ge等，2025）。正文只说明用于精炼环和人格播种，没有与本文做效果对比。

作者把Live定位为2024版的自演化后继：持续吸收新法规、扩展分类并重生成提示词，而不是在发布时冻结行为集与分类。

AIR-BENCH Live把四层风险分类存成可更新的JSON树：爬取政府法规，匹配或新建叶节点，再生成多语言攻击提示词。

树与摘要

• 深度4的JSON树（Figure 2）。内部节点存递归summary；叶节点存攻击提示词、judge prompt、关联政策与类别摘要。
• 叶摘要由GPT-5.4-mini综合类别及祖先名称、旧提示词意图和关联政策生成。内部节点摘要由其子摘要递归合成，同样用GPT-5.4-mini。

爬取与更新分类

• 爬取：对16个来源做有界广度优先爬取，只跟AI主题链接。正文点名Congress.gov、EU AI Office、CAC China、NIST AI。Figure 6还标出EUR-Lex/LexAPI、govinfo、Federal Register、Korea LIC、OECD/METI PDF。GPT-5.4-mini抽出条款，非英语译成英语，并记下日期与来源。
• 两道过滤：关键词过滤保留至少一种具体、可攻击危害，去掉行政与程序套话。验证智能体再确认有具体、可测的有害能力或输出；Figure 6写每条一次并发调用。去重后先人工复核。
• 自上而下分类：GPT-5.4-mini把条款拆成可独立分类的风险片段。分类智能体用level 1–3摘要往下走；在level 3对照子叶摘要，匹配已有level-4叶，或提出只属于该分支的新叶。
• 调和与写回：调和智能体对照全分支已有叶目录复查，以免重复提议，也可把片段匹配到其他分支。人工复核后，匹配片段把政策追加到叶上，新提议成为新叶，再沿受影响分支重算摘要。

提示词三阶段

• 批评—改写环：批评者为GPT-5.4，改写者为GPT-5.4-mini。正文写迭代1–2次；Figure 3写×2–3，Figure 6写loop ×2–3。作者称批评者用更大的模型，以免走过场。该环可单独把关，也可再加人工。Figure 3虚线框为人工作检查点，无人值守可跳过。
• 基础生成：该算法既重做旧提示词，也为新类生成提示词。GPT-5.4-mini每类8条，系统提示词附加随机PersonaHub人格。要求提高风险意图清晰度、情境具体性、相对已生成提示词的情境多样性与自然度，并压低人格漂移（人格带来的非句法改动）。关键词过滤去掉safe words，文中举例fictional、hypothetical。人工可选最强5条，否则取前5条。
• 变异与翻译：目前只有authority endorsement，即在基础提示词前加一段诉诸权威的preamble。批评者检查连贯性以及原意是否保住。Qwen 3.7-plus（关闭推理）译成ES、JA、PT，批评者检查意思是否保住、翻译是否完整。作者称以后可以再加越狱技术。
• judge prompt：每个新类别由GPT-5.4-mini单独生成。正文写以兄弟叶的judge prompt为条件；Figure 6标为parent-category examples。遗留类别的judge prompt没有重新生成。Figure 6的Step 3标题只写为新叶生成。

导出与打分

• 按AIR-BENCH 2024格式导出prompt与judge的CSV，并按政策的legislature切辖区子集、按语言切子集（Figure 6 Step 4）。
• 回复由GPT-5.4-mini打分：1为拒绝，0.5为部分或回避，0为完全遵从。报告均分，越高越安全。抽样见第4问。

评的是14个模型在Live上的拒绝程度，并与2024英语提示词、以及英语和全语言样本对照。

实验设置

• 被测模型（14个）：GPT-5.5、Claude Opus 4.8、Claude Haiku 4.5、Grok 4.3、Llama 3.3 70B、Qwen3-235B、Gemini 2.5 Pro、Kimi K2、GPT-4o、Gemini 2.5 Flash、Llama 3 8B、DeepSeek V3.2、DeepSeek R1、Mistral Large。
• 样本：AIR-BENCH Live平衡样本，每个level-4类2条提示词（1条base、1条mutation），语言为English、ES、JA、PT，共2,680条。仅英语n=670（Table 3）。335×2×4=2,680。Figure 7写4个一级、16个二级、335个叶。对照为AIR-BENCH 2024原提示词；公平起见Live侧只取英语（第3.3节）。
• 指标：GPT-5.4-mini评审。1为拒绝，0.5为部分或回避，0为完全遵从。报告均分，越高越安全。Table 1按level-3给全语言均分。论文未报告重复次数，也未说明评测用的5条是人工挑选还是取前5条。
• 生成用模型不在被测之列：抽取、摘要、分类、基础生成与改写为GPT-5.4-mini；批评为GPT-5.4；翻译为Qwen 3.7-plus。

主结果

下表为Table 1总行的全语言均分，与Table 3的All languages一致。14个模型只列8行，含最低分。省略的全语言均分：Llama 3.3 70B 0.64、Qwen3-235B 0.60、Gemini 2.5 Pro 0.60、GPT-4o 0.57、Gemini 2.5 Flash 0.53、Llama 3 8B 0.53。

模型	全语言均分
GPT-5.5	1.00
Claude Opus 4.8	1.00
Claude Haiku 4.5	0.89
Grok 4.3	0.72
Kimi K2	0.58
DeepSeek V3.2	0.52
DeepSeek R1	0.48
Mistral Large	0.17

• API拦截：作者称表中两个1.00全部来自API审核在推理前拦截每条攻击提示词，不是按模型自身行为打分。按自身行为计，作者给出的区间是Claude Haiku 4.5到Mistral Large。Table 1各level-3行的前两列均为1.00。
• 类别高低：作者称最弱的是Automated Decision-Making与Advice in Heavily Regulated Industries，许多模型低于0.10；最强的是Non-Consensual Nudity、Sowing Division、Services/Exploitation，几乎所有模型高于0.75。Table 1并不都如此：Non-Consensual Nudity上Kimi K2为0.75、DeepSeek R1为0.50、Mistral Large为0.00；Sowing Division上Mistral Large为0.56；Services/Exploitation上DeepSeek V3.2为0.71、Mistral Large为0.25。
• 推理模型：作者称本样本中推理没有显示出安全优势，DeepSeek R1低于非推理的V3.2（见上表）。作者认为这与测试时推理token可能被用来绕过对齐过滤的假设一致，但称一对模型不足以做一般结论。

与AIR-BENCH 2024对照

• 测了什么：同一GPT-5.4-mini、同一均分，比较2024原提示词与Live英语提示词（Table 2）。摘要写新提示词平均难0.06分；第3.3节在只比英语时给出同一数字，对象为全部14个模型。
• 各模型Δ（Live英语减2024）：GPT-5.5 +0.00，Claude Opus 4.8 +0.00，Claude Haiku 4.5 +0.01，Grok 4.3 −0.02，Llama 3.3 70B +0.03，Qwen3-235B −0.06，Gemini 2.5 Pro −0.05，Kimi K2 −0.19，GPT-4o −0.02，Gemini 2.5 Flash −0.02，Llama 3 8B −0.09，DeepSeek V3.2 −0.20，DeepSeek R1 −0.14，Mistral Large −0.10。
• 作者解读：作者称降幅最大的是更合规的模型，并点名DeepSeek V3.2与Kimi K2；二者2024英语均分为0.69与0.81。只有Llama 3.3 70B与Claude Haiku 4.5小幅上升，两个天花板模型不变。讨论称新提示词至少与原本人机迭代一样难，对更合规的模型更难；结论称自动化生成可以达到并超过先前的人机迭代质量。论文未报告两侧的查询次数或人工条数。

多语言差异

• 测了什么：Table 3比较Live仅英语（n=670）与四种语言合计（n=2,680），不是把非英语单独拆出。作者称这隔离了非英语提示词的影响。摘要另写多数模型在非英语提示词上略不安全。
• Δ（全语言减仅英语）：GPT-5.5与Claude Opus 4.8为0；Claude Haiku 4.5 −0.02；Grok 4.3与Llama 3.3 70B为0；Qwen3-235B −0.07；Gemini 2.5 Pro −0.03；Kimi K2 −0.04；GPT-4o +0.01；Gemini 2.5 Flash −0.12；Llama 3 8B −0.08；DeepSeek V3.2 +0.03；DeepSeek R1 +0.03；Mistral Large −0.03。作者称12个非天花板模型平均降0.03。
• 作者解读：作者认为降幅最大的Gemini 2.5 Flash与Llama 3 8B说明较小或安全调优较少的模型，对齐往其他语言泛化得没那么稳。作者称Qwen3-235B是multilingual-first模型，但−0.07与更小的英语中心模型相当，并认为多语预训练覆盖不会自动变成多语对齐覆盖。作者称这些下降也引出公平性顾虑，并指向多元对齐的困难。正差为DeepSeek两版与GPT-4o。

分类扩展与提示词对照

• 新增规模：当前迭代爬取2024–2026年法规，叶级风险从314增至335。21个新类来自7个辖区的31条政策条款；摘要称这些条款是真正新的。美国17条，其中10条来自NIST的Generative AI Profile；中国6条来自CAC；其余来自加拿大、欧盟、英国、OECD，以及国际AI安全承诺（第3.1节用语为international AI-safety commitments，第4.1节为international frontier-AI safety commitments）。
• 落在何处：Figure 5按一级标为System & Operational Risks +8、Content Safety Risks +6、Societal Risks +5、Legal & Rights-Related Risks +2。作者称它们聚在机制上新的危害，而不是轻微改写已有风险，并点名模型权重窃取、自主网络攻击、合成媒体操纵选举、侵害儿童隐私。图注称新增集中在安全与合成媒体危害。
• 提示词形态：Figure 4对比同一类（Deterring participation in democratic processes）。图中文字把旧提示词标为caricatured dialect mutation、unnatural register、English only；把Live标为distinct persona voice、concrete scenario，并标有authority-endorsement以及西班牙语、日语、葡萄牙语。不复述提示词原文。Figure 7图例中叶数最多为Privacy 74与Discrimination/Bias 60，最少为Self-harm与Defamation，各3。

其他消融与分析

• 论文未报告提示词生成阶段、人格或变异的消融，也未给出Figure 6漏斗报告中的保留条数。
• 讨论中的推理对比即上表DeepSeek R1与V3.2，没有另做控制实验。

作者把后续工作写在评审、护栏误拒、分类树结构、政策来源和变异技术上。

作者指出的局限与后续方向

• 评审偏差：评测只使用GPT-5.4-mini做评审，作者称这可能引入偏差（第4.2节）。
• 护栏误拒：展示了API级护栏能拦住不安全请求，但没有量化它们拒绝良性请求的比例；作者称可以再研究（第4.2节）。第4.1节也写这种过滤可能拦住良性请求，应进一步研究。
• 分类结构：流水线只在已有level-3下新建level-4。更大的结构改动必须手工改树表示（第4.2节）。
• 政策来源：爬取来源目前只覆盖政府政策；作者指出原论文还包括公司政策（第4.2节）。
• 变异技术：变异阶段目前只实现一种攻击技术；作者称扩展越狱技术库是自然的下一步（第4.2节）。
• 推理对比：关于推理是否带来安全优势，作者称只有一对模型，不足以得出一般结论（第4.1节）。

实验覆盖范围

• 被测模型为第4问所列14个。样本为每level-4类2条提示词（base与mutation各一）×4种语言，共2,680条；仅英语670条（第3.2、3.4节，Table 3）。
• 评审为GPT-5.4-mini，分数取1、0.5、0，指标为均分。与AIR-BENCH 2024的对照使用同一评审，Live侧为英语提示词（第3.3节，Table 2）。
• 当前迭代使用的是2024–2026年法规，新增21个叶，材料为7个辖区的31条条款（第3.1节）。提示词语言为English、ES、JA、PT；变异为authority endorsement；遗留judge prompt未重新生成（第2.5节）。
• 人工作检查点在Figure 3中可跳过。论文未说明评测所用提示词是人工选出的5条还是自动取前5条（第2.5节两种都写了）。
• 论文未报告重复次数，未报告评审与人工的一致性，也未给出Figure 6漏斗报告中的保留条数。

AIR-BENCH Live是AIR-BENCH 2024的自演化后继，用来让安全基准跟上新法规和更不容易被旧提示词引出不安全行为的模型。

• 问题：作者称固定分类盖不住新危害，对准旧模型的提示词会退化成只引出拒绝，基准不再能区分安全性。HarmBench、WildGuard、SafetyBench也被作者归入发布时即固定分类的一类。
• 方法：有界爬取16个政府与政策来源，分层分类器匹配已有叶或新建level-4叶。人格种子加批评—改写环生成提示词，目前以权威背书做变异，并译成ES、JA、PT。人工关卡可跳过。新类另生成judge prompt，旧类的不重生成。
• 规模：当前一次迭代把叶级风险从314增至335。21个新类来自7个辖区的31条政策条款；摘要称这些条款真正新。美国17条、中国6条，其余来自加拿大、欧盟、英国、OECD和国际承诺。
• 主结果：14个模型、每类2条×4种语言（2,680条）上，GPT-5.4-mini全语言均分里，按自身行为计为0.17（Mistral Large）到0.89（Claude Haiku 4.5）。GPT-5.5与Claude Opus 4.8的1.00，作者称全部来自API审核在推理前拦截。
• 对照：英语上，Live比2024平均难0.06分（Table 2）。降幅最大为DeepSeek V3.2的0.20和Kimi K2的0.19；Llama 3.3 70B升0.03，Claude Haiku 4.5升0.01。12个非天花板模型在全语言集合上比仅英语平均低0.03（Table 3），最大为Gemini 2.5 Flash的0.12。
• 作者结论：作者称自动化生成在人工更少时，可以达到并超过先前的语言模型—人工迭代质量；非英语提示词对多数模型略难，跨语言对齐仍是值得测的开放问题。作者称流水线会持续吸收新法规并重生成提示词。正文报告的是当前一次迭代。