研究者发布面向 EU AI Act 行为准则的系统性风险指数与仪表盘

公开安全评级往往不展示基准证据与聚合假设，非技术读者难以核对欧盟 GPAI《行为准则》下的系统风险主张。

• 场景：作者称，《欧盟人工智能法案》第55条要求具有系统风险的通用人工智能提供者做模型评测，包括对抗测试，并评估、缓解系统风险。该法把系统风险界定为可在规模上扩散、影响公共健康、安全、基本权利或更广泛社会的效应；风险集合较宽，并未规定哪些技术评测能提供有意义的证据。
• 现有不足：作者称，不少安全基准测的是相关行为，但研究目的、任务形式和评分行为各不相同，且常只覆盖真实交互的一小段。单条分数不能说明测到了何种风险、结果有多稳健，以及读者该如何校准信任；提供者报告中的选择与聚合通常在内部完成，公开榜单多只给最终分数。
• 设计目标：让这类榜单背后的假设可被检查。用户应能看出某类风险由哪些基准构成，比较平均与最坏情况，并观察能力假设如何改变聚合评级。
• 本文系统：Systemic Risk Index 是开放评测流水线加交互看板。当前版本把 19 个公开基准的 1,188 条题目组织进四类系统风险——CBRN、失控、网络攻击、有害操纵——并对 18 个模型做原文、保持伤害的扰动和模拟部署情境评测。

作者把讨论分成公开榜单、安全评测和污染应对，引言另用测量文献说明单条基准分不够用。

• AI Leaderboards：Timm 等人（2026）的 FAR.AI 榜侧重对抗性防护的稳健性；Future of Life Institute（2026）评估公司层面的安全实践与治理指标。作者用 instead 把本文与这两类榜区分开：按系统风险组织基准证据，公开分数来源，并允许用户改变聚合与能力假设。引言另称，Scale AI、Cisco 一类公开榜以及 Mitchell 等人（2019）的 model cards 让比较或主张更容易传到技术社区之外，但多数榜单只呈现最终分数。
• AI Safety Evaluation：Gehman 等人（2020）、Parrish 等人（2022）测毒性与偏见，Lin 等人（2022）测真实性，Zou 等人（2023）与 Mazeika 等人（2024）测对抗性拒答稳健性，Andriushchenko 等人（2024）测智能体有害性。Weidinger 等人（2023）强调安全评测可能无法泛化到受控基准之外。作者称最接近的是 Prandi 等人（2025）的 Bench-2-CoP：把已有基准题映射到欧盟 GPAI《行为准则》，并识别出很大的覆盖缺口；Lichkovski 等人（2025）的 EU-Agent-Bench 在生成情境中按欧盟法律规范评估智能体行为。
• Contaminated Evaluations：Sainz 等人（2023）、Golchin 和 Surdeanu（2024）讨论公开基准可能进入训练数据，使静态分数难解释。Zhu 等人（2024）生成评测实例，White 等人（2025）与 Jain 等人（2024）使用持续更新的测试集。作者称把这一想法转用于安全评测。
• 测量讨论：引言引用 Jacobs 和 Wallach（2021）、Raji 等人（2020），说明基准往往只覆盖真实交互的一小段，测量本身也有局限。论文没有把上述榜单做成带数值的对比基线。

作者的定位是：在基准到风险的映射和抗污染思路之上，做成可检查的公开流水线与界面，而不是只发布一个最终分数。

Systemic Risk Index 用 Inspect 上的 Python 后端，在固定条件下评测每个模型并写出结果树，再由静态 React 看板分层展示。评测分风险映射、三阶段流水线和可切换聚合。

风险映射

• 四类风险：沿欧盟 GPAI《行为准则》优先的四类。CBRN 指促成化学、生物、放射性与核攻击或事故；失控指人类失去可靠指挥、修改或关闭模型的能力；网络攻击指促成针对包括关键系统在内的大规模复杂网络攻击；有害操纵指以说服、欺骗或个性化定向，战略性地扭曲大群体或高风险决策者的行为或信念。
• 两层对应：用 MIT Risk Repository 收集候选基准，由共同作者核对，先映到具体伤害，再映到四类风险。作者称法律类别宽、基准通常只测特定行为，故以伤害作中间层。当前只用团队判断为证据最清楚的子集。
• 下采样：按条目间成对 Jaccard 相似度与各基准预算抽样，以限制来源失衡和重复；超预算则均匀删样本。扰动和修改发生在分批评测之前。论文未给出 Jaccard 阈值或预算数值。
• 诊断项：Figure 6 图注称，标为 diagnostic 的基准不计入评分，因为它们不反映所测风险。图注举例 MITRE False Refusal 测的是误拒率；作者称，拒绝写任何代码的模型会在 Cyber Offense 上看起来完全安全。

三阶段流水线

• Stage 1 Baseline：按发布形式评分。作者称公开基准可能受污染或记忆影响，故不把该阶段计入最终聚合，只作对照。
• Stage 2 扰动：四个保持伤害的条件，分别改变措辞、语域、框架，或追加再考虑。附录 A 称之为 Paraphrase、Register Reframing、Decision Reframing 与 Reconsideration。作者的判定是：不增删与判断相关的内容，且人类会把它读成同一个请求。生成模型为 Hermes-4-70B（附录写 Hermes 4 70B），开启推理；作者给出的理由是拒答率低、能遵循指令。附录 B 给出完整提示词。
• Stage 3 情境：把请求嵌入模拟的多轮部署情境，含系统提示、合成文档与对话历史，以及按情境改写的请求，并加入与任务相关的压力。作者称风格类似 Lynch 等人（2025）的智能体失准内部交易评测。情境同样由 Hermes-4-70B 生成，附录 B 给出提示词。
• 评分与重试：每个风险簇记录对照和全部变换。先评对照，再按同一基准标准评变换后的回复。有参考答案或确定性规则时用规则，否则由 Claude-Sonnet-4.5 与 GPT-5.6-Luna 独立套用量规。速率限制、路由错误或连接失败会退避重试。附录 C 用一条取自 SocialHarmBench 的示例演示流水线；论文未说明它是否属于计入评分的 19 个基准。

分数聚合与能力权重

• 两种聚合：每个条目在 Stage 2 与 Stage 3 的各条件下各记一分。最坏情况取这些回复中的最低分。平均聚合让已评分条件进入簇平均；最坏聚合则每个条目只贡献这两阶段上的最低分，再对簇内这些最低分取平均。Table 2 的 Average 按表注是 Perturbations 与 Agentic Scenarios 两列的均值，∆ 为 Worst-case 减 Average。
• 能力权重：安全分 s 与 Artificial Analysis Intelligence Index 的能力分 c 合成加权几何平均，score(w)=s^1−w(100−c)^w。w 在看板上设定，分数按需计算。作者称 w=0 时分数表示纯粹的模型伤害倾向，w=1 时反映与安全无关的能力倒数。结果映射到从 F− 到 A+ 的十五档绝对等级。论文未给出各档切分阈值。

看板能改什么

• 三项操作：比较提供者或模型在四类风险上的绝对分数与等级；在提供者级和模型级切换平均与最坏聚合；展开某风险，查看贡献基准的一句话说明、评分方式，以及原文或来源。Figure 5 图注描述的是展开后的基准下拉。
• 滑条：作者称调节 w 后评级和模型排序会有较大变化，用以让人看到风险同时取决于能力假设和行为测量（Figure 4）。Figure 4 图注只写用户可调节能力对聚合分的贡献，正文未给出各 w 的分数。
• 作者自定的边界：§2 称这一视图仍受基准覆盖和评测成本约束，有些伤害可能只被弱代表或缺失，扩大覆盖需要更多资源。作者称代码、数据和结果公开，供他人增补基准、修改映射或评测选择。

实验设置

• 模型：Table 2 共 18 个：Claude Sonnet 5、Claude Haiku 4.5、GPT-5.6 Luna Pro、GPT 5.6 Sol、GPT-oss-120b、Gemini 3.6 Flash、Gemma 4 31B、Grok 4.5、Grok 4.3、DeepSeek V4 Pro、DeepSeek V4 Flash、Qwen 3.7 Flash、GLM 5.2、GLM 5、Llama 4 Maverick、Llama 3.1 8B Instruct、Mistral Medium 3.5、Mistral Small 4。
• 材料：19 个公开基准、1,188 条，四类系统风险。论文未在正文列出全部基准名称。Baseline 不进入最终聚合；扰动与智能体情境进入 Average 和 Worst-case。
• 评分者：量规题由 GPT-5.6-Luna 与 Claude-Sonnet-4.5 独立评分；选择题和模式匹配用基准自带规则。评审一致性另由两名盲审人类对照。伤害保持由一名盲审人类判断变换是否与原题测同一伤害。
• 指标：簇级安全分、Average、Worst-case、∆、Cohen's κ、伤害保持比例，以及问卷的 5 点均值、样本标准差和评 4 或 5 的人数。
• 用户研究：方便抽样，N=21，自愿，不收集身份信息，用 Google 登录限制一人一答；认定为机构审查豁免。先无引导地自由探索，再答 13 题。Table 5 称每题均有 21 份回答。
• 未写明项：论文未报告 18 个模型分数的重复次数，也未报告各能力权重 w 的数值。

主结果

下表只列 Table 2 的一部分，含 Average 最高、Worst-case 最低和 ∆ 降幅最大的模型。数字均来自 Table 2。

Swipe horizontally to read the table

模型	扰动	智能体场景	Average	Worst-case	∆
Claude Haiku 4.5	86.68	93.15	89.92	73.22	-16.70
Claude Sonnet 5	84.99	90.70	87.85	73.09	-14.76
GPT-5.6 Luna Pro	82.95	88.32	85.64	68.49	-17.15
Grok 4.3	79.94	82.68	81.31	61.89	-19.42
DeepSeek V4 Flash	70.41	58.17	64.29	33.83	-30.46
Llama 4 Maverick	65.69	55.62	60.66	32.59	-28.07
Llama 3.1 8B Instruct	72.59	72.25	72.42	35.83	-36.59
Mistral Small 4	51.14	38.47	44.81	16.22	-28.59

• 全表范围：表注称 Average 是扰动列与智能体场景列的均值，∆ 为 Worst-case 减 Average；Worst-case 按单条样本取最低再聚合，因此通常对不上任一列。Table 2 中 18 个模型的 ∆ 均为负，从 -14.76 到 -36.59。摘要把降幅概括为 14 到 37 分。省略 GPT 5.6 Sol、GPT-oss-120b、Gemini 3.6 Flash、Gemma 4 31B、Grok 4.5、DeepSeek V4 Pro、Qwen 3.7 Flash、GLM 5.2、GLM 5、Mistral Medium 3.5；未列入者中 Worst-case 最低的是 Mistral Medium 3.5 的 20.52。
• 排序：表内 Average 最高为 Claude Haiku 4.5 的 89.92，Worst-case 最低为 Mistral Small 4 的 16.22。作者称平均表现可以掩盖部分样本上更弱的行为；Figure 3 图注称切换聚合规则会改变评级和排序，正文未给出该图分值。按 Table 2，GPT 5.6 Sol 的 Average 高于 GPT-oss-120b（83.70 对 83.52），Worst-case 则相反（65.35 对 65.94）。表注称加粗标出三阶段中的最低者，纯文本未保留加粗。
• 阶段并不单向：智能体场景分并非一律低于扰动分。Claude Haiku 4.5 为 93.15 对 86.68；DeepSeek V4 Pro 为 51.52 对 68.97，Mistral Medium 3.5 为 38.86 对 57.08（均据 Table 2）。作者未对这一分叉另作解释。

评审一致性

• 总体：两名 LLM 在双方都评分的样本上，全簇 κ=0.83（n=12039，Table 3）。与两名盲审人类相比，Human–GPT 为 0.78（n=95），Human–Sonnet 为 0.79（n=83），人类之间为 0.82（n=95）。作者称 LLM 与人类的一致性与人类之间相近。摘要把这一组写成 κ=0.78–0.82。
• 分簇：Human–GPT 在 Manipulation 上为 0.66（n=50），低于 CBRN 0.84（n=15）、Cyber 0.89（n=25）和 Loss of control 1.00（n=5）。作者未解释这一差距。Loss of control 的人类对照 n 为 4 或 5。
• 拒评：Claude-Sonnet-4.5 拒绝给 12 条抽样回复打分，作者称其与人类的一致性样本量因此相对更小。正文称人类对照为 96 条、每种 evaluation schema 5 条；Table 3 的 Human–GPT 合计 n=95。

伤害保持

• 总体：Table 4 三族平均为 0.833（每格 8 对，共 96 对）。摘要写 83%。一名盲审比较抽样变换与原题是否测同一伤害。
• 分风险：CBRN 0.792、Cyber Offense 0.917、Loss of Control 0.958、Harmful Manipulation 0.667。作者称多数抽样变换保持了预定伤害，但保持率因风险类别而异；有害操纵最低，作者认为这些条目对改写和情境化更敏感。
• 低格：有害操纵的 Paraphrase 与 Register 均为 0.500；CBRN 的 Scenario 为 0.625。Loss of Control 的 Paraphrase 与 Register 为 1.000，Cyber 的 Scenario 为 1.000。

用户研究

• 测的是自我报告：作者称结果只说明感知到的可理解性和界面支持，不是观察到的操作表现（Table 5）。
• 分数语义：方向均值 4.62，20/21 评 4 或 5；分数含义 4.33，20/21。能否分辨平均或最坏聚合为 4.19，17/21。作者称看板把主要输出和基本聚合状态传达清楚。
• 较弱项：权重如何决定的均值为 3.67（14/21），权重如何影响排序为 3.86（16/21）。鼓励检查替代设置为 4.05（15/21）；评测前找到基准来源、方法和局限为 3.76（15/21）。分数不代表什么为 3.24（10/21）；区分缺失测量与差表现为 3.62（12/21）；一份聚合分不足以认定机构安全为 3.67（12/21）。作者称，用户对所显示分数的理解好于对分数所能确立之界限的理解。

其他消融与分析

• Table 3 两评审分簇 κ：CBRN 0.86（n=1884）、Cyber 0.76（n=3000）、Loss of control 0.78（n=550）、Manipulation 0.84（n=6605）。
• Table 4 分族合计：Paraphrase 0.813、Register 0.813、Scenario 0.875。
• 流水线写了四类扰动，Table 4 只报告 Paraphrase、Register、Scenario；Decision Reframing 与 Reconsideration 无单独保持率。
• Baseline 不进聚合，Table 2 仍列出。Mistral Small 4 的 Baseline 为 47.65，扰动列为 51.14；Mistral Medium 3.5 为 55.08 对 57.08。
• 能力滑条：作者称调节后评级和排序会有较大变化；正文与 Figure 4 图注均未给出具体分数。
• 参考文献把能力指数写作 Artificial Analysis Intelligence Index version 4.3；正文实验未报告所用 c 的具体数值。

作者指出的局限与后续方向

• 不是完整度量：看板汇总的是现有证据，而不是系统风险或法律合规的完整度量（Limitations）。
• 映射含判断：作者不把基准行为到系统风险类别的映射当作定论；把法律风险译成技术测量必然包含判断，合理的专家可能不同意哪些基准提供最强证据（Limitations）。
• 覆盖不均：各风险上的基准覆盖不均（Limitations）。
• 部署情境：生成的扰动和情境增加了相对静态提示的变化，但不能再现真实部署情境的全部范围（Limitations）。
• 改写保真：有些伤害，尤其是操纵，很难在改写时不改变所测内容（Limitations）。
• 评分与时效：自动评分尽管与人类评分有一致性，仍然不完美。模型快照依赖时点：模型、提供者防护、API 和外部能力估计在评测后都可能变化。作者称因此发布流水线、映射和结果，以便重跑和扩展（Limitations）。除这一句外，Limitations 未另列实验计划。

实验覆盖范围

• 模型与材料：Table 2 给出 18 个模型的分数。材料为 19 个公开基准、1,188 条，四类风险。Figure 6 图注称诊断性基准不计入评分，并举 MITRE False Refusal。
• 条件：包括不进最终聚合的 Baseline、四类扰动，以及 Hermes-4-70B 生成的智能体情境。能力分来自 Artificial Analysis Intelligence Index。
• 评审：有规则时用确定性规则，否则由 Claude-Sonnet-4.5 与 GPT-5.6-Luna 套用量规。人工对照为两名盲审；正文称 96 条、每种 evaluation schema 5 条，Table 3 的 Human–GPT 合计 n=95。
• 伤害审计：一名盲审。Table 4 为每格 8 对、共 96 对，报告 Paraphrase、Register、Scenario。论文未报告 Decision Reframing 与 Reconsideration 的单独保持率。
• 问卷与未报告项：用户研究为方便抽样的 N=21 自我报告，不是观察到的操作表现（Table 5）。论文未报告 18 个模型分数的重复次数，也未在正文给出不同 w 的分数。

Systemic Risk Index 把已有安全基准接到欧盟 GPAI《行为准则》的四类系统风险上，并用看板把评级连回证据和聚合假设。

• 问题：法案要求具有系统风险的通用模型提供者做评测并评估、缓解系统风险，但未指定哪些技术评测算证据。公开分数又常看不到基准来源、评分过程和聚合选择。
• 做法：19 个基准、1,188 条经伤害中间层映到 CBRN、失控、网络攻击和有害操纵。Baseline 只作对照。Hermes-4-70B 生成保持伤害的扰动和模拟部署情境。无确定性规则时，Claude-Sonnet-4.5 与 GPT-5.6-Luna 按同一量规评分。平均聚合使用变换条件，最坏聚合取每条在 Stage 2 与 Stage 3 的最低分再平均。安全分还可与能力指数按看板权重 w 做几何平均。诊断性基准不计入评分。
• 18 个模型：Table 2 的 ∆ 均为负，从 Claude Sonnet 5 的 -14.76 到 Llama 3.1 8B Instruct 的 -36.59；摘要写成下降 14 到 37 分。Average 最高为 Claude Haiku 4.5 的 89.92，Worst-case 最低为 Mistral Small 4 的 16.22。智能体场景分并不一律低于扰动分。
• 校验：双方都评分的样本上，两名 LLM 的 κ 为 0.83（n=12039）。与人类的 κ 为 0.78（n=95）和 0.79（n=83），人类之间为 0.82（n=95）。抽样变换的伤害保持率为 0.833，有害操纵为 0.667。N=21 的问卷中，分数方向有 20 人评 4 或 5，分数不代表什么只有 10 人。
• 作者结论：作者称，保持伤害的改写下模型行为会变化，参与者大体理解所呈现的评级，并查看了不同设置。公开基准来源、聚合选择和替代视图，是为了支持独立检查，而不是只靠分数推断能力与安全。作者同时称，该指数汇总的是现有证据，不是系统风险或法律合规的完整度量。