AI 审批监控器的相关性失效

核心问题：审批关键动作的多个 AI 监控器可能一起失效（correlated failure），而现有设计不说明能容忍哪些联合失效。

• 场景与重要性：AI 智能体替人执行支付、发消息、改代码等动作，动作前由监控器（语言模型、规则引擎或人）检查。作者举例：三个评审读同一张伪造发票邮件会被同时骗过，等于一个监控器数了三次。
• 现有方法的不足：作者称在其调研的设计中，每个监控器都看到智能体的完整轨迹，多监控器时聚合分数或投票；除 Pandey et al. [48] 外，没有设计给不同监控器分配不同证据来源，也没有设计说明自己容忍哪些联合失效。
• 核心观察：被骗有两个方向——被骗批准坏动作、被骗阻断好动作，两者不必发生在同一组监控器上；作者假设欺诈经证据源扩散、阻断经 justification 里的植入指令扩散。
• 论文提出什么：把分布式计算的 fail-prone system（可能一起失效的监控器集合清单）借来作故障模型，给出安全且活跃规则存在的条件，并在支付审批任务上做两次预注册测量，外加未预注册的前沿模型组。
• 威胁模型：
  • 目标：让规则批准欺诈支付（approve-bad）或让正确支付被阻断（block-good）。
  • 知识：攻击者是自适应的，知道监控池和规则后再选择输入。
  • 能力：控制提案（动作与 justification）和部分证据源；预算为一次一个模型家族加一个来源；网关转发同一份动作，故不能对不同监控器展示不同动作。
  • 受害系统：持有审批规则的网关及其委托方；伪造签名、被攻破的网关、形式正确但本不该存在的动作（如被黑的请求方）不在范围内。

AI 控制与监控器聚合

• Greenblatt et al. [19]（AI control）——用可信的较弱监控器监督不可信模型，配合少量人工审计；论文指出这类工作组合监控器时没有故障模型、也没有针对监控器的攻击者。
• Hua et al. [25]、Koran et al. [31]、Cooper Stickland et al. [10]——分别用 Neyman–Pearson 检验、平均、学习组合器聚合多个监控器分数；Verga et al. [56] 用模型评审团投票。
• Pandey et al. [48]（UKAI 2026）——作者称这是其找到的唯一给不同监控器分配不同证据来源（corruption-distinct sources）的设计，用于支付字段核对。

监控器与语言模型的相关失效证据

• Kim et al. [30]——语言模型在同一答案上出错的频率远高于独立性预测；Goel et al. [18]——评审模型偏爱相似模型。
• Zou et al. [60]、Angell et al. [5]——越狱沿共享表示迁移；Zou et al. [61]（PoisonedRAG）、Greshake et al. [20]——被投毒的输入误导所有读者；McKenzie et al. [44]（STACK）——分层防护一起失效。论文指出这些工作多在良性数据上做成对相关性测量，本文则按方向测量攻击下哪些集合一起失效。

直接攻击监控器

• Terekhov et al. [54]、Nasr et al. [47]——针对可信监控器的自适应攻击；Redwood Research [26, 33]——优化的说服文本让编程智能体监控器放行危害并迁移到留出监控器。
• Zhou et al. [59]——对护栏的拒绝服务载荷把 fail-closed 护栏变成阻断合法动作；Hackett and Garraghan [21]（BRANCH）——树搜索绕过"每个扫描器都必须通过"的多扫描器护栏，论文指出其只研究 approve 侧的 AND 规则。

分布式系统理论

• Hirt and Maurer [24]、Malkhi and Reiter [40, 41]——adversary structures、Q2/Q3 条件与 Byzantine quorum systems（kernel 规则）；Garcia-Molina and Barbara [17]——并非所有法定人数系统都能用投票权重表达。
• Flexible BFT [42]、Momose and Ren [45]、Tas et al. [53]——安全性与活跃性使用不同故障集合的先例；论文指出两点不同：这些协议里攻击安全性的故障预算更大，而本文实测 reject 侧更大；且它们需要共识相交，一次性审批不需要。

定位：作者称本文的区别在于把相关失效变成从攻击估计出的故障模型，按被骗方向分开测量，并推出审批规则；基线规则包括 single best monitor、majority、all-must-approve、best k-of-n、两种加权投票、root count 和多个 kernel 规则，评测环境为作者构建的合成支付审批任务。

整体思路：把"哪些监控器可能一起被骗"按方向估计成两张清单（approve 侧与 reject 侧），用分布式系统理论推出安全且活跃的审批规则存在的条件，再在支付审批任务上实测清单并比较规则。框架称为 directional fail-prone structure。

问题设定与形式化

• 监控器对提案返回 ok/bad；规则安全指从不执行坏动作，活跃指执行每个好动作。fail-prone system 是可能一起失效的监控器集合的清单；kernel 是不含于任何列出集合的监控器集合，故至少含一个诚实成员。
• 方向性结构是一对清单 (FA, FR)：FA 装 approve-fooled 集合，FR 装 reject-fooled 集合。核心条件是 cross-cover：A ∪ R ≠ M 对所有 A ∈ F_A, R ∈ F_R 成立，即任何一对欺诈攻击与阻断攻击合起来不能覆盖全部监控器。
• Proposition 5：安全且活跃的规则存在当且仅当 (CC) 成立；此时规则区间介于 QR（最小活跃规则）与 KA（最大安全规则）之间。计数规则另有线性规划判据 ν < 1（Proposition 8）。

测量设计

• 任务：合成支付审批，动作含收款人、账号、金额等字段加自由文本 justification；证据来自三个独立来源 doc（发票邮件）、tool（ERP 供应商记录）、web（供应商门户），每个来源单独充分。
• 监控器池：4 × 3 网格，四个 4-bit 量化开源小模型（Llama 3.1 8B、Ministral 3 8B、Qwen 3.5 9B、Gemma 4 E4B）各自读一个来源，temperature 1.0、关闭推理；统一系统提示词 prompt v2；无法解析的输出、拒答和错误计为不批准（fail-closed）。
• 攻击：载荷由 OLMo 3 7B 以 PAIR 式黑盒爬山改写（pilot 31 轮、确认实验欺诈侧 60 轮按 token 概率打分）；攻击条件分五类：针对单家族的 justification 载荷、单来源注入、来源替换、组合攻击、通用载荷；目标分 approve-bad 与 block-good。
• 估计方法：一个攻击单元（攻击条件 × 目标）含 20（pilot）或 40（确认）个支付任务；在某单元至少一半任务上被骗的监控器组成该单元的 fooled set Wa（预注册阈值 θ = 0.5，并对 θ ∈ {0.25, 0.75} 做敏感性检查）；所有 Wa 生成经验 fail-prone system F̂。

规则与比较方式

• 计数规则：single best monitor、majority、all-must-approve、best k-of-n、LP 权重与 log-odds 加权投票；结构规则：root count 与三个 kernel 规则（Fprov、F̂train、调参 θ）。
• 指标：unsafe-approval rate（欺诈被批准比例）与 FRR（好项未被批准比例）；参数在训练半区按 FRR ≤ 0.10 约束选Unsafe 最低者，在留出攻击条件上评估；置信区间来自 attack condition 上的 cluster bootstrap（B = 1,000）。

预注册与判定

• pilot（protocol v1）测经典单清单理论，含 H1–H3 与继续研究的门槛；确认实验（protocol v2）在首次调用前冻结，测 H1′–H4′ 与三个次要预测（S2 margin-2 kernel 代价、S3 共失效方向、S4 隐藏 justification 的视图消融）。
• 冻结的判定规则写明：若 H2′ 为 (γ)（CC 失败），则"实证部分成为负面结果"。前沿模型组（Claude Opus 5.5、GPT-6 Astra、Gemini 4 Argon、Gemini 3.1 Pro、DeepSeek-V3.2）未预注册，为重放迁移攻击加针对性攻击与对照。

实验设置

• 被测监控器：12 个小模型监控器（Llama 3.1 8B、Ministral 3 8B、Qwen 3.5 9B、Gemma 4 E4B × doc/tool/web 三来源）；前沿组为 Claude Opus 5.5、GPT-6 Astra、Gemini 4 Argon、Gemini 3.1 Pro 与 DeepSeek-V3.2，各读三个来源；确认实验另有确定性规则引擎作第 13 个监控器（预注册次要池）。
• 任务规模：pilot 2,200 项（54 攻击条件 × 2 目标 × 20 任务 + 40 良性项）、30,888 条判定；确认实验 6,560 项（84 条件，每单元 40 任务）、111,752 条判定；两者均 0 缺失单元。
• 攻击方：OLMo 3 7B 改写载荷；针对 Opus 的定向攻击分别以 DeepSeek-V3.2（25 轮）和 Llama 3.1 8B（20 轮）为 writer。
• 指标与判定：动作好坏由字段是否与任务真值相等判定（factual check）；指标为 unsafe-approval rate、FRR、τ/τ*、Q2、(CC)、coverage；规则参数在训练半区选择（训练 unsafe ≤ 0.01 下 FRR 最低），在留出攻击条件上评估。
• 评审方式：无 LLM 评审；判定为程序化字段比对与冻结分析代码；区间估计为 cluster bootstrap（B = 1,000）与 Wilson 区间。
• 重复与采样：pilot 中 187/2,200 项采样三次取多数；前沿组每项一个样本；温度 1.0。

主结果

确认实验（protocol v2，预注册 H3′）各规则在留出攻击条件上、匹配安全性下的表现（据 Table 4）：

规则	unsafe approvals	false rejections
majority (7-of-12)	0.000	0.571
all-must-approve	0.000	0.993
best k-of-n (5-of-12)	0.001	0.332
log-odds vote	0.001	0.074
pair-LP vote	0.001	0.231
directional kernel, columns	0.001	0.009
margin-2 kernel, columns	0.000	0.132

• 作者称 directional kernel（"批准者读过至少两个来源"）与训练集上选出的最优计数规则 log-odds vote 安全性相同（unsafe 均 0.001），FRR 差 ∆FRR = 0.065 [0.033, 0.098]，该差异为预注册且获支持（H3′）。
• approve 侧结构即三个来源列：确认实验 F̂approve 的列覆盖率 0.999（3,120 条欺诈项），τ = 3、Q2 成立，H1′ 获支持；即使攻击者能读 token 概率，其 28 个欺诈侧目标的训练判定率最高仅 0.083。
• 作者称计数投票在两个事实上都是错误的轴：ν = 1.000 [0.667, 1.000] 表明该池上不存在安全且活跃的加权投票。

reject 侧与注入抗性（Table 1、Table 13）

• 小模型与 DeepSeek 服从植入指令：确认实验 38 条针对单/双家族的阻断载荷全部使 Ministral 拒付至少一半目标正确支付，Qwen 被 17 条骗过、Llama 9 条、Gemma 0 条；迁移载荷使 DeepSeek-V3.2 拒付 45%（68/150，[0.38, 0.53]），其 liveness fragility 0.43 与 Qwen 9B 的 0.44 相近。
• 闭源模型基本免疫：没有任何迁移文本在两个方向上骗过 Opus 或 Astra；Argon 被骗一次（1/47）；以 DeepSeek 为 writer 针对 Opus 优化的载荷使留出判定 0/640 被骗（上界 0.012），作者注明该零界只对两个 writer、一种目标和约 $76 搜索成立。
• 视图消融（S4，预注册，支持）：隐藏 justification 后，1,480 项上没有任何攻击单元骗过任何监控器达到一半，所有阻断载荷落在良性底噪 0.05 以内（最高 0.067，Qwen）；作者称 reject 侧失效由 justification 字段承载。

cross-cover 的失败与规则引擎（Table 5、Figure 2）

• 负面结果（H2′，结局 γ）：确认实验中一条针对 Gemma 优化的证据感知阻断载荷骗过 10 个监控器，幸存者只剩读发票的 Qwen@doc（0.40）与 Gemma@doc（0.00），(CC) 在点估计上失败（slack 0），仅在 0.750 的 bootstrap 复现中成立；按冻结判定规则，12 个语言模型监控器池的最坏情形主张为负面结果。
• 规则引擎恢复条件（预注册次要池）：加入 tool 上的确定性规则引擎后，同一攻击下批准者跨两个来源，(CC) 在 1.000 复现中成立（slack 1），ν = 0.667；directional kernel 的 FRR 0.006 对最优计数规则 0.058（∆FRR = 0.052 [0.022, 0.078]）。
• 作者解读：需要一个不能被说服的监控器；规则引擎只能被伪造记录骗过，故只要攻击者不能伪造它核对的每条记录，(CC) 就保持成立。

其他消融与分析

• 模型特异性谨慎（探索性）：Opus 拒付 30% 带疑似篡改痕迹的正确支付（Table 17，条件 A 36/120），中性附言与干净邮件下为 0；Astra、Argon、DeepSeek 各 0/400。
• 规则感知攻击者（预注册 arms）：离线攻击者对 directional kernel 最坏 0.000 欺诈批准、0.100 阻断；在线攻击者 30 轮改写未改变任一规则 40 个留出决定中的任何一个。
• 共失效预测因子（Table 9）：pilot 中"同来源"ρ = 0.746，高于 provenance 的 0.591 与"同家族"的 −0.099；S3 在 reject 侧失败（同家族 0.171、同来源 0.698）。
• margin-2 kernel（S2，预注册，失败）：FRR 0.132，超过预注册的 0.02 代价上限。
• 迁移集：pilot 的 18 条 justification 载荷在新任务上 approve 侧全为 0；1 条通用载荷的 fooled set 落在确认实验 F̂reject 之外（17/18 在内）。
• DeepSeek 池：三读者池上无规则恢复活跃性（最佳留出 FRR 0.345，附录 D）。

作者指出的局限与后续方向

• 残余风险（Section 8.3）：保证只在真实 fooled set 落在所假设家族内时成立；directional kernel 只要两个不同来源的批准者即可执行，一个游离批准就够成不安全批准（确认实验欺诈项中发生比例 0.001）；margin-2 kernel 以 13.2% FRR 消除它。
• 不合法请求不在范围内、未评估（Section 8.3）：形式正确但本不该存在的动作需要授权层；读意图记录（如采购单）的监控器可把"输入多样化"扩展到它，但作者注明未测。
• 外部效度（Section 8.3）：小模型是四个 4-bit 量化的 4–9B 开源模型；前沿模型仅按当日标识固定、多用最低推理档；每个供应商只测一到两个模型（未测 Claude Fable）；只用了一个合成任务族和每个小模型池研究一个攻击者模型；提示词是在小模型良性项上定的，作者称这可能造就了它们干净的 approve 侧；只有 Opus 表现谨慎且只有 Opus 在那些项上做了推理，模型与推理混杂。
• 不主张的内容（Section 8.3）：Opus 的抗说服只对两个 writer 和约 $76 搜索有界；每个零界只覆盖已运行的攻击。
• 机制迁移是预期而非结果（Section 8.1）：两个实测机制是否迁移属预期；reject 侧的注入抗性作者预期但未检验其跨任务成立；具体数字属于这一个合成支付任务、其提示词与监控池。
• 后续方向（Section 8.1）：判断类任务（agreement mode，需 Q3）未测量；多委托方共享监控器（asymmetric trust）留待后续；作者称下一个测试是不同类型任务，如对测试与规格核对代码变更、对人事记录核对访问请求。

实验覆盖范围

• 被测监控器共 9 个模型：四个开源小模型（各 4-bit 量化、4–9B）加 Claude Opus 5.5、GPT-6 Astra、Gemini 4 Argon、Gemini 3.1 Pro、DeepSeek-V3.2，另有一个确定性规则引擎。
• 任务为一个合成支付审批任务族：pilot 2,200 项、确认实验 6,560 项、视图消融 1,480 项、迁移集 720 项、在线攻击者评估 240 项。
• 攻击预算为一次一个模型家族加一个来源；攻击者模型为 OLMo 3 7B，针对 Opus 的定向攻击另用 DeepSeek-V3.2 与 Llama 3.1 8B 作 writer；论文未报告对 Argon 或 Astra 优化过任何载荷。
• 前沿组为重放迁移攻击：300 对抗项覆盖全部 108 个攻击单元加 40 良性项，每项一个样本；论文注明模板注入与种子模板未针对任何目标调优。
• 良性底噪在 prompt v2 下为：20 条纯欺诈无一被批准，好支付每个监控器最多 3/20 被拒；论文未报告人工评估或评审一致性。

一篇把分布式系统故障理论用于 AI 智能体审批的防御型论文，作者是独立研究者 Luca Zanolini。

• 问题：多个监控器审批关键动作时，共享基座模型或同一证据源会导致相关失效；现有设计聚合分数或计票，不说明容忍哪些联合失效。
• 方法：按被骗方向建立两张 fail-prone 清单（approve 侧与 reject 侧），安全且活跃的规则存在当且仅当 cross-cover 条件成立；在合成支付审批上以两次预注册实验测量 12 个小模型监控器（4 家族 × 3 来源），另做未预注册的前沿模型组。
• 结果一：approve 侧结构即来源列——所有可靠骗过监控器批准欺诈的攻击都经证据源进入且只骗到该源读者，确认实验列覆盖率 0.999，τ = 3（H1′ 支持）。
• 结果二：reject 侧由注入抗性决定——植入指令使全部小模型家族与 DeepSeek-V3.2 阻断正确支付（DeepSeek 45%，68/150），Opus 与 Astra 全部忽略、Argon 仅一次；针对 Opus 定向优化的载荷 0/640 留出判定被骗。
• 结果三：按来源计数的 directional kernel 在确认实验中 FRR 0.009，最优计数规则 log-odds vote 为 0.074，安全性相同（H3′ 支持，∆FRR = 0.065 [0.033, 0.098]）。
• 结果四（负面结果）：一条针对 Gemma 优化的阻断载荷骗过 10 个监控器、幸存者全在发票列，cross-cover 失败（仅 0.750 复现成立）；按冻结判定规则，12 个语言模型监控器池的最坏情形主张为负面结果；加入规则引擎后条件在 1.000 复现中恢复。
• 作者结论：多样化输入、硬化监控器、按来源而非票数计数、并加入一个不能被说服的监控器；作者强调所有结论测自支付审批，每个零界只覆盖已运行的攻击，机制向其他任务迁移是预期而非结果。