论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

大语言模型智能体安全监控中，内部激活探针的高 AUROC 排序表现能否转化为低误报预算下有效的在线警报策略。

• 部署决策与离线排序的断层：在智能体部署环境中，操作员无法直接部署 AUROC，而是必须设定阈值、聚合规则与警报策略来执行拦截、升级或人工审核，且每次错误警报都需要在任务或轨迹层面支付成本（Section 1）。
• 样本行与语义操作单元的风险复合：现有探针多在数据集行级别计算指标，但实际智能体任务通常包含多次动作或重试机会；若单次请求存在误报概率，整个语义任务的误报风险会随交互机会复合放大（Section 3.2，Proposition 1）。
• 校准支持度与分布迁移的挑战：确定低误报率阈值需要在独立的负样本单元分布上进行严格统计校准；当校准样本不足、得分存在平局或测试环境发生分布迁移时，标称的低误报保证往往无法兑现（Section 3.5）。
• 论文提出的核心解决方案：作者提出了操作有效性契约（Operational Validity Contract）、三级主张阶梯，以及一个不进行参数拟合的故障闭合主张编译器，系统审计激活监控器的真实警报能力（Section 3.1，Section 4.3）。

论文讨论的相关研究主要分为三组，并在同一视界控制与操作单元设定上展开对比。

激活监控与内部表征检测

• 离线探针与越狱/拒答检测：Patel 与 Wang（2024）、McKenzie 等（2025）、Kirch 等（2025）将激活分类器与文本分类器在低 FPR 下对比，或评估离线分布偏移；Collu 等（2026）、Wilhelm 等（2026）利用内部激活监测拒答与奖励篡改。作者指出这些工作确立了表征可达性与时序特征，但未审计操作单元与校准警报主张。
• 多轮智能体监控器：AgentLens（Luo 等，2026）、TRACES（Li 等，2026）、AgentForesight（Zhang 等，2026）、PVDetector（Wang 等，2026）将激活检测引入多轮轨迹或多智能体策略违规检测。作者指出，Li 等（2026）与 Vasudev 等（2026）已报告高 AUC 探针在干预后仍可能失效，本文不提出新检测器或干预估计器，而是聚焦同视界可观测比较基准与阈值支持度审计。
• 黑白盒比较基线：Parrack 等（2025）通过黑白盒性能增益评估内部访问权；作者认为有限模型上的经验增益仅构成受限预测价值，不能作为特权或因果状态的证据。

风险控制在线监控

• 共形与高概率风险控制：Angelopoulos 等（2024）建立共形风险控制；Schirmer 等（2026）将共形风险控制应用于在线 LLM 验证器并在序列级别聚合警报；CP-Agent（Wang 等，2026）与 CORA（Feng 等，2026）在代码竞赛与 GUI 智能体中预设控制器并进行轨迹校准。作者指出序列任意警报与置信控制已有先例，本文贡献在于绑定智能体语义单元、相同视界可观测基线与有限样本低误报校准审计。
• 同期监控规则系统：Monitoring Monitorability（Guan 等，2026）定义了监控原型与度量；GAVEL（Rozenfeld 等，2026）将激活概念组合为实时规则；PrefixGuard（Huang 等，2026）合成前缀监控器并报告强排序在低误报下缺乏首警报可用性。作者明确表示不将监控原型或“排序不等于警报效用”视为本文独创，而是将激活与可观测基线的比较绑定在置信锁定阈值与冻结迁移审计上。

智能体安全评测基准

• 基线方法与使用基准：论文评测了 Models Under Pressure（MUP，高风险输入）、LASR（未来拒答预测）、AgentDojo（提示注入执行）以及 ST-WebAgentBench（SuiteCRM 网页智能体失败）四个基准。在每个基准中均设定了严格的同视界可观测基线（词法特征、元数据及 Qwen-14B 预测结果）。

作者将本文定位为：不提出新检测算法，不提出通用安全用例架构，而是提出一个用于判定单次冻结评测所能支撑的最强激活警报主张的统计契约。

作者通过建立操作有效性契约（Operational Validity Contract）与三级主张阶梯，将探针评估转化为严格的离线冻结审计流程。

操作有效性契约与主张阶梯

• 契约的八个维度：将监控器声明形式化为元组 (S, C)，其中 C 包含目标（Target，Y）、可观测性（Observability，O）、标识符（Identity，I）、时序（Timing，H）、单元（Unit，G）、比较基线（Comparator，B）、校准规则（Calibration，Pcal）和成本（Cost，L）（Definition 1）。
• 三级主张阶梯：
  1. 表征可达性（Representation accessibility）：仅需冻结探针并提供留出排序指标；
  2. 受限预测价值（Restricted predictive value）：需在相同视界的可观测基线上展现增量，并通过聚类不确定性检验；
  3. 警报策略有效性（Alarm-policy validity）：需进一步满足操作聚合规则、独立锁定阈值、实现风险不超标、充足的正例支持度与迁移诊断。
• 信息上限理论：在确定性模型激活 A = f(O) 条件下，命题指出条件互信息满足 I(Y; A ∣ O) = 0（Proposition 2），说明激活在信息论层面不包含可观测历史之外的特权信息，有限样本增益仅代表受限预测价值。

语义操作单元与风险形式化

• 单元最大值聚合：令 G 为独立语义单元，对于预先采样的警报机会集合，分别定义安全与不安全结果条件下的单元得分最大值：

R₀(t) = Pr(Z_G⁻ > t),   R₁(t) = Pr(Z_G⁺ > t) 其中 Z_G⁻ = max_{i: YGi=0} S_Gi，Z_G⁺ = max_{i: YGi=1} S_Gi，分别对应安全尝试任意误报率与不安全尝试任意检出率。

• 行风险向单元风险复合：若安全单元内包含 n 次条件独立的警报机会，行误报率 p 将诱发复合单元误报率 1 − (1−p)ⁿ（Proposition 1）；在 p=0.05 且 n=10 时单元误报率达到 40.1%，作者称行级数据无法修正单元形式化错误。

严格置信锁定阈值与支持度检验

• Beta 分布无分布假设上界：设 m 个独立的负单元校准样本按降序排列，第 r 大得分为 Tr。对于严格尾部质量，其上置信界由不完全 Beta 函数给出：

Pr_cal{q(T_r) ≤ B_{r, m−r+1}⁻¹(1 − δ)} ≥ 1 − δ 算法锁定满足上界不超过误报预算 α 的最大秩 r；若无满足条件的秩则放弃设阈（Abstain）（Section 3.5）。

• 样本量门控：在 α = δ = 0.05 时，至少需要 m >= 59 个独立负样本单元才能识别出有限阈值；若样本不足，阈值设为正无穷。
• 严格平局处理：采用严格大于（Strict exceedance）作为警报判据，平局不触发警报以保持统计保守性。

故障闭合主张编译器

• 冻结协议与不可变检查：在运行前冻结特征抽取、分块折数、哈希与阈值；在测试集上仅单次消耗预设清单，不重新拟合任何超参数（Section 4.3）。
• 判定规则：编译器仅依据冻结数据与门控进行判定，任何规范缺失、增量不足、支持度短缺或实现 FPR 超标均会导致降级，最高结论仅停留在受限预测价值或表征可达性（Appendix F.2）。

实验设置

• 被测与比较模型：在 AgentDojo 和 ST-WebAgentBench 中测试 Qwen2.5-7B-Instruct / Qwen2.5-7B（监控第 14 层激活）；在 LASR 中测试 Llama-3.2-3B（监控第 12 层激活）；在 MUP 中使用验证集选取的探针。在 LASR、AgentDojo 与 ST-Web 中引入 Qwen-14B 生成预测结果作为强可观测比较基准。
• 数据集与规模：MUP（69 个独立校准负样本输入）；LASR（官方 969 条请求，协议声明语义未知子集 762 条请求，372 个校准负样本）；AgentDojo v1（100 个校准负案例；测试集 1190 个预设重试标识，完成 1165 条，对应 82 个语义案例，含 75 个负案例、38 个正案例）；ST-WebAgentBench（SuiteCRM 环境，23 个校准负模板；测试集 192 个标识，完成 173 条轨迹，覆盖 28 个负模板）。
• 基线与监控器结构：每个设置对比三种监控器：可观测基线（Observable，结合词法/TF-IDF与Qwen-14B预测）、激活监控器（Activation）、晚期融合联合监控器（Joint，基于分折预测融合）。
• 指标定义：测试单元级 AUROC；在独立校准集上锁定的 5% 与 10% 误报预算下实现的单元级 FPR 与 TPR。
• 置信度与阈值设置：置信参数设定为 δ = 0.05（95% 置信度）；项目预设 TPR 晋级门控为 0.80；采用 5000 次语义单元成对 Bootstrap 计算置信区间。

主结果

下表汇总四个任务设置在独立校准阈值下的测试结果（据 Table 6）。

表格较宽，可左右滑动

Setting	Monitor	AUROC	5% FPR	5% TPR	10% FPR	10% TPR
MUP	Observable	.9396	.0033	.3775	.0497	.6656
MUP	Activation	.9446	.0099	.5000	.0199	.6457
MUP	Joint	.9571	.0066	.6424	.0232	.7417
LASR	Observable	.8987	.0467	.6130	.1176	.7413
LASR	Activation	.9344	.0183	.7189	.0872	.7780
LASR	Joint	.9348	.0243	.7189	.0913	.7821
AgentDojo	Observable	.7860	.0267	.0526	.2000	.5789
AgentDojo	Activation last	.8028	.0000	.0526	.1867	.5263
AgentDojo	Joint last	.7986	.0000	.0263	.2000	.5789
AgentDojo (rollout)	Activation mean	.9215	.0000	.0000	.0000	.1053
ST-Web	Observable	.8497	未报告	未报告	未报告	未报告
ST-Web	Activation last	.8738	未报告	未报告	未报告	未报告
ST-Web	Joint last	.8712	未报告	未报告	未报告	未报告

• 高 AUROC 与低误报检出脱节：MUP 和 LASR 的 Joint 监控器 AUROC 分别达 .9571 和 .9348，但在 5% 预算下的实现 TPR 仅为 .6424 和 .7189，均未达到 0.80 的预设门控（Section 5.2）。
• 池化方式与警报表现背离：AgentDojo 上基于序列均值的 Activation mean 取得了高达 .9215 的轨迹 AUROC，但在 5% 预算下检出率为 0（0/38），在 10% 预算下 TPR 仅为 .1053（Section 5.3）。
• 不可识别导致的策略弃权：ST-Web 的 23 个校准负样本未达到锁定阈值所需的最小样本量，策略机制性弃权，表中横线代表弃权而非观测到零误报（Section 5.1）。

语义未知子集与目标对齐敏感性

• LASR 标识不相交子集表现：在排除训练重叠的 762 个语义未知请求上，Joint 监控器 5% 与 10% TPR 分别为 .7065 与 .7740，成对超越 Observable 的增量分别为 +.0831（95% CI [.0494, .1169]）与 +.0338（95% CI [.0052, .0623]），但依然低于 0.80 门控（Table 7）。
• 部分 AUC 目标与全 AUROC 冲突：作者报告了一项探索性分析，在 LASR 上针对 FPR [0, 0.10] 优化局部 AUC，使全量 AUROC 从 .9344 降至 .9184，但使 10% 预算下的 TPR 从 .7780 升至 .8106，同时 FPR 从 .0872 降至 .0669（Section 5.5）。

智能体重试策略与套件集中度分析

• 重试次数对风险与检出率的影响：在 AgentDojo 上评估 k = 1, 3, 5, 10 次重试时，k=1 时 Observable 与 Joint 在 10% 预算下的 TPR 为 .643，而 k=10 时变为 .579；单种子评估中仅有 4 个种子能够识别出有限的 5% 阈值（Table 9）。
• 警报在特定应用套件中高度集中：在 AgentDojo 的 5% 预算下，所有真阳性与 Observable 的两个假阳性全部集中在 Slack 套件，其套件内 FPR 为 14.29%，显著偏离全集 2.67% 的平均 FPR（Section 5.4）。

其他消融与分析

• MUP 上 Joint 对比 Observable 的 5% TPR 成对增量为 +.2649（95% CI [.1529, .4268]），10% 增量为 +.0762（Table 10）。
• LASR 上 Joint 对比 Observable 的 5% TPR 成对增量为 +.1059（95% CI [.0754, .1385]），10% 增量为 +.0407（Table 10）。
• AgentDojo 提取第 14 层激活的批大小 1 延迟增量不可测，批大小 8 增量为 0.067%，张量占用 4–41 MiB（Section 4.4）。
• AgentDojo 测试集 10% 预算下 Activation last 的 14 次误报在二项零假设下的 p 值为 .001745，检验诊断出校准与测试分布不匹配（Section 5.1）。

负面结果与例外

• AgentDojo 在 5% 预算下，Joint last 的检出率仅为 .0263（1/38），成对对比 Observable 的 TPR 差值为 -.0263（95% CI [-.0789, 0]）（Table 8）。
• AgentDojo 在 10% 预算下，Activation last 实现的测试 FPR 达到 18.67%（14/75），大幅超出 8.92% 的校准上置信界（Table 5，Table 8）。
• ST-Web 尽管 Activation last 取得 .8738 AUROC，但因样本不足完全无法提供有限阈值（Table 5）。

作者指出的局限与后续方向

• 前瞻性评估未达预设支持度门控：AgentDojo 与 ST-Web 保留了工程失败样本，导致正例案例（38 个，预设 40 个）或负例模板（28 个，预设 29 个）未达预先指定的门控要求（Section 6.3）。
• 部分基准属于回顾性分析：MUP 与 LASR 的评估属于回顾性分析，此前基准结果已被审阅，未能在实验前预先指定测试支持度门控（Section 4.1，Section 6.3）。
• 模型架构与层选择范围受限：两项前瞻性实验仅测试了单一 Qwen-7B 模型的单一层（第 14 层）与冻结池化策略；AgentDojo 仅覆盖一种攻击且套件稀疏，ST-Web 仅覆盖 SuiteCRM 环境（Section 6.3）。
• 置信保证形式属于边际风险：推导出的 Beta 阶统计量界限仅提供单次边际保证，不提供针对对抗自适应攻击或跨族多重性的联合统计保证（Section 3.5，Section 6.3）。
• 未对齐比较模型的计算成本与下游效用：Qwen-14B 比较基线未在算力上与探针做对齐控制；研究未度量人工审核负担、动作阻断代价、干预挽回收益或净部署效用（Section 4.4，Section 6.3）。
• 单次执行与在线停机策略仍待评估：AgentDojo 采用的 10 次重试采样单元属于策略特定设定，普通单次执行或遇警即停的在线控制器需要独立的前瞻性评估契约（Section 3.2，Section 6.3）。

实验覆盖范围

• 实验评估覆盖了四个特定任务：输入属性（MUP）、拒答预测（LASR）、注入执行（AgentDojo）与任务失败（ST-WebAgentBench）。
• 被测模型覆盖了 Qwen2.5-7B-Instruct、Llama-3.2-3B 以及 ST-Web 中的 Qwen2.5-7B，基线引入了 Qwen-14B 预测结果。
• 阈值校准在 95% 置信度下评估了 5% 与 10% 两个目标误报预算。
• 论文未在测试集上重新拟合探针或搜索特征层与阈值，且未报告自适应对抗攻击评测。
• 论文未报告实际部署场景中的人工复核延迟、动作拦截惩罚以及因果干预效果。

这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

• 核心定位与要解决的问题：研究揭示了离线高 AUROC 与在线低误报可用性之间的严重脱节，指出当前智能体安全监控常错误地将数据集行级别的排序能力等同于任务级别的警报防护能力。
• 方法设计要点：提出了八元操作有效性契约，明确区分表征可达性、受限预测价值与警报策略有效性；利用独立语义单元最大值与 Beta 分布阶统计量上置信界锁定无分布假设的严格阈值；设计了故障闭合编译器进行全流程冻结审计。
• 关键实证结果：
  1. 在 MUP 和 LASR 上，即使联合监控器 AUROC 分别达 .9571 和 .9348，在 5% 误报预算下实现的 TPR 仅为 .6424 与 .7189（Table 6）；
  2. 在 AgentDojo 上，序列均值激活虽然取得 .9215 的轨迹 AUROC，但在 5% 预算下检出率为 0（Table 6）；
  3. 在 AgentDojo 的 10% 预算下，测试集实现的误报率达到 18.67%，显著高于 8.92% 的校准上置信界（Table 5）；
  4. 在 ST-Web 上，23 个校准负模板无法满足锁定有限阈值所需的样本量，导致控制器机制性弃权（Table 5）。
• 作者结论与启示：作者认为高 AUROC 探针并不能自动确立有效的警报策略；四个评测设置中 MUP 与 LASR 仅达到受限预测价值，AgentDojo 与 ST-Web 仅停留在表征可达性，无一达到警报策略有效性。未来的监控器部署必须严格绑定语义单元、同视界基线与迁移校准审计。