Skip to content

Translation in progress Some entries still include text in the original language.

Original
论文追踪· arXiv:2610.04575·Indexed by this site · Originally publishedSelectedAttention56

Paper proposes Operational Validity Contract to audit the effectiveness of activation monitoring from probe scores to alerting policies

From Probe Scores to Alarm Policies

Quick read

Evaluation and benchmarks

Based on 论文 PDF （Gemini 生成）; refer to the original

作者审计智能体激活监控器，指出高AUROC不等于低误报可用：AgentDojo在5%预算下检出率仅为.0526。

Questions
大模型智能体部署中，安全监控器需在极低误报预算下做出警报决策，但现有评估多依赖 AUROC。AUROC 忽略操作单元的风险复利效应，导致离线排序表现与在线警报策略可用性脱节。
Methods
提出八元操作有效性契约，规范目标、视界、单元与比较基线；定义独立语义单元最大值，基于 Beta 分布上置信界锁定无分布假设的严格阈值；构建故障闭合编译器裁定证据等级。
Experiments and results
在四个基准测试中，即使 Joint 监控器 AUROC 达 .9571（MUP）与 .9348（LASR），5% 误报预算下实现 TPR 仅为 .6424 与 .7189；AgentDojo 出现校准分布漂移，ST-Web 因支持度不足无法识别有限阈值。
Limitations and future work
前瞻性评估未达到预先指定的样本支持度门控，且仅测试单一 Qwen-7B 模型层；未测量真实人工复核与动作阻断成本，未评估自适应攻击，可复现性仅覆盖冻结得分层面。
Experimental setupQwen2.5-7B-Instruct、Llama-3.2-3B et al. · Models Under Pressure、LASR et al. · AUROC、FPR et al.
Evaluated models
Qwen2.5-7B-InstructLlama-3.2-3BQwen2.5-7B
Benchmarks
Models Under PressureLASRAgentDojoST-WebAgentBench
Metrics
AUROCFPRTPRR0R1
AI summaryand selection rationaleThe paper distinguishes between high AUROC of activation probes and alert thresholds set by false-positive budgets in deployment, noting that the two measure different objectives. The authors propose an Operational Validity Contract, using eight fields—objective, observability, identity, timing, unit, control, calibration, and cost—to qualify monitoring claims, emphasizing that probe scores cannot directly prove that actual alerting strategies are effective.

The paper distinguishes between high AUROC of activation probes and alert thresholds set by false-positive budgets in deployment, noting that the two measure different objectives. The authors propose an Operational Validity Contract, using eight fields—objective, observability, identity, timing, unit, control, calibration, and cost—to qualify monitoring claims, emphasizing that probe scores cannot directly prove that actual alerting strategies are effective.

Why it was selected论文用四个基准说明激活探针的高 AUROC 未必能转化为可用的告警策略，并给出可复用的契约式审计流程。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    探针高 AUROC 无法推导部署警报可用性，论文提出操作有效性契约与主张阶梯以约束监控器声明。

    大语言模型智能体安全监控中，内部激活探针的高 AUROC 排序表现能否转化为低误报预算下有效的在线警报策略。

    • 部署决策与离线排序的断层：在智能体部署环境中，操作员无法直接部署 AUROC，而是必须设定阈值、聚合规则与警报策略来执行拦截、升级或人工审核，且每次错误警报都需要在任务或轨迹层面支付成本（Section 1）。
    • 样本行与语义操作单元的风险复合：现有探针多在数据集行级别计算指标，但实际智能体任务通常包含多次动作或重试机会；若单次请求存在误报概率，整个语义任务的误报风险会随交互机会复合放大（Section 3.2，Proposition 1）。
    • 校准支持度与分布迁移的挑战：确定低误报率阈值需要在独立的负样本单元分布上进行严格统计校准；当校准样本不足、得分存在平局或测试环境发生分布迁移时，标称的低误报保证往往无法兑现（Section 3.5）。
    • 论文提出的核心解决方案：作者提出了操作有效性契约（Operational Validity Contract）、三级主张阶梯，以及一个不进行参数拟合的故障闭合主张编译器，系统审计激活监控器的真实警报能力（Section 3.1，Section 4.3）。

  2. What related research exists?

    现有工作聚焦表征可达性与序列风险控制，本文约束相同视界比较、语义警报单元与冻结迁移审计。

    论文讨论的相关研究主要分为三组，并在同一视界控制与操作单元设定上展开对比。

    激活监控与内部表征检测

    • 离线探针与越狱/拒答检测：Patel 与 Wang（2024）、McKenzie 等（2025）、Kirch 等（2025）将激活分类器与文本分类器在低 FPR 下对比，或评估离线分布偏移；Collu 等（2026）、Wilhelm 等（2026）利用内部激活监测拒答与奖励篡改。作者指出这些工作确立了表征可达性与时序特征，但未审计操作单元与校准警报主张。
    • 多轮智能体监控器：AgentLens（Luo 等，2026）、TRACES（Li 等，2026）、AgentForesight（Zhang 等，2026）、PVDetector（Wang 等，2026）将激活检测引入多轮轨迹或多智能体策略违规检测。作者指出，Li 等（2026）与 Vasudev 等（2026）已报告高 AUC 探针在干预后仍可能失效，本文不提出新检测器或干预估计器，而是聚焦同视界可观测比较基准与阈值支持度审计。
    • 黑白盒比较基线：Parrack 等（2025）通过黑白盒性能增益评估内部访问权；作者认为有限模型上的经验增益仅构成受限预测价值，不能作为特权或因果状态的证据。

    风险控制在线监控

    • 共形与高概率风险控制：Angelopoulos 等（2024）建立共形风险控制；Schirmer 等（2026）将共形风险控制应用于在线 LLM 验证器并在序列级别聚合警报；CP-Agent（Wang 等，2026）与 CORA（Feng 等，2026）在代码竞赛与 GUI 智能体中预设控制器并进行轨迹校准。作者指出序列任意警报与置信控制已有先例，本文贡献在于绑定智能体语义单元、相同视界可观测基线与有限样本低误报校准审计。
    • 同期监控规则系统：Monitoring Monitorability（Guan 等，2026）定义了监控原型与度量；GAVEL（Rozenfeld 等，2026）将激活概念组合为实时规则；PrefixGuard（Huang 等，2026）合成前缀监控器并报告强排序在低误报下缺乏首警报可用性。作者明确表示不将监控原型或“排序不等于警报效用”视为本文独创，而是将激活与可观测基线的比较绑定在置信锁定阈值与冻结迁移审计上。

    智能体安全评测基准

    • 基线方法与使用基准：论文评测了 Models Under Pressure（MUP，高风险输入）、LASR（未来拒答预测）、AgentDojo（提示注入执行）以及 ST-WebAgentBench（SuiteCRM 网页智能体失败）四个基准。在每个基准中均设定了严格的同视界可观测基线（词法特征、元数据及 Qwen-14B 预测结果）。

    作者将本文定位为：不提出新检测算法，不提出通用安全用例架构，而是提出一个用于判定单次冻结评测所能支撑的最强激活警报主张的统计契约。

  3. How does the paper address this problem?

    论文构建八元操作有效性契约，通过独立单元最大值锁定 Beta 严格阈值，并以故障闭合编译器评级。

    作者通过建立操作有效性契约（Operational Validity Contract）与三级主张阶梯，将探针评估转化为严格的离线冻结审计流程。

    操作有效性契约与主张阶梯

    • 契约的八个维度：将监控器声明形式化为元组 (S, C)，其中 C 包含目标（Target，Y）、可观测性（Observability，O）、标识符（Identity，I）、时序（Timing，H）、单元（Unit，G）、比较基线（Comparator，B）、校准规则（Calibration，Pcal）和成本（Cost，L）（Definition 1）。
    • 三级主张阶梯：
      1. 表征可达性（Representation accessibility）：仅需冻结探针并提供留出排序指标；
      2. 受限预测价值（Restricted predictive value）：需在相同视界的可观测基线上展现增量，并通过聚类不确定性检验；
      3. 警报策略有效性（Alarm-policy validity）：需进一步满足操作聚合规则、独立锁定阈值、实现风险不超标、充足的正例支持度与迁移诊断。
    • 信息上限理论：在确定性模型激活 A = f(O) 条件下，命题指出条件互信息满足 I(Y; A ∣ O) = 0（Proposition 2），说明激活在信息论层面不包含可观测历史之外的特权信息，有限样本增益仅代表受限预测价值。

    语义操作单元与风险形式化

    • 单元最大值聚合：令 G 为独立语义单元，对于预先采样的警报机会集合，分别定义安全与不安全结果条件下的单元得分最大值：

    R0(t) = Pr(ZG− > t),   R1(t) = Pr(ZG+ > t) 其中 ZG− = maxi: YGi=0 SGi，ZG+ = maxi: YGi=1 SGi，分别对应安全尝试任意误报率与不安全尝试任意检出率。

    • 行风险向单元风险复合：若安全单元内包含 n 次条件独立的警报机会，行误报率 p 将诱发复合单元误报率 1 − (1−p)n（Proposition 1）；在 p=0.05 且 n=10 时单元误报率达到 40.1%，作者称行级数据无法修正单元形式化错误。

    严格置信锁定阈值与支持度检验

    • Beta 分布无分布假设上界：设 m 个独立的负单元校准样本按降序排列，第 r 大得分为 Tr。对于严格尾部质量，其上置信界由不完全 Beta 函数给出：

    Prcal{q(Tr) ≤ Br, m−r+1−1(1 − δ)} ≥ 1 − δ 算法锁定满足上界不超过误报预算 α 的最大秩 r；若无满足条件的秩则放弃设阈（Abstain）（Section 3.5）。

    • 样本量门控：在 α = δ = 0.05 时，至少需要 m >= 59 个独立负样本单元才能识别出有限阈值；若样本不足，阈值设为正无穷。
    • 严格平局处理：采用严格大于（Strict exceedance）作为警报判据，平局不触发警报以保持统计保守性。

    故障闭合主张编译器

    • 冻结协议与不可变检查：在运行前冻结特征抽取、分块折数、哈希与阈值；在测试集上仅单次消耗预设清单，不重新拟合任何超参数（Section 4.3）。
    • 判定规则：编译器仅依据冻结数据与门控进行判定，任何规范缺失、增量不足、支持度短缺或实现 FPR 超标均会导致降级，最高结论仅停留在受限预测价值或表征可达性（Appendix F.2）。

  4. What experiments did the paper conduct?

    四基准审计表明高 AUROC 伴随低误报召回不足、校准漂移与支持度缺失，无设置达到警报策略有效性。

    实验设置

    • 被测与比较模型：在 AgentDojo 和 ST-WebAgentBench 中测试 Qwen2.5-7B-Instruct / Qwen2.5-7B（监控第 14 层激活）；在 LASR 中测试 Llama-3.2-3B（监控第 12 层激活）；在 MUP 中使用验证集选取的探针。在 LASR、AgentDojo 与 ST-Web 中引入 Qwen-14B 生成预测结果作为强可观测比较基准。
    • 数据集与规模：MUP（69 个独立校准负样本输入）；LASR（官方 969 条请求，协议声明语义未知子集 762 条请求，372 个校准负样本）；AgentDojo v1（100 个校准负案例；测试集 1190 个预设重试标识，完成 1165 条，对应 82 个语义案例，含 75 个负案例、38 个正案例）；ST-WebAgentBench（SuiteCRM 环境，23 个校准负模板；测试集 192 个标识，完成 173 条轨迹，覆盖 28 个负模板）。
    • 基线与监控器结构：每个设置对比三种监控器：可观测基线（Observable，结合词法/TF-IDF与Qwen-14B预测）、激活监控器（Activation）、晚期融合联合监控器（Joint，基于分折预测融合）。
    • 指标定义：测试单元级 AUROC；在独立校准集上锁定的 5% 与 10% 误报预算下实现的单元级 FPR 与 TPR。
    • 置信度与阈值设置：置信参数设定为 δ = 0.05（95% 置信度）；项目预设 TPR 晋级门控为 0.80；采用 5000 次语义单元成对 Bootstrap 计算置信区间。

    主结果

    下表汇总四个任务设置在独立校准阈值下的测试结果（据 Table 6）。

    Swipe horizontally to read the table

    SettingMonitorAUROC5% FPR5% TPR10% FPR10% TPR
    MUPObservable.9396.0033.3775.0497.6656
    MUPActivation.9446.0099.5000.0199.6457
    MUPJoint.9571.0066.6424.0232.7417
    LASRObservable.8987.0467.6130.1176.7413
    LASRActivation.9344.0183.7189.0872.7780
    LASRJoint.9348.0243.7189.0913.7821
    AgentDojoObservable.7860.0267.0526.2000.5789
    AgentDojoActivation last.8028.0000.0526.1867.5263
    AgentDojoJoint last.7986.0000.0263.2000.5789
    AgentDojo (rollout)Activation mean.9215.0000.0000.0000.1053
    ST-WebObservable.8497未报告未报告未报告未报告
    ST-WebActivation last.8738未报告未报告未报告未报告
    ST-WebJoint last.8712未报告未报告未报告未报告
    • 高 AUROC 与低误报检出脱节：MUP 和 LASR 的 Joint 监控器 AUROC 分别达 .9571 和 .9348，但在 5% 预算下的实现 TPR 仅为 .6424 和 .7189，均未达到 0.80 的预设门控（Section 5.2）。
    • 池化方式与警报表现背离：AgentDojo 上基于序列均值的 Activation mean 取得了高达 .9215 的轨迹 AUROC，但在 5% 预算下检出率为 0（0/38），在 10% 预算下 TPR 仅为 .1053（Section 5.3）。
    • 不可识别导致的策略弃权：ST-Web 的 23 个校准负样本未达到锁定阈值所需的最小样本量，策略机制性弃权，表中横线代表弃权而非观测到零误报（Section 5.1）。

    语义未知子集与目标对齐敏感性

    • LASR 标识不相交子集表现：在排除训练重叠的 762 个语义未知请求上，Joint 监控器 5% 与 10% TPR 分别为 .7065 与 .7740，成对超越 Observable 的增量分别为 +.0831（95% CI [.0494, .1169]）与 +.0338（95% CI [.0052, .0623]），但依然低于 0.80 门控（Table 7）。
    • 部分 AUC 目标与全 AUROC 冲突：作者报告了一项探索性分析，在 LASR 上针对 FPR [0, 0.10] 优化局部 AUC，使全量 AUROC 从 .9344 降至 .9184，但使 10% 预算下的 TPR 从 .7780 升至 .8106，同时 FPR 从 .0872 降至 .0669（Section 5.5）。

    智能体重试策略与套件集中度分析

    • 重试次数对风险与检出率的影响：在 AgentDojo 上评估 k = 1, 3, 5, 10 次重试时，k=1 时 Observable 与 Joint 在 10% 预算下的 TPR 为 .643，而 k=10 时变为 .579；单种子评估中仅有 4 个种子能够识别出有限的 5% 阈值（Table 9）。
    • 警报在特定应用套件中高度集中：在 AgentDojo 的 5% 预算下，所有真阳性与 Observable 的两个假阳性全部集中在 Slack 套件，其套件内 FPR 为 14.29%，显著偏离全集 2.67% 的平均 FPR（Section 5.4）。

    其他消融与分析

    • MUP 上 Joint 对比 Observable 的 5% TPR 成对增量为 +.2649（95% CI [.1529, .4268]），10% 增量为 +.0762（Table 10）。
    • LASR 上 Joint 对比 Observable 的 5% TPR 成对增量为 +.1059（95% CI [.0754, .1385]），10% 增量为 +.0407（Table 10）。
    • AgentDojo 提取第 14 层激活的批大小 1 延迟增量不可测，批大小 8 增量为 0.067%，张量占用 4–41 MiB（Section 4.4）。
    • AgentDojo 测试集 10% 预算下 Activation last 的 14 次误报在二项零假设下的 p 值为 .001745，检验诊断出校准与测试分布不匹配（Section 5.1）。

    负面结果与例外

    • AgentDojo 在 5% 预算下，Joint last 的检出率仅为 .0263（1/38），成对对比 Observable 的 TPR 差值为 -.0263（95% CI [-.0789, 0]）（Table 8）。
    • AgentDojo 在 10% 预算下，Activation last 实现的测试 FPR 达到 18.67%（14/75），大幅超出 8.92% 的校准上置信界（Table 5，Table 8）。
    • ST-Web 尽管 Activation last 取得 .8738 AUROC，但因样本不足完全无法提供有限阈值（Table 5）。

  5. What are some points that can be further explored?

    论文前瞻性测试存在支持度短缺与单模型单层限制，且未测量人工复核负担、干预收益与自适应攻击。

    作者指出的局限与后续方向

    • 前瞻性评估未达预设支持度门控：AgentDojo 与 ST-Web 保留了工程失败样本，导致正例案例（38 个，预设 40 个）或负例模板（28 个，预设 29 个）未达预先指定的门控要求（Section 6.3）。
    • 部分基准属于回顾性分析：MUP 与 LASR 的评估属于回顾性分析，此前基准结果已被审阅，未能在实验前预先指定测试支持度门控（Section 4.1，Section 6.3）。
    • 模型架构与层选择范围受限：两项前瞻性实验仅测试了单一 Qwen-7B 模型的单一层（第 14 层）与冻结池化策略；AgentDojo 仅覆盖一种攻击且套件稀疏，ST-Web 仅覆盖 SuiteCRM 环境（Section 6.3）。
    • 置信保证形式属于边际风险：推导出的 Beta 阶统计量界限仅提供单次边际保证，不提供针对对抗自适应攻击或跨族多重性的联合统计保证（Section 3.5，Section 6.3）。
    • 未对齐比较模型的计算成本与下游效用：Qwen-14B 比较基线未在算力上与探针做对齐控制；研究未度量人工审核负担、动作阻断代价、干预挽回收益或净部署效用（Section 4.4，Section 6.3）。
    • 单次执行与在线停机策略仍待评估：AgentDojo 采用的 10 次重试采样单元属于策略特定设定，普通单次执行或遇警即停的在线控制器需要独立的前瞻性评估契约（Section 3.2，Section 6.3）。

    实验覆盖范围

    • 实验评估覆盖了四个特定任务：输入属性（MUP）、拒答预测（LASR）、注入执行（AgentDojo）与任务失败（ST-WebAgentBench）。
    • 被测模型覆盖了 Qwen2.5-7B-Instruct、Llama-3.2-3B 以及 ST-Web 中的 Qwen2.5-7B，基线引入了 Qwen-14B 预测结果。
    • 阈值校准在 95% 置信度下评估了 5% 与 10% 两个目标误报预算。
    • 论文未在测试集上重新拟合探针或搜索特征层与阈值，且未报告自适应对抗攻击评测。
    • 论文未报告实际部署场景中的人工复核延迟、动作拦截惩罚以及因果干预效果。

  6. Summarize the main content of the paper

    论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    • 核心定位与要解决的问题：研究揭示了离线高 AUROC 与在线低误报可用性之间的严重脱节，指出当前智能体安全监控常错误地将数据集行级别的排序能力等同于任务级别的警报防护能力。
    • 方法设计要点：提出了八元操作有效性契约，明确区分表征可达性、受限预测价值与警报策略有效性；利用独立语义单元最大值与 Beta 分布阶统计量上置信界锁定无分布假设的严格阈值；设计了故障闭合编译器进行全流程冻结审计。
    • 关键实证结果：
      1. 在 MUP 和 LASR 上，即使联合监控器 AUROC 分别达 .9571 和 .9348，在 5% 误报预算下实现的 TPR 仅为 .6424 与 .7189（Table 6）；
      2. 在 AgentDojo 上，序列均值激活虽然取得 .9215 的轨迹 AUROC，但在 5% 预算下检出率为 0（Table 6）；
      3. 在 AgentDojo 的 10% 预算下，测试集实现的误报率达到 18.67%，显著高于 8.92% 的校准上置信界（Table 5）；
      4. 在 ST-Web 上，23 个校准负模板无法满足锁定有限阈值所需的样本量，导致控制器机制性弃权（Table 5）。
    • 作者结论与启示：作者认为高 AUROC 探针并不能自动确立有效的警报策略；四个评测设置中 MUP 与 LASR 仅达到受限预测价值，AgentDojo 与 ST-Web 仅停留在表征可达性，无一达到警报策略有效性。未来的监控器部署必须严格绑定语义单元、同视界基线与迁移校准审计。
Read originalarxiv.org