论文指出 Agent 安全评测中攻击成功率并非单一数值

核心问题是：不同论文报告的 ASR 是否测量同一种量，能否直接用于比较防御。作者关注的是论文之间的可比性，而非判断某篇论文错误或某种防御无效。

• 场景与意义：智能体会执行多步轨迹并改变环境，成功不一定能从回复文本读出。作者认为，单轮越狱中的分母和成功判定不能直接沿用。
• 报告问题：评测单位、成功判定器、运行次数及攻击者条件由研究者选择。作者称，论文通常没有充分报告这些选择，也没有在文献间保持一致。
• 核心主张：作者认为，分析单位、成功判定器、攻击适应性和防御知识这四轴可能以系统相关的方式改变 ASR，因而改变排序；运行次数主要影响随机误差。
• 研究产物：论文提供六轴测量框架、论文报告实践的元分析、排序反转的分析计算和十项报告清单。它没有运行目标模型或端到端攻击实验。

相关研究按第 VII 节分为评测方法、智能体安全基准和系统化研究三组；这些工作是讨论对象，并非作者实际运行的实验基线。

评测方法与可复现性

• Athalye 等（2018）、Tramer 等（2020）、Carlini 等（2019）——分别讨论失真的对抗评测、自适应再评测及鲁棒性评测方法。作者将这些研究视为共享评测规范的先例。
• StrongREJECT（2024）——作者引用其关于宽松成功标准会抬高表面攻击强度的讨论，将其作为越狱评测中的对应案例。
• Miller（2024）、Biderman 等（2024）、Pineau 等（2020）——讨论语言模型评测的统计处理、可复现评测和机器学习可复现性。作者称，本研究将这些问题延伸到智能体安全。

智能体安全基准与红队框架

• AgentDojo、InjecAgent、ASB、AgentHarm（均为2024）——建立智能体攻击和防御的评测模板。第 III 节讨论其单位差异，并将 AgentHarm 列为评定部分伤害而非仅二值化的例子。
• MSB、MCPSecBench（2025）及 Chen 等（2026）——扩展到协议和生态系统相关评测；作者没有在这些环境中复跑攻击。
• REDAgentBench、SeClaw（2026）、SIRAJ（2025）——提供可执行红队或安全任务评测框架。作者称，报告清单面向这些工作的后续研究，而非取代其基准。

系统化研究与生态测量

• Dehghantanha 与 Homayoun、Kim 等、Wang 等（2026）——定性讨论智能体安全评测实践的异质性；Maloyan 与 Namiot（2026）还跨研究分析攻击有效性。
• Hasan 等（2025）、Kraishan、Saha 等（2026）——测量 MCP 或技能生态中的产物。作者将其定位为相邻研究，区别是本研究测量论文报告实践。

实验基线：论文没有运行攻击、防御或模型基线，也没有使用上述安全基准生成新的 ASR。

作者称，本研究把已有的异质性观察转化为有明确语料、经人工校验编码器和后果分析的测量主张。

作者用六轴测量框架拆开 ASR 的含义，再分别检查论文如何报告这些选择、这些选择何时会影响比较。

ASR 的定义与六轴框架

核心定义为 ASR̂=1/(|U|)∑_{u∈ U}O(τ_u)。U 是评测单位集合，τu 是智能体轨迹，O 将轨迹判为成功或失败；分母和判定器都是研究者的设计选择。

• A1 分析单位：区分注入尝试、任务和轨迹。作者认为，同一任务有多个注入点时，按注入和按任务计数会回答不同问题。
• A2 成功判定器：区分字符串或正则、LLM 评审、环境状态和人工判读。作者认为，防御改变轨迹分布时，评审误差也可能随系统变化。
• A3 运行次数与非确定性：一次运行得到抽样结果，重复运行可暴露跨运行变化。作者将其影响区分为排序随机化，而非系统性偏置。
• A4–A6 攻击条件与二值化：分别考察静态或自适应攻击、防御知识，以及部分完成、拒绝后重试等轨迹如何计入成功。作者不主张六轴独立或效应可相加。

语料构建与纳入规则

作者以十二组 arXiv 查询检索2025年1月1日至2026年9月30日的记录，按是否涉及智能体行动和实证安全研究筛选，再读取可取得的 HTML 全文。

定量 ASR的纳入规则是：ASR 提及附近出现数字百分比。最终分析259篇，实际发表日期为2025年2月27日至2026年9月17日；其中2025年43篇、2026年216篇（第 IV-A 节）。

自动编码与人工质量检查

正则检测器检查报告实践。作者要求部分标记靠近攻击指标和数字，要求威胁模型标记出现在论文自身方法语境中，并排除假设、否定或相关工作造成的匹配。

人工校验包括抽查正例及部分负例、阅读上下文并修订检测器。另以固定 seed 1234 抽取50篇，人工编码方差与重复运行；环境状态判定器、字符串匹配判定器的自动分类未达到作者采用的标准，因此放弃报告其比例（Table I）。

排序反转的分析计算

作者假定评测单位独立、其他环节无误差，只分析当前因素。二项抽样下，最小可检测差异为 MDD=(z_α/2+z_β)√(2p(1−p)/m)，表示给定样本量 m 和真实成功率 p 时，在80%功效、α=0.05下可分辨的差异。

另一分析为判定器设定假阳性率与假阴性率，推导两系统排序反转的条件。作者强调，误判本身不够，系统之间的差异性误判才是关键。

十项报告清单

• 测量对象：报告单位及数量、成功判定器；若用 LLM 评审，给出模型与提示词，并报告人工标签校准。
• 随机性：报告每配置运行次数、区间及解码设置；作者建议不宣称小于相应 MDD 的改善。
• 攻击与效用：报告攻击适应性、查询预算、防御知识、部分成功规则，以及相同防御下的正常任务成功率。

清单是作者提出的报告方案，论文没有验证采用清单后的可比性变化。

研究包含报告实践元分析和分析计算，没有目标模型调用或端到端防御评测。

实验设置

• 被测对象：259篇报告定量 ASR 的智能体安全论文；没有被测模型、攻击模型或 LLM 评审模型。
• 语料流程：检索1,168条记录，去重为911条，筛入550篇，取得535篇全文，最终纳入259篇（Figure 1）。
• 人工样本：随机抽取50篇检查方差和重复运行，seed 为1234；所有人工判读由一名编码者完成（IV-C、VIII）。
• 报告指标：各实践被检测到的论文比例；验证指标包括 precision、recall 和 κ。无攻击或防御实验基线。
• 抽样分析：评测单位独立，功效80%、α=0.05；Figure 2 的真实 ASR 图例为30%和60%，真实差距图例为2、5、10个百分点。
• 计算复核：用200,000次 Monte Carlo 试验检查三个排序反转计算单元；这是模拟次数，不是智能体运行次数（V-A）。

主结果

下表为 Table II 的自动编码比例，均基于259篇论文；评审校准一行的分母例外，为摘要确认的64篇 LLM 评审使用论文。作者将这些比例视为检测器估计值。

报告实践	比例	分母及条件
无攻击指标方差且无重复运行	65.3%	259篇，自动编码
攻击指标方差或 CI	23.9%	259篇，严格邻近约束
每配置重复运行	20.5%	259篇，修订后检测器
任意解码信息	30.9%	259篇，温度/greedy/seed
LLM 评审与人工标签校准	29.7%	64篇确认使用评审的论文
攻击预算	10.8%	259篇，自身方法语境
正常任务效用	37.8%	259篇，靠近攻击指标和数字

• 主要估计：作者以人工结果为主：50篇中58.0%既无方差估计，也无重复运行，95% Wilson CI 为44.2–70.6（IV-C）。
• 自动估计的关系：检测器依据同一人工样本修订；作者明确称，全语料估计不是人工结果的独立确认。
• 作者解读：作者认为，不确定性、评审校准和威胁模型报告影响结果的可解释性及跨论文比较。

人工校验与检测器失败

• 组合一致性：自动与人工对“无方差且无重复运行”的判定在50篇中一致44篇，κ=0.75；方差、重复运行各自的κ为0.84、0.66（IV-C）。这不是两名人的一致性。
• 误差方向：修订后，50篇样本的自动/人工方差报告率为24.0%/26.0%，重复运行报告率为26.0%/32.0%（IV-C）。作者将漏检视为必须检查的误差。
• 放弃的分类：作者没有报告环境状态或字符串匹配成功判定器的语料比例；Table I 标记为 drop。不能把初版检测率当作有效结果。

样本量与随机排序反转

• MDD 标注：Figure 2(a) 在 m=100 处标出18.2个百分点，纵轴为 MDD (pp)。图例有 ASR=30%和60%，但文本转换无法将该标注明确对应到其中一条曲线。
• 排序反转：第 V-A 节报告，100个评测单位、真实差距5个百分点时，正态近似反转概率约21%；差距2个百分点时约38%。这不是实际防御结果。
• 模拟例外：三个计算单元的 Monte Carlo 与近似相差不超过2.3个百分点；m=100、差距5个百分点时分别为.237与.214。作者称，近似略低估反转概率。

成功判定器的差异性误差

• 设置与结果：第 V-B 节设真实 ASR 为0.25和0.35、共同假阳性率0.02，假阴性率从五个取值组成25种组合；只有1种发生排序反转。
• 反转组合：该组合的两系统假阴性率分别为0.02和0.30。作者称，反转需要较大的系统间差异性误差，而非仅有一个不完美评审。
• 结论边界：作者明确说，发现不是“评审已造成排序反转”，而是多数依赖评审的论文未测其校准。这里没有经验性的评审误差测量。

其他消融与分析

• 方差邻近约束：严格23.9%，无邻近约束34.7%（Table II）。
• 重复运行检测修订：全语料检测率从10.8%改为20.5%（Table I）。
• 评审校准检测修订：从13.0%改为29.7%（Table I）。
• 攻击条件报告：自适应攻击30.5%，防御知识16.2%（Table II）。
• 部分成功规则：报告率2.3%（Table II）。
• 解码信息细分：温度20.8%，seed 15.1%（Table II）。

作者明确区分已测量的报告实践和尚未验证的经验后果，局限集中在第 VIII 节。

作者指出的局限与后续方向

• 语料获取：语料仅含英文 arXiv 论文，查询检索会漏掉相关工作；筛入候选中2.7%无 HTML，未进入分析（VIII）。
• 编码召回率：除主要结论的两个检测器外，其他比例依赖4–12项的小样本精确率检查，召回率未测。作者建议将其读作下界（VIII）。
• 单人判读：κ 衡量检测器与一名判读者的一致性，不衡量人的主观差异。作者将第二名独立判读者检查同一50篇列为改进方向（VIII）。
• 数字丢失：另有88篇提及 ASR 却未检测到数字，其中26篇有渲染数字丢失特征。作者估计纳入总体在259至347之间，但未验证丢失与报告实践是否独立（VIII）。
• 分析假设与实证后续：任务相关性和共享环境违背独立性假设，作者称其 MDD 因而偏乐观。端到端运行防御、检验经验性排序反转是作者提出的下一步（VIII）。
• 清单未验证：作者没有检验采用十项清单是否改善跨论文可比性（VIII）。

实验覆盖范围

• 人工编码范围：50篇随机样本用于主要结论；检测器修订也使用该样本，作者提醒其一致性估计偏乐观（IV-C）。
• 判定器分类范围：环境状态与字符串匹配分类被放弃，没有对应的有效语料比例（IV-B、Table I）。
• 分析复核范围：Monte Carlo 检查三个计算单元；论文没有模型调用或经验性防御排序结果（V-A、VIII）。
• 额外变化来源：作者提及但未测量模型版本漂移、环境与工具集版本、上下文窗口效应（III）。
• 复现材料：正文给出筛选规则、检测器约束和人工样本 seed；作者尚未公开复现仓库（Reproducibility）。

ASR 的可比性是研究对象：作者认为，统一指标名称不等于统一测量程序，智能体的多步行动使分母、成功判定和攻击条件成为必须说明的选择。

• 框架：作者划分六轴，认为其中分析单位、成功判定器、攻击适应性和防御知识可能改变系统排序；运行次数影响抽样不确定性。
• 报告实践：在50篇人工样本中，58.0%既未报告攻击指标方差，也未报告重复运行，95% Wilson CI 为44.2–70.6（IV-C）。259篇自动编码的对应比例为65.3%（Table II）。
• 评审校准：摘要确认64篇使用 LLM 评审，其中29.7%报告与人工标签的校准检查（Table II）。作者没有实测这些评审的错误率。
• 统计后果：第 V-A 节计算，100个独立单位、两防御真实 ASR 相差5个百分点时，正态近似的排序反转概率约21%；这属于分析结果。
• 反例与边界：在真实 ASR 为0.25和0.35、共同假阳性率0.02的设定中，25种假阴性率组合仅1种反转（V-B）。作者承认，判定器反转需要差异性误差。
• 实践建议：十项清单要求报告分母、判定器及校准、重复运行与不确定性、解码、攻击预算与知识、部分成功及正常效用。作者称跨论文比较尚无共同契约；清单和经验性排序反转仍待验证。