论文指出 Agent 安全评测中攻击成功率并非单一数值
Attack Success Rate Is Not a Number: On Measurement Validity in Agentic AI Security Evaluation
AI 导读
论文认为当前 Agent 安全评测中广泛使用的攻击成功率（ASR）并非单一指标，而是由六项设计选择参数化的一族指标，论文之间很少说明且从未保持一致。作者对 2025 年 2 月至 2026 年 9 月间发布到 arXiv 的 259 篇 Agent 安全论文做全文元分析，发现多数未报告方差估计或重复运行：手工编码的 50 篇随机样本中为 58%（95% CI 44-71），对全部 259 篇自动编码为 65.3%；仅 30.9% 披露了足以判断评测是否随机的解码信息，在确认使用 LLM judge 的 64 篇中，29.7% 报告了与人工标注的一致性检验。