迈向原则性的 Agent 安全度量框架
Toward a Principled Framework for Agent Safety Measurement
AI 导读
论文提出 Agent 安全应由搜索而非采样来度量，并给出 BOA 框架，在 Agent 安全工作负载上发现了贪心和抽样评测漏掉的不安全轨迹。论文称现有安全评测只跑贪心或少量采样轨迹并报告单一的安全或不安全率，看不到低概率动作可能引发不安全行为的长尾轨迹。BOA 在给定部署配置（模型、解码器、提示词、环境、裁判、似然预算）下搜索预算内的轨迹空间，输出安全分数，即 Agent 在该配置下保持安全的概率；搜索同时覆盖单轮 LLM 内部和智能体-环境交互树，并通过批量解码与裁判、前缀缓存、分块树扩展控制计算成本。BOA 还可用于在同一尺度上对模型、防御和攻击排序，GPU 成本可控。