Blindspot：面向长程工具调用 Agent 的安全与拒答校准基准
BLINDSPOT: A Benchmark for Safety and Refusal Calibration in Long-Horizon Tool-Using Agents
AI 导读
研究者提出 Blindspot，一个针对长程工具调用 Agent 的轨迹级安全校准基准，通过自适应对抗交互、有状态工具执行和基于执行结果的判定来评估完整的用户—Agent—环境轨迹。当前版本包含 7 个领域的 22 类攻击和 35 个场景，生成超过 2500 条长程轨迹，平均交互长度 14.7 轮，每条轨迹被归为安全完成、正确拒答、不安全完成、过度拒答或不确定五类结果之一。与固定攻击数据集不同，Blindspot 是可扩展的实时仿真框架，攻击、场景、工具、策略、领域和 Agent 配置均可新增而无需重设计评测流程。