DelegationBench 评测 Agent 授权委托行为
先了解这件事
研究者发布 DelegationBench（另一则材料称 DiscretionBench），用 156 个场景（含 48 组只改一个特征的对子）测量 AI Agent 何时应先征求用户许可，模型需在直接执行、请求许可、追问缺失信息和拒绝之间选择。研究称固定回复「是」可解决 97.5% 的简单许可问题，但混合型问题仅约 33.3%–75.0%；规则明确写出时三款受测模型平衡准确率为 97.3%–100%。论文评估 5 个家族 10 款模型，报告单一一致率掩盖的三个差距，并建议把判断一致率、对子响应性、格式敏感度和实际执行行为纳入评测。
AI 根据报道生成 · 4 天前更新
后续时间线
- 论文追踪精选DelegationBench：Gemini 3.5 Flash-Lite 判断时 47.5% 会先问用户，真用工具执行时只剩 4.2%
研究者发布 DelegationBench，用 156 个场景（含 48 组只改一个特征的对子）测量 AI Agent 何时该先征求用户许可，区分直接执行、请求许可、追问缺失信息和拒绝四种回应。研究还发现固定回复一个简单的「是」可解决 97.5% 的简单许可问题，但混合型问题只有约 33.3%–75.0%；在规则被明确写出的情况下，三款受测模型的平衡准确率为 97.3%–100%。作者建议把判断一致率、对子响应性、格式敏感度和实际执行行为分开报告，并公开了基准与评测工具。
- 日期未标PieLord757/delegation-bench精选DiscretionBench 发布：Agent 判断该不该先问用户，拿到工具后询问率大幅下降
研究者发布 DiscretionBench，用 156 个场景测试 AI Agent 在执行动作前是否应先征求用户授权。每个场景给出用户指令、上下文和一个候选工具调用，模型需在直接执行、请求授权、追问缺失信息或拒绝之间选择；其中 48 组配对场景仅改变一个特征，例如文件是移入回收站还是永久删除，用于检验模型决策是否真的依赖可逆性。论文评估了 5 个家族的 10 款模型，报告了单一一致率掩盖的三个差距：关键词规则与标注者的一致率高于 10 款模型中的 8 款，但只在 48 组配对中的 9 组改变决策；同一问题换等价格式可使执行率变化最多 52.5 个百分点；所有模型在需要用工具实际执行任务时（Tool-Loop）比仅判断候选动作时更少询问用户。仓库包含基准、提示词、工具沙箱、分类结果和无需调用模型即可核验数字的脚本，代码用 MIT 许可，数据用 CC BY 4.0 许可。
相关讨论
关注度走势
每天新增来源
- 10月8日新增2个来源（2家媒体、0个账号）
- 10月9日新增0个来源（0家媒体、0个账号）
- 10月10日新增0个来源（0家媒体、0个账号）
- 10月11日新增0个来源（0家媒体、0个账号）
- 10月12日新增0个来源（0家媒体、0个账号）