跳到正文
原文
论文追踪· arXiv:2610.10062·本站收录 · 原文发表

研究:Agent 更依赖工具报错通道,静默错误识别率仅 58.8%

Agent 工具故障恢复与行动时限下的安全保证:2 篇摘要级候选

AI 导读

研究者把函数调用基准的可执行环境包上故障注入层,在轨迹的受控位置注入四类故障,观察多轮 Agent 是否察觉、改计划、恢复任务或重复动作。来自三个模型家族的六个模型(半数为推理变体)在 24 个多步任务上跑了 1,920 次试验:工具返回显式错误时,91.3% 的试验被当作问题处理;返回看似合理的错误值时只有 58.8%,而在一切正常时报告问题的比例为 26.8%。推理模型并未占优,与同族 instruct 模型相比察觉更少(-9.3 个百分点,p < .001)、更多改变计划(+10.4 个百分点,p < .001),恢复率无差异(p = .512)。由于 Agent 具有随机性,同一任务两次无故障运行只有 63.3% 落在相同状态;以此为基线,只有工具缺失明显降低恢复率(39.9%),超时、schema 漂移和结果损坏都在运行间波动范围内。提示词中要求检查每个结果并未提升识别率。

阅读原文arxiv.org