跳到正文
原文
arXiv· arXiv:2607.17291· Jun Nie, Zhiqin Yang, Zhenheng Tang, Yonggang Zhang, Xiaowen Chu, Xinmei Tian, Bo Han·本站收录· 原文发表

DRNOISE:在误导性证据环境中评测深度研究智能体

DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments

AI 导读

研究者提出 DRNOISE,这是一个包含 100 项任务的基准,用于评测深度研究智能体在误导性证据环境中恢复答案的能力。每项任务都有一个唯一的正确答案,且有两条相互印证的间接记录链支持该答案;此外还设置了噪声条件,额外加入一份看似合理、却直接给出冲突答案的文档。该基准覆盖十类证据操作。在共享的智能体框架中,在干净任务上表现强的模型在仅加入上述干扰文档时,准确率下降 66 至 88 个百分点。轨迹分析显示,智能体常表现出验证惰性:它们检索到真实记录,却在未充分核对这些记录与直接给出答案的文档是否一致的情况下,就采信了后者。

阅读原文arxiv.org