Box² Bench：语言模型能否有选择地依赖外部指导

研究者提出 Box² Bench，在模型和任务固定的前提下改变工作流的可靠性，分别测量模型能否利用有用工作流、能否抵抗误导性工作流。结果显示，可靠工作流通常提升表现，但误导性工作流仍会显著拉低成绩，能力较强的模型同样对外部指导的可靠性敏感。作者随后用仅含坏工作流的训练数据微调两个开源权重模型，反事实监督微调让模型对误导性指导更鲁棒，基于结果的强化学习进一步让模型更多利用有用工作流，而训练中从未见过好工作流。这种选择性依赖还迁移到其他易出错的外部信息上，在多智能体推理中表现为更好的同伴纠错，对受损记忆也更鲁棒。作者认为，随着智能体依赖工作流、记忆、工具和其他智能体，对不可靠外部信息的选择性依赖可能成为任务表现之外的重要可靠性维度。