迷失在噪声中：推理模型为何在上下文干扰下失效
Lost in the Noise: How Reasoning Models Fail with Contextual Distractors
论文速读
据论文全文整理（AI 生成），以原文为准
论文提出 NoisyBench 基准，在 RAG、推理、对齐与工具使用四类共 11 个数据集上加入随机文档、无关聊天历史和硬负例干扰，评测发现 SOTA 推理模型平均性能最多下降约 80%。
- 推理模型与 agentic AI 越来越依赖外部信息，但真实输入常含噪声（错误检索、无关聊天历史、hard negative 干扰），而现有 benchmark 只用干净输入，无法反映真实部署中的表现。
- 作者提出 NoisyBench，在 RAG、推理、对齐、工具使用四类共 11 个数据集上加入随机文档、随机聊天历史与 hard negative 干扰；并提出训练集 NoisyInstruct 与 Rationale-Aware Reward（RARE），奖励模型在推理中识别噪声里的有用信息。
- 评测显示 SOTA 模型在干扰下平均性能最多下降约 80%，hard negative 影响最大；随机干扰也能触发 misalignment，agentic workflow 会因过度信任工具输出而放大错误。prompting、context engineering、SFT 与 outcome-reward RL 均难以提升鲁棒性，而 OR+RARE 在各干扰设置下稳定优于 OR；分析还发现干扰导致 test-time 计算的反向 scaling、输出熵升高，以及模型对干扰 token 的注意力过高。
- 作者只评估生成显式思维链的推理模型和依赖它们的 agentic 系统，未涉及预训练基座模型、纯指令微调模型与多模态场景；未来可研究噪声干扰与多模态输入的交互。
论文提出 NoisyBench 基准，在 RAG、推理、对齐与工具使用四类共 11 个数据集上加入随机文档、无关聊天历史和硬负例干扰，评测发现 SOTA 推理模型平均性能最多下降约 80%。其中 Gemini-2.5-Pro 在硬负例下平均下降 38.3%，DeepSeek-R1-Distill-Llama-8B 下降 80.6%；不含对抗意图的随机干扰也能让 BBQ 对齐任务从 94.0% 降至 60.5%。作者称带工具的 Agent 工作流在噪声下比基础推理模型更差，原因是过度信任工具输出。提示、上下文工程与 SFT 均未提升鲁棒性，SFT 因灾难性遗忘反而下降；作者提出的 Rationale-Aware Reward（RARE）与结果奖励结合后在所有干扰设置下优于单独使用结果奖励，并观察到测试时计算越多性能越差的逆缩放趋势。
推荐理由论文在 11 个数据集上量化了上下文干扰造成的性能下降，并比较提示、SFT 与 RL 在噪声下的鲁棒性差异。