KC-Bench：评估 LLM Agent 知识冲突的动态交互基准
KC-Bench: A Dynamic Interactive Benchmark for Evaluating Knowledge Conflicts in LLM Agents
AI 导读
研究者提出 KC-Bench，一个受控多轮基准，用于测量 LLM Agent 在调用工具前协调用户指令、参数化知识与动态环境观察的能力，覆盖世界知识冲突、输入不一致和多源时间冲突三类场景。238 个任务从 1000 多个候选生成样本中人工筛选，结合用户模拟器、有状态工具、确定性环境断言、开源自然语言评估器和人工轨迹验证。对 DeepSeek-V4-Flash、GLM-5.2、MiniMax-M3 等九个模型的评估显示跨领域差异明显，没有模型能在所有设置下可靠处理事实纠正、身份一致性检查和时间冲突消解。在模拟环境中，被忽略的冲突可能传播到工具调用或合成的受保护数据流。KC-Bench 隔离模型层面的行为而非对完整 Agent 框架排名，为开发冲突感知的推理与执行防护提供可复现诊断。