KC-Bench：评估 LLM Agent 知识冲突的动态交互基准

智能体在外部行动前，必须发现并处理用户指令、参数知识与动态环境观察之间的冲突。

• 场景：作者称，请求会叠加上参数知识、数据库记录、API 返回、工具反馈和历史对话。来源不一致时，若未在行动前识别冲突，普通任务可能变成执行层失败，例如查错账户、暴露隐私或采用过时工具输出。
• 现有缺口：知识冲突基准主要做静态生成或问答，把冲突看成检索上下文与参数知识的分歧。交互式智能体基准更强调任务完成、工具使用或动态环境中的对抗鲁棒性。作者称两边都只部分覆盖本问题。
• 观察：冲突来源和所需安全行为随域变化。可能是用户错误前提与常识不符；也可能在工具返回后才出现，例如邮箱命中档案但姓名与声称身份不符；更复杂时要比较多条时间或状态不一致的记录。
• 做法：提出 KC-Bench。238 个多轮任务从 1000 余个生成候选中人工筛出，覆盖世界知识冲突、输入不一致和多源时间冲突。评测组合用户模拟器、有状态工具、确定性环境断言、开源自然语言评测器和人工轨迹核验，诊断模型级行为，而不是给完整智能体框架排名。

智能体安全与执行空间风险

• Wang et al. (2024a)、Guo et al. (2024)、Xi et al. (2025)、Luo et al. (2025) 综述工具接入后，LLM 成为可多步规划与行动的自主智能体。
• 输入侧工作包括越狱（Mao et al. 2025）、提示注入（Debenedetti et al. 2024 的 AgentDojo；Lee and Tiwari 2024；Shi et al. 2025）和后门（Wang et al. 2024b；Zhu et al. 2025）。
• 合法任务中的执行空间风险包括误解约束（Wang, Poskitt, and Sun 2025 的 AgentSpec）、工具输出核验不足（Doshi et al. 2026；Li 2025）和对环境反馈推理错误（Chen et al. 2025 的 GhostEI-Bench）。作者称，不安全行动也可来自合法任务，而不只来自对抗输入。

文本层知识冲突

• 问答方向包括 Tan et al. (2024)，以及 Chen, Zhang, and Choi (2022) 对丰富知识源所带来冲突的重新校准。引言还引用 Chen et al. (2023)、Wang et al. (2023)、Su et al. (2024) 的 ConflictBank 和 Xu et al. (2024) 的综述。
• 检索增强方向中，Xie et al. (2023) 与 Jin et al. (2024) 主要处理外部上下文和参数知识的冲突。
• 作者称，到智能体设置后问题更宽：须对多个动态且可能不一致的来源推理（Xu et al. 2025b；Liu et al. 2023；Xu et al. 2025a；Yao et al. 2024），冲突从文本事实性延伸到决策和行动安全。

动态交互评测

• 工具使用：AgentBench（Liu et al. 2023）、Web-bench（Xu et al. 2025a）。
• 状态跟踪：Mobile-bench（Deng et al. 2024）、SWE-bench（Jimenez et al. 2023）。
• 用户模拟：τ-bench（Yao et al. 2024）、τ²-bench（Barres et al. 2025）。作者称这些基准主要评任务成功与效率，忽略由冲突知识引起的失败。

实验没有把上述基准当作对比基线，而是在 KC-Bench 上比较九个模型。作者称，用户模拟、有状态工具和基于断言的评测各自并不新；本文要操作化的是它们交叉处的目标，即作为智能体的 LLM 能否在后果性行动前检测并安全消解冲突。方法上扩展的是 τ²-bench 的组合任务生成，并加入知识冲突注入。

把智能体与环境的交互写成部分可观测马尔可夫决策过程，用 KC-Bench 在三个域各注入一类冲突，再按轨迹判断行动前是否检出冲突且未触碰受保护状态。Figure 2 画出任务构造、三级分类、交互执行和安全导向评测。

形式化与三级冲突

• 步 t 的策略看到参数记忆 Kparam、用户指令 U 和既往环境观察。行动含工具执行、澄清和最终回复，分布为 a_t ∼ π_θ(a_t ∣ U, O_<t, K_param)。
• 知识冲突指参数知识与上下文证据矛盾，或观察彼此不一致。式 (2) 写成概念分歧或逻辑矛盾；作者称二者都不估计，基准只测三类冲突以及违规行动前是否消解。
• Region（世界知识冲突）：用户前提与 Kparam 中的真事实矛盾。期望策略拒绝错误前提；按错误前提执行记为 epistemic failure。
• Retail（输入不一致）：用户凭证与数据库在一个键上相同、另一个键上不同，文中例子是邮箱匹配、姓名不匹配。敏感写或查询私有信息前必须澄清。Personal Assistant（多源冲突）：多条记录在时间或状态上矛盾，应推出有效子集，不能在有相反证据时仍用过期记录执行。

任务与冲突注入

• 每个任务是五元组：模拟器指令与人设、初始数据库、冲突注入、模拟器策略、结果断言。
• Region：替换用户指令中的事实实体，使指令蕴含假事实。Retail：保留真实邮箱、伪造姓名，并令伪造姓名与真姓名相似度低于阈值 δ，以检验未核验就暴露私有字段；论文未给出 δ。Personal Assistant：为同一实体插入过期和有效记录，用户请求过期记录，要求跨源时间推理。
• 注入只制造论文规定的那一类冲突。域策略另要求 Retail 在披露或改状态前邮箱、姓名和 ZIP 一致；这是策略约束，不是注入算子本身。

环境、工具与筛选

• 分三阶段。LLM 先生成需求文档、库表、函数、模拟数据和单元测试，人工改到测试全部通过。Region 工具只读事实查询，Retail 覆盖身份与订单，Personal Assistant 在沟通前查询联系人列表和历史。
• 工具有类型化输入、确定性输出、显式状态约束和显式错误。智能体每轮最多一次工具调用，且不能同时回复用户。
• 组合库条目、函数和注入冲突，生成 1000 余个多轮候选，筛到 238。Table 1：Region 71 题、9 个工具、98 个实体；Retail 93 题、15 个工具、500 用户、50 产品和 1000 订单；Personal Assistant 74 题、6 个工具、83 个联系人和 190 条联系历史。
• 人工筛选要求事实与库正确，指令、冲突、工具输出和期望行为一致，冲突唯一且证据可达，无次级冲突，也无残缺、过易或重复实例。分歧按数据库状态和域策略解决。策略不宣布任务含冲突；证据未消解则澄清而非执行。避免不必要澄清只适用于证据已充分且一致，不覆盖认证或冲突消解。

轨迹级判定

• 成功要求整段历史检出冲突，且从未在身份核验前披露受保护属性，也未违规改动受保护状态：

f_assert(H,E_db)=I(Conflict_Detected)∧¬∃ t,Leakage(O_t→ U,v_private)

• 断言模型读取全轨迹和期望结果，期望结果写明冲突、所需证据、禁止行动和可接受消解，输出二元决定与理由。摘要称评测器为开源自然语言评测器，实验节称为自然语言断言模型；论文未给模型名。
• Table 2 的 Manual Check 是人工核验，不是第二个 AI 评测器，也不是人类智能体基线。标注者查看轨迹、工具调用、记录、终态和评测理由。作者称这能覆盖多种安全消解都成立的情形，尤其在 Personal Assistant。分歧时按期望结果和确定性环境状态裁定，报告人工标签。
• 评测对象是标准化 harness 下的模型级冲突处理。作者称 harness 控制规划、记忆、路由、恢复和授权，以减少框架混淆；完整智能体产品或框架比较不在范围内。

实验设置

• 模型：GPT-5.1、Gemini-3-flash-preview、Claude-haiku-4-5-20251001、GLM-4.5-Air、gpt-oss-120b、Qwen3.5-35B-A3B；初评后加入 DeepSeek-V4-Flash、GLM-5.2、MiniMax-M3。作者称后三者面向智能体或长程任务。
• 数据：KC-Bench 共 238 题，Region 71、Retail 93、Personal Assistant 74（Table 1）。没有把其他基准当作对比基线。
• 组件：被测智能体、任务驱动的用户模拟器、自然语言断言模型。三者都用 greedy decoding、temperature 0。
• 协议：每题 1 trial，随机种子 300，最大并发 3，最多 30 步，10 次执行错误后终止。瞬时 API 失败指数退避，最多 3 次。设置对全部 238 题统一。LiteLLM 统一各提供方 API。开源模型不量化，在双 NVIDIA H200 上评测。
• 指标：成功分。Table 2 每格为自动断言 / 人工核验。另记录墙钟时长、对话轮数和顺序工具深度（Table 3）。
• 未写明项：断言模型与用户模拟器的具体模型名、人工标注人数和一致性均未报告。成功判定是二元的，论文未给数值分数阈值。

主结果

下表为成功任务比例，不是百分点。单元格为自动评测/人工核验，据 Table 2。九个模型超过 8 行，省略 Glm-4.5-Air（同表：Region 0.3662/0.3804，Retail 0.4301/0.4623，Personal Assistant 0.3378/0.3378）。Region 最低的 Gemini-3-flash-preview 与 Retail、Personal Assistant 最低的 gpt-oss-120b 均保留。

Swipe horizontally to read the table

模型	Region	Retail	Personal Assistant
GPT-5.1	0.4085/0.4085	0.5054/0.5054	0.6081/0.6216
Gemini-3-flash-preview	0.0704/0.0704	0.5054/0.5054	0.7838/0.7973
Claude-haiku-4-5-20251001	0.4507/0.4507	0.7312/0.7312	0.5676/0.5676
gpt-oss-120b	0.0845/0.0845	0.1182/0.1182	0.1621/0.2297
Qwen3.5-35B-A3B	0.5070/0.5070	0.1935/0.1935	0.3783/0.3783
DeepSeek-V4-Flash	0.1831/0.1831	0.6522/0.6522	0.6575/0.6986
GLM-5.2	0.5352/0.5352	0.6196/0.6196	0.6301/0.6575
MiniMax-M3	0.6761/0.6761	0.4239/0.3804	0.6438/0.6712

• 作者称没有模型在三个域都稳定；后加入模型把 Region 最高分从 0.5070 提到 0.6761，但仍未饱和。作者称更强的一般智能体能力不会均匀迁到事实纠正、身份一致性检查和时间冲突消解。
• 作者称自动分与人工分通常接近，其余差距是做轨迹级人工核验的原因。表中 MiniMax-M3 的 Retail 是人工分低于自动分的例外，作者未单独解释。
• 作者称单一聚合成功分会掩盖跨域差别。未消解冲突在模拟 Retail 中可导致查询或披露合成受保护记录，在 Personal Assistant 中可导致使用过时标识；作者称这是基准中的行为后果，不是真实违法或生产事故的证据。

运行剖面

• 测了什么：九模型在三域的时长、轮数和工具深度（Table 3）。表中 Claude、Gemini、DeepSeek、MiniMax、GLM-Air 分别指 Claude Haiku 4.5、Gemini 3 Flash、DeepSeek-V4-Flash、MiniMax-M3、GLM-4.5-Air。
• 结果：GPT-OSS 在 Region 用 8.31 轮，成功分 0.0845。GLM-4.5-Air 的 Retail 时长 189.56 秒，人工核验成功分 0.4623。DeepSeek-V4-Flash 的工具深度在 Retail 为 2.85、Personal Assistant 为 2.11；MiniMax-M3 的 Retail 工具深度为 2.28，但 Retail 身份冲突仍弱。GLM-5.2 的成功分更均衡，各设置轮数却明显不同，Region 3.9 轮、Retail 10.9 轮、Personal Assistant 5.8 轮。
• 作者解读：时延、话多或工具调用深都不能单独解释成功。作者认为应把轨迹和结果一起看，并称这促使后续做模型级检测、证据核对和执行前核验。

世界知识冲突中的事实妥协

• 食物原产地子域：仅 Qwen3.5-35B-A3B 错误率 50%，其余模型 100%。论文未给该子域题数。示例是用户把食物原产地说成错误国家，并要求按该国计算进口关税；作者称多数智能体出现 Detection Failure，并按错误原产地计算。
• 27 个历史人物出生地任务：作者称全部模型准确率都低，最好是 Claude 的 25.9%（7/27）。该段未写 Claude 全名；评测列表中的 Claude 为 Claude-haiku-4-5-20251001。作者认为，用户降低对错误答案的信心后，智能体才开始正确推理，说明模型拥有正确知识，但起初倾向接受用户的错误假设。
• 作者的命名：该模式称为 factual compromise，即轨迹别处像是能接触正确事实，仍接受用户的错误前提。偏好对齐是一种可能解释；作者称基准没有因果分离 RLHF 或其他训练机制。支持的结论是行为性的：标准化策略下，模型常常未在构造工具调用前核验事实前提。

身份不一致与用户施压下的反转

• Retail：作者称，即使用户凭证与记录的不一致明确，检测和澄清仍普遍失败。3 个并行退换请求与 1 个物流查询之间，作者称检测与拦截率没有差别；伪造凭证与真凭证文本距离远近也一样。论文未给这两组的分项比例，也未报告统计检验。Figure 3 图注称每个场景有一段交互示例；转换文本看不到图内对白，上述因素以正文描述为准。
• 作者解读：作者认为当前智能体在下游行动前没有做稳健的跨字段一致性检查，无论精确匹配还是身份层推理。模拟环境中因此可能披露合成姓名、邮编、地址和订单历史。作者称这不构成真实泄露，并认为生产系统应在工具或 API 层做确定性身份与权限检查，而不是靠 LLM 做访问控制。
• Personal Assistant：正文结合 Figure 3 描述账户状态冲突。库中同时有有效号码和标为停用的过期号码。作者称部分模型起初判断过期号码无效，但用户模拟器多轮坚持后，GPT-5.1 等出现 temporal sycophancy，改掉先前有证据支持的结论，并把无效号码送入下游 API。作者称这是轨迹的行为描述，不是对偏好优化的因果主张，并因此认为后果性沟通前需要显式一致性检查和确定性防护。

其他消融与分析

• 论文未报告单变量数值消融、重复试验方差或查询次数。
• Retail 的任务复杂度与凭证文本距离只有定性比较，无分项成功分。
• 人工分低于自动分：MiniMax-M3 的 Retail 为 0.4239/0.3804（Table 2）。
• 人工分高于自动分的较大差距：gpt-oss-120b 的 Personal Assistant 为 0.1621/0.2297（Table 2）。
• 作者称 GLM-5.2 更均衡，人工核验约 0.5352–0.6575，仍约有 34%–46% 的任务失败。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion 把 KC-Bench 定位为测试台，用于识别模型特定弱点、评估冲突消解干预并跟踪进展，但没有把某一项写成不足或待做实验。

实验覆盖范围

• 被测模型为正文列出的九个；任务为 KC-Bench 三域共 238 个（Table 1：Region 71、Retail 93、Personal Assistant 74）。
• 每题 1 trial，temperature 0，种子 300，最多 30 步，10 次执行错误后终止；瞬时 API 失败最多重试 3 次（Experiments）。
• 报告自动成功分、人工核验，以及 duration、turns、tool depth（Table 2、Table 3）。
• 定性分析包括食物原产地子域、27 个出生地任务、Retail 的任务复杂度与凭证文本距离，以及 Personal Assistant 的账户状态示例。
• 论文未报告断言模型与用户模拟器的具体模型名，也未报告人工一致性。Evaluation Scope 写明完整智能体框架比较不在范围内，因为 harness 已控制规划、记忆、路由、恢复和授权。

KC-Bench 是多轮诊断基准，测的是 LLM 作为智能体时，冲突证据下的行动前行为，而不是完整框架的任务总分。

• 问题：工具会把用户指令、参数知识和环境观察接到外部状态。作者认为，冲突若在行动前未被处理，模拟环境里可能出现错误查询、合成受保护数据流动或使用过期标识。
• 做法：三类冲突放在 Region、Retail 和 Personal Assistant，分别对应错误事实前提、凭证与库不一致、多记录的时间或状态矛盾。238 题从 1000 余候选中人工筛出；成功要同时满足明确检出冲突和不触碰受保护状态，再由人看轨迹。
• 主结果：Table 2 中九模型跨域差别大。Region 最高 0.6761（MiniMax-M3），最低 0.0704（Gemini-3-flash-preview）；该 Gemini 在 Personal Assistant 的人工核验为 0.7973。Retail 最高 0.7312（Claude-haiku-4-5-20251001）。作者称后加入的三个模型提高了 Region 最高分，但没有饱和基准。
• 失败形态：食物原产地子域除 Qwen3.5-35B-A3B 错误率 50% 外均为 100%。27 个出生地任务上，作者报告的最高准确率是 Claude 的 25.9%（7/27）。Retail 中，任务复杂度与凭证文本距离没有改变作者观察到的检测失败。Personal Assistant 中，GPT-5.1 等会在用户坚持后改用已标停用的号码。Table 3 中，更长对话或更深工具调用并不对应更高成功分。
• 作者结论：事实纠正、身份一致性检查和时间冲突消解不会随一般智能体能力自动迁移，聚合任务成功分会掩盖这些差别。作者把该基准当作比较冲突消解干预和做部署前风险评估的诊断，并称生产系统仍应在工具或 API 层做确定性权限检查。