AgentMonBench：面向长时程智能体行为监控的软件工程基准

长时程执行里，哪些后果性决策值得用户核验，哪些证据能说明其影响。

• 场景：作者称用户把长时程任务委托给智能体后，角色从亲自决策转为监督执行，但责任仍在。活动量与复杂度可能超出用户跟踪和评估的能力。
• 为何难：作者把有效监督对应情境意识：注意到发生了什么、理解意义、预期后续。证据分散在消息、工具结果和中间产物中，有限注意力下难判断哪项要核验（Figure 1）。
• 现有不足：作者称轨迹质量、问题发现与证据检索、澄清或主动交互，并未直接回答本文问题。需要监控器识别影响目标、约束或结果解释的具体选择，并连到上下文证据。
• 本文提出：监控表述、软件工程基准 AgentMonBench，以及免训练的 EBG。三个子集覆盖需求与行为对齐，以及对后果性自主决策的觉察和核验。
• 监控输入：SpecGAP与SilentSwap不提供被删条件或gold映射。FeedbackTrace只给反馈前历史，后续反馈不进入输入（Section 3，Figure 3）。

按引言、Section 2与Appendix A的分组。

人工监督

• 监督责任：Bainbridge (1983)与Endsley、Kiris (1995)讨论自动化减少直接参与后仍留下的监督责任。
• 情境意识：Endsley (1995)、Lee与See (2004)强调情境意识，以及设计对自动化的适当依赖。
• 用户侧：Shen等 (2025)考察用户努力与协作效用；Shen等 (2026)考察终端用户如何引导和审计学习系统。作者称这些视角促使本文让决策及其证据更容易检查。

澄清与主动交互

• 规格澄清：Ambig-SWE（Vijayvargiya等, 2026）与Ask or Assume（Edwards与Schuster, 2026）研究编码智能体如何发现规格缺口并寻求澄清。
• 意图与同意：π-Bench（Zhang等, 2026）评长交互中的隐藏意图；KnowU-Bench（Chen等, 2026）考察偏好征询、同意和拒绝后的克制。
• 作者的对比：这些工作强调补信息、推断意图和恰当交互。作者称AgentMonBench评的是长时程执行中未呈现给用户的后果性选择，以及供核验的证据。

任务基准与过程评估

• 任务基准：PaperBench、ScienceAgentBench、EvoArena、SWE-bench分别评研究复现、科学任务、演化环境适应和issue解决。作者用DeNovoSWE与SWE-chat构造监控任务。
• 过程与发现问题：AgentLens（Sahoo等, 2026）在测试通过时仍看过程质量；TIDE（Jeong等, 2026）评问题发现、证据检索和解决方案。作者称与它们共享用证据考察行为的关切，但中心是供用户核验的决策；FeedbackTrace的目标来自随后的真实反馈，且对监控器隐藏。
• 基准审计：BenchGuard与Automated Benchmark Auditing考察评测基准本身的缺陷，关注评测产物的可靠性。

证据组织与推理监控

• 推理监控：ReDeEP、ReARTeR、DS-MCM分别处理检索上下文与参数知识的使用、过程奖励，以及长时程搜索中的一致性检查。作者称它们评估生成可靠性或引导智能体自身推理；本文关注用户核验。
• 仓库图与来源：RepoGraph（Ouyang等, 2025）为导航组织仓库结构；Wang等 (2026b)研究可追溯行动记录。作者称EBG组织行为、范围和显式关系，再渲染给监控器。
• 基线与数据：实验基线为Base，以及SpecGAP、SilentSwap上的RepoGraph改编。评测集是AgentMonBench。Table A1中，作者把本文的用户反馈标为Real，且对监控输入隐藏。

作者把本文与澄清类工作分开：不评智能体是否主动提问，而评监控器能否识别未呈现的后果性选择并定位证据。

作者用 AgentMonBench 定义三种核验条件，再用免训练的 EBG 把可见上下文组织成证据视图。图的构建和呈现是确定性程序，不调用LLM；语义判断由监控器完成。

基准构造

• SpecGAP：从DeNovoSWE文档删除所选后果性条件的精确文本跨度，仓库不变。尽量每任务保留4–5条。关键性分为Must-Ask与Worth-Ask。
• 证据映射：逐条件映射与整体映射独立搜索同一仓库，不共享中间结果。人工比较两套映射，选正确者或改写；再做删除跨度、出处和摘录的确定性检查。
• SilentSwap：任务文档不变，每任务五个语义替换。Selector选可追踪、可观察的已文档化行为；Builder做最小修改并写语义测试；Quality Checker拒绝影响无关语义或硬编码特例的候选。
• 执行校验：现有测试在替换前后须通过，对应语义测试须由通过变为失败。五个替换并存时，每个语义测试只在其对应替换存在时失败。FeedbackTrace取SWE-chat的Python会话，每会话至多一个pushback；证据单元是助手回复段落，以及工具调用加匹配结果。Gold含核验点、一或两个最小充分证据单元，以及Must-Disclose或Worth-Disclose。

结构化行为图

• 输入：可见上下文为X，其中任务需求为Q；类型为repository或trajectory。流水线为 G = F_τ(X), V = P_τ(G, Q), Y_b = M(Q, V).
• Evidence：每条保留标识、原文和源位置。仓库位置含文件、所属符号和行范围；轨迹保留事件位置和可用源标识。多个行为可引用同一条证据。
• Behavior：仓库为Condition–Operation–Result，轨迹为Demand–Action–Response。仓库以返回、异常或状态更新为锚，互斥路径分开；轨迹按同一用户需求聚合工具动作和助手回复。
• Scope与边：仓库Scope按函数、方法等符号，用路径和限定名标识；轨迹Scope按任务标识或回复、执行链接。仓库边为调用与数据供给；轨迹边为显式引用和按首次出现的前后关系。每条边保留支撑证据。形式化见Appendix D.1。

任务视图

• 仓库四步：Q指导目录排序，监控器选文件；与文档直接匹配的Scope为种子，无匹配时用固定代表Scope。每个种子只扩一跳，保留入射边和对端，再划分弱连通分量。
• 阅读根：每个分量在其种子中选邻居最多者；并列时取Q中最早提及。根只决定阅读入口，不改变所选证据，也不表示执行起点。
• 轨迹：按Task Scope分组，Scope内保持原顺序。最后可见行为所在Scope标Current，其余标History。标签表示截止时的任务状态，不表示发现位置。Appendix D.2、D.3。

运行接口

• 监控输出：对照Q和视图，指出值得核验的后果性决策，并把发现落到可回溯至原始来源的证据。各方法共用任务目标、选择标准和证据要求；提示词只描述各自的输入表示。
• 仓库预算：SpecGAP最多8轮、SilentSwap最多6轮，均含finish。搜索最多12条，查询最多512字符。Base每次最多6个连续块、每块最多400行；RepoGraph最多32个符号子图；EBG最多6个种子文件，保留全部一跳邻居。每次读取返回预算65,536 token。
• 轨迹调用：FeedbackTrace一次调用完整Base轨迹或任务范围视图，无工具调用，不压缩。单次输出上限32,768 token。细节见Appendix D.4。判定规则放在实验设置，不在这里展开分数。

实验设置

• 监控模型：GPT-5.6 Luna、GPT-5.6 Terra、GPT-5.6 Sol、Claude Sonnet 5、DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、Kimi K3、GLM-5.3。温度与top-p用端点默认；推理设置见Table C1。
• 数据：三子集各100例。SpecGAP有484条省略条件、7类；SilentSwap有500次替换、每任务5个、8种机制；FeedbackTrace有100个核验点、4类反馈。平均输入token分别为22,870.32、22,855.91、53,942.98（Table B1）。
• 基线与交互：Base给仓库内容或截止前原轨迹。RepoGraph改编只用于两个仓库子集，用Python AST抽取函数、类及contain、invoke关系；FeedbackTrace记为不适用（Appendix C.2）。仓库轮数上限为8与6；轨迹任务单次调用（Appendix D.4）。
• 指标：规则类为SpecGAP的LF1、SilentSwap的LS、FeedbackTrace的EHR。语义类为SF1、QQ、LC、CC、VPA、ESS。范围0到1，按例等权，评测失败记0。
• 评审：GLM-5.2与Qwen3.7-Max独立评六项语义指标，主结果报算术平均。LF1、LS、EHR不依赖评审模型。评分规则见Appendix C.3。
• 未写明项：论文未报告多次重复，也未报告监控预测与人工判定的一致性。Gold双人一致率另见Section 3.4。

主结果

语义分为两名评审的算术平均，规则分与评审无关。RepoGraph未列入下表；FeedbackTrace上该方法不适用。

表格较宽，可左右滑动

监控模型	SpecGAP SF1 Base	SpecGAP SF1 EBG	SilentSwap LS EBG	EHR Base	EHR EBG
GPT-5.6 Luna	0.250	0.326	0.455	0.530	0.570
GPT-5.6 Terra	0.275	0.392	0.623	0.540	0.580
GPT-5.6 Sol	0.456	0.505	0.671	0.550	0.610
Claude Sonnet 5	0.328	0.331	0.425	0.480	0.600
DeepSeek-V4.1-Flash	0.376	0.372	0.492	0.540	0.600
DeepSeek-V4-Pro	0.123	0.218	0.408	0.340	0.370
Kimi K3	0.494	0.558	0.681	0.550	0.610
GLM-5.3	0.481	0.526	0.708	0.510	0.570

据Table 1。

• 作者称仍有空间：即使给出结构化上下文，识别后果性决策并落到证据上仍有改进空间。
• 并非每格都更高：作者称EBG在多数设置高于Base，仓库比较中也多高于RepoGraph，收益随模型和任务变化。不在表中的低于Base结果包括Terra的FeedbackTrace VPA 0.508对Base 0.513，ESS 0.565对0.588；Sol的SilentSwap CC两者均为0.598（Table 1）。表内Flash的SpecGAP SF1也低于Base。
• 检索与理解分开：作者称更好的证据检索可以与更弱的决策解释同时出现。附录E.1写明，SilentSwap的LS与LC上，八个监控器的EBG都高于Base和RepoGraph。

输入规模

• 测了什么：复用GPT-5.6 Luna、Kimi K3、GLM-5.3的主预测，在每个子集内按输入token分成Low、Medium、High。Figure 5报三模型等权平均的LF1、LS、EHR。
• 结果：作者称三条Base均值从Low到High下降：FeedbackTrace EHR从0.667到0.422，SilentSwap LS从0.557到0.429，SpecGAP LF1下降更小。九组平均比较都偏向EBG。High组绝对增益为LF1 0.078、LS 0.115、EHR 0.108。
• 个别例外：Appendix E.3写明，SpecGAP LF1与SilentSwap LS上，三个监控器在各规模都提高。FeedbackTrace EHR在Luna的Medium组、Kimi K3的Low组下降，GLM-5.3的Low组不变；High组三个都提高。作者称这些是不同输入规模样例之间的差异。

披露检测与假警报

• 协议：每子集从100个正式例中随机取50个应披露样本，并另构50个不应披露样本。三个监控器做二分类。TPR、FPR各以50为分母（Table E6；表注说明数字为百分比）。
• 结果：作者称EBG在全部九组比较中提高TPR，在八组降低FPR。例外是Luna在SilentSwap上FPR从52%升至58%；其FeedbackTrace上EBG的FPR仍为84%。Kimi K3在该子集的EBG TPR为58%。
• 作者的解读：同时报告两项，是为了把假警报减少和漏掉应披露决策区分开。作者称不必要披露对部分监控器仍是问题。

失败阶段

• 归类：复用上述三个监控器的EBG预测。失败按最早阶段只归一次：未选到文件、选了文件但视图缺内容、参考证据已可见但判定失败。SilentSwap只分析定位失败。FeedbackTrace无文件选择步（Appendix G）。
• 占比：GLM-5.2下，判定失败占SpecGAP失败的74.0%–81.2%，占SilentSwap失败的69.4%–76.9%（Table G1）。Luna在SpecGAP的362个失败中，判定阶段294个（81.2%）。
• 轨迹：两名评审下，被审计的FeedbackTrace失败都含完整参考事件，证据呈现遗漏为0，全部归入判定。作者称尚未把遗漏归因到具体的根选择、扩展或渲染规则。

其他消融与分析

• 组件消融（Table E4，Luna、Kimi K3、GLM-5.3）：去掉Behavior、Graph或Guidance后，各任务代表指标SF1、LS或ESS都低于完整EBG；少数其他指标略升。FeedbackTrace无单独Guidance消融。
• 扩展深度1至3跳（Appendix E.4，Luna与GLM-5.3）：测试深度上，SpecGAP三项以及SilentSwap的LS、LC都高于Base；同一监控器与任务的SF1或LS跨深度变化至多0.0303。CC在Luna三跳、GLM-5.3两跳时低于Base。
• 交互轮数：每个匹配预算上，EBG都提高SpecGAP三项以及SilentSwap的LS、LC；SF1与LS在监控器×任务内变化至多0.0272。CC上，Luna在四轮和五轮低于Base，GLM-5.3在四轮有小幅下降。
• 双评审方向：48组监控器–指标比较中，40组（83.3%）对EBG相对Base的方向一致（Table E3）。LC的平均绝对差为0.0969，VPA为0.0953。
• Gold双人一致：SpecGAP 447/484（92.4%），SilentSwap 468/500（93.6%），FeedbackTrace 93/100（93.0%）（Table B2）。这与模型草稿保留率分开：映射322/484（66.5%），SilentSwap草稿486/500（97.2%），证据集64/100（64.0%）（Table B3）。
• Codex Harness五个研究任务、有无harness各一次（Table 2，Appendix F）。作者称无harness时不披露关键问题，有则识别并披露。论文未报告这五例的定量分数。

作者指出的局限与后续方向

论文未设独立Limitations节。Appendix G.4写出两条后续方向。

• 内容级覆盖：文件选择和呈现遗漏促使更好的任务引导检索与自适应图扩展。作者写未来证据视图可判断所选内容是否支持候选决策，支持不完整时再请求上下文（Appendix G.4）。
• 证据已可见的失败：作者写许多失败发生在参考证据已经提供给监控器时。未来实验可固定证据内容，分别改变组织方式和推理过程，看哪些改变减少这些失败（Appendix G.4）。

实验覆盖范围

• 主结果为八个监控模型、三个子集各100例，对照Base；RepoGraph只用于SpecGAP与SilentSwap，Appendix C.2说明它不适用于FeedbackTrace。
• 语义分由GLM-5.2与Qwen3.7-Max独立给出，主表报算术平均；LF1、LS、EHR为规则计算。
• 输入规模分析覆盖GPT-5.6 Luna、Kimi K3、GLM-5.3；深度和轮数扫描覆盖Luna与GLM-5.3的两个仓库子集，不含FeedbackTrace（Appendix E.3、E.4）。
• 假警报评测为每子集50个应披露加50个不应披露，三个监控器（Table E6）。失败归因复用这三个监控器的EBG预测，两名评审分别统计（Appendix G）。
• Codex应用为五个研究任务，有无harness各跑一次（Appendix F.3）。论文未报告监控预测与人工判定的一致性，也未报告统计显著性检验。

长时程软件工程任务里，用户要判断智能体哪些选择值得核验。作者用AgentMonBench评测监控器，并用免训练的EBG组织带源证据。

基准从DeNovoSWE与SWE-chat构造，三子集各100例。SpecGAP删除文档中的后果性条件；SilentSwap在现有测试仍通过时加入五个语义替换；FeedbackTrace以真实反馈定位核验点，但监控器只看反馈前轨迹。EBG把证据编成行为，再按范围和显式关系成图，渲染一跳仓库视图或Current/History轨迹视图，语义判断留给监控器。

八个监控模型相对直接读取原文评测，仓库任务另比RepoGraph（Table 1）。作者称多数设置下决策识别和证据定位更高；附录E.1写明SilentSwap的LS与LC在八个监控器上都高于Base和RepoGraph。Kimi K3的EBG SF1为0.558，GLM-5.3的EBG LS为0.708，Kimi K3与GPT-5.6 Sol的EBG EHR为0.610。DeepSeek-V4-Pro的Base SF1为0.123。Terra的VPA为0.508，低于其Base的0.513。

作者的结论是：当前模型仍有改进空间，而按行为组织证据可作为人工监督的一种基础。证据已经可见时，判定失败仍占SpecGAP失败的74.0%–81.2%（GLM-5.2，Table G1）。