Skip to content

Translation in progress Some entries still include text in the original language.

Original
论文追踪· arXiv:2610.06406·Indexed by this site · Originally published

AgentMonBench: A Software Engineering Benchmark for Long-Horizon Agent Behavior Monitoring

AgentMonBench

Quick read

Evaluation and benchmarks

Based on 论文 PDF （AI 生成）; refer to the original

作者用AgentMonBench评测八个监控模型，并称免训练EBG在多数设置下提高决策识别与证据定位。

Questions
长时程智能体执行后，用户仍需判断哪些选择值得核验，但活动量大，证据分散在消息、工具结果和中间产物中。作者要评测监控器能否找出这些后果性决策并定位证据。
Methods
作者构建AgentMonBench的三个子集，分别测需求遗漏、测试仍通过的语义偏离，以及反馈前的自主决策。免训练EBG把证据编成行为与关系图，再渲染任务视图供监控器判断。
Experiments and results
八个监控模型在三个子集上与Base、以及仓库任务上的RepoGraph比较。作者称EBG在多数设置提高决策识别和证据定位；定位增益在各输入规模上保持，但部分指标低于Base，且证据可见后的判定失败占多数。
Limitations and future work
论文未设独立局限节。Appendix G.4提出改进内容级证据覆盖，并在证据已可见时分开考察组织方式与推理过程。实验覆盖八个监控模型、两个评审模型和五个Codex案例；RepoGraph不用于FeedbackTrace。
Experimental setupGPT-5.6 Luna、GPT-5.6 Terra et al. · AgentMonBench、SpecGAP et al. · SF1、QQ et al.
Evaluated models
GPT-5.6 LunaGPT-5.6 TerraGPT-5.6 SolClaude Sonnet 5DeepSeek-V4.1-FlashDeepSeek-V4-ProKimi K3GLM-5.3
Benchmarks
AgentMonBenchSpecGAPSilentSwapFeedbackTraceDeNovoSWESWE-chat
Metrics
SF1QQLF1LCCCLSVPAESSEHRTPRFPR
AI summaryThe researchers propose AgentMonBench, a benchmark for agent behavior monitoring in software engineering scenarios, containing three subsets that cover two dimensions: consistency between requirements and behavior, and awareness of key autonomous decisions requiring user verification. To support such judgments, the authors propose the Evidence-Grounded Behavior Graph (EBG), a training-free method that groups evidence with source links into behaviors, organizes them into a graph, and presents them to the monitor in a task-oriented view. Experiments on eight models show that EBG improves decision recognition and evidence localization performance compared to directly accessing the original context in most settings; further experiments show that its evidence localization gains remain stable across different input scales and hyperparameter settings, and practical applications also demonstrate its value for human supervision.

The researchers propose AgentMonBench, a benchmark for agent behavior monitoring in software engineering scenarios, containing three subsets that cover two dimensions: consistency between requirements and behavior, and awareness of key autonomous decisions requiring user verification. To support such judgments, the authors propose the Evidence-Grounded Behavior Graph (EBG), a training-free method that groups evidence with source links into behaviors, organizes them into a graph, and presents them to the monitor in a task-oriented view. Experiments on eight models show that EBG improves decision recognition and evidence localization performance compared to directly accessing the original context in most settings; further experiments show that its evidence localization gains remain stable across different input scales and hyperparameter settings, and practical applications also demonstrate its value for human supervision.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    监控器需在长时程软件工程任务中找出值得用户核验的决策并定位证据。

    长时程执行里，哪些后果性决策值得用户核验，哪些证据能说明其影响。

    • 场景：作者称用户把长时程任务委托给智能体后，角色从亲自决策转为监督执行，但责任仍在。活动量与复杂度可能超出用户跟踪和评估的能力。
    • 为何难：作者把有效监督对应情境意识：注意到发生了什么、理解意义、预期后续。证据分散在消息、工具结果和中间产物中，有限注意力下难判断哪项要核验（Figure 1）。
    • 现有不足：作者称轨迹质量、问题发现与证据检索、澄清或主动交互，并未直接回答本文问题。需要监控器识别影响目标、约束或结果解释的具体选择，并连到上下文证据。
    • 本文提出：监控表述、软件工程基准 AgentMonBench，以及免训练的 EBG。三个子集覆盖需求与行为对齐，以及对后果性自主决策的觉察和核验。
    • 监控输入：SpecGAP与SilentSwap不提供被删条件或gold映射。FeedbackTrace只给反馈前历史，后续反馈不进入输入（Section 3，Figure 3）。

  2. What related research exists?

    相关工作覆盖人工监督、澄清交互、过程评估与证据组织，作者把本文定位为决策核验。

    按引言、Section 2与Appendix A的分组。

    人工监督

    • 监督责任：Bainbridge (1983)与Endsley、Kiris (1995)讨论自动化减少直接参与后仍留下的监督责任。
    • 情境意识：Endsley (1995)、Lee与See (2004)强调情境意识，以及设计对自动化的适当依赖。
    • 用户侧：Shen等 (2025)考察用户努力与协作效用；Shen等 (2026)考察终端用户如何引导和审计学习系统。作者称这些视角促使本文让决策及其证据更容易检查。

    澄清与主动交互

    • 规格澄清：Ambig-SWE（Vijayvargiya等, 2026）与Ask or Assume（Edwards与Schuster, 2026）研究编码智能体如何发现规格缺口并寻求澄清。
    • 意图与同意：π-Bench（Zhang等, 2026）评长交互中的隐藏意图；KnowU-Bench（Chen等, 2026）考察偏好征询、同意和拒绝后的克制。
    • 作者的对比：这些工作强调补信息、推断意图和恰当交互。作者称AgentMonBench评的是长时程执行中未呈现给用户的后果性选择，以及供核验的证据。

    任务基准与过程评估

    • 任务基准：PaperBench、ScienceAgentBench、EvoArena、SWE-bench分别评研究复现、科学任务、演化环境适应和issue解决。作者用DeNovoSWE与SWE-chat构造监控任务。
    • 过程与发现问题：AgentLens（Sahoo等, 2026）在测试通过时仍看过程质量；TIDE（Jeong等, 2026）评问题发现、证据检索和解决方案。作者称与它们共享用证据考察行为的关切，但中心是供用户核验的决策；FeedbackTrace的目标来自随后的真实反馈，且对监控器隐藏。
    • 基准审计：BenchGuard与Automated Benchmark Auditing考察评测基准本身的缺陷，关注评测产物的可靠性。

    证据组织与推理监控

    • 推理监控：ReDeEP、ReARTeR、DS-MCM分别处理检索上下文与参数知识的使用、过程奖励，以及长时程搜索中的一致性检查。作者称它们评估生成可靠性或引导智能体自身推理；本文关注用户核验。
    • 仓库图与来源：RepoGraph（Ouyang等, 2025）为导航组织仓库结构；Wang等 (2026b)研究可追溯行动记录。作者称EBG组织行为、范围和显式关系，再渲染给监控器。
    • 基线与数据：实验基线为Base，以及SpecGAP、SilentSwap上的RepoGraph改编。评测集是AgentMonBench。Table A1中，作者把本文的用户反馈标为Real，且对监控输入隐藏。

    作者把本文与澄清类工作分开：不评智能体是否主动提问，而评监控器能否识别未呈现的后果性选择并定位证据。

  3. How does the paper address this problem?

    免训练EBG把可见上下文编成行为图，再渲染任务视图供监控器做语义判断。

    作者用 AgentMonBench 定义三种核验条件，再用免训练的 EBG 把可见上下文组织成证据视图。图的构建和呈现是确定性程序，不调用LLM；语义判断由监控器完成。

    基准构造

    • SpecGAP：从DeNovoSWE文档删除所选后果性条件的精确文本跨度，仓库不变。尽量每任务保留4–5条。关键性分为Must-Ask与Worth-Ask。
    • 证据映射：逐条件映射与整体映射独立搜索同一仓库，不共享中间结果。人工比较两套映射，选正确者或改写；再做删除跨度、出处和摘录的确定性检查。
    • SilentSwap：任务文档不变，每任务五个语义替换。Selector选可追踪、可观察的已文档化行为；Builder做最小修改并写语义测试；Quality Checker拒绝影响无关语义或硬编码特例的候选。
    • 执行校验：现有测试在替换前后须通过，对应语义测试须由通过变为失败。五个替换并存时，每个语义测试只在其对应替换存在时失败。FeedbackTrace取SWE-chat的Python会话，每会话至多一个pushback；证据单元是助手回复段落，以及工具调用加匹配结果。Gold含核验点、一或两个最小充分证据单元，以及Must-Disclose或Worth-Disclose。

    结构化行为图

    • 输入：可见上下文为X，其中任务需求为Q；类型为repository或trajectory。流水线为 G = Fτ(X), V = Pτ(G, Q), Yb = M(Q, V).
    • Evidence：每条保留标识、原文和源位置。仓库位置含文件、所属符号和行范围；轨迹保留事件位置和可用源标识。多个行为可引用同一条证据。
    • Behavior：仓库为Condition–Operation–Result，轨迹为Demand–Action–Response。仓库以返回、异常或状态更新为锚，互斥路径分开；轨迹按同一用户需求聚合工具动作和助手回复。
    • Scope与边：仓库Scope按函数、方法等符号，用路径和限定名标识；轨迹Scope按任务标识或回复、执行链接。仓库边为调用与数据供给；轨迹边为显式引用和按首次出现的前后关系。每条边保留支撑证据。形式化见Appendix D.1。

    任务视图

    • 仓库四步：Q指导目录排序，监控器选文件；与文档直接匹配的Scope为种子，无匹配时用固定代表Scope。每个种子只扩一跳，保留入射边和对端，再划分弱连通分量。
    • 阅读根：每个分量在其种子中选邻居最多者；并列时取Q中最早提及。根只决定阅读入口，不改变所选证据，也不表示执行起点。
    • 轨迹：按Task Scope分组，Scope内保持原顺序。最后可见行为所在Scope标Current，其余标History。标签表示截止时的任务状态，不表示发现位置。Appendix D.2、D.3。

    运行接口

    • 监控输出：对照Q和视图，指出值得核验的后果性决策，并把发现落到可回溯至原始来源的证据。各方法共用任务目标、选择标准和证据要求；提示词只描述各自的输入表示。
    • 仓库预算：SpecGAP最多8轮、SilentSwap最多6轮，均含finish。搜索最多12条，查询最多512字符。Base每次最多6个连续块、每块最多400行；RepoGraph最多32个符号子图；EBG最多6个种子文件，保留全部一跳邻居。每次读取返回预算65,536 token。
    • 轨迹调用：FeedbackTrace一次调用完整Base轨迹或任务范围视图，无工具调用，不压缩。单次输出上限32,768 token。细节见Appendix D.4。判定规则放在实验设置，不在这里展开分数。

  4. What experiments did the paper conduct?

    八个模型上，作者称EBG在多数设置优于直接读原文，但若干指标低于Base。

    实验设置

    • 监控模型：GPT-5.6 Luna、GPT-5.6 Terra、GPT-5.6 Sol、Claude Sonnet 5、DeepSeek-V4.1-Flash、DeepSeek-V4-Pro、Kimi K3、GLM-5.3。温度与top-p用端点默认；推理设置见Table C1。
    • 数据：三子集各100例。SpecGAP有484条省略条件、7类；SilentSwap有500次替换、每任务5个、8种机制；FeedbackTrace有100个核验点、4类反馈。平均输入token分别为22,870.32、22,855.91、53,942.98（Table B1）。
    • 基线与交互：Base给仓库内容或截止前原轨迹。RepoGraph改编只用于两个仓库子集，用Python AST抽取函数、类及contain、invoke关系；FeedbackTrace记为不适用（Appendix C.2）。仓库轮数上限为8与6；轨迹任务单次调用（Appendix D.4）。
    • 指标：规则类为SpecGAP的LF1、SilentSwap的LS、FeedbackTrace的EHR。语义类为SF1、QQ、LC、CC、VPA、ESS。范围0到1，按例等权，评测失败记0。
    • 评审：GLM-5.2与Qwen3.7-Max独立评六项语义指标，主结果报算术平均。LF1、LS、EHR不依赖评审模型。评分规则见Appendix C.3。
    • 未写明项：论文未报告多次重复，也未报告监控预测与人工判定的一致性。Gold双人一致率另见Section 3.4。

    主结果

    语义分为两名评审的算术平均，规则分与评审无关。RepoGraph未列入下表；FeedbackTrace上该方法不适用。

    Swipe horizontally to read the table

    监控模型SpecGAP SF1 BaseSpecGAP SF1 EBGSilentSwap LS EBGEHR BaseEHR EBG
    GPT-5.6 Luna0.2500.3260.4550.5300.570
    GPT-5.6 Terra0.2750.3920.6230.5400.580
    GPT-5.6 Sol0.4560.5050.6710.5500.610
    Claude Sonnet 50.3280.3310.4250.4800.600
    DeepSeek-V4.1-Flash0.3760.3720.4920.5400.600
    DeepSeek-V4-Pro0.1230.2180.4080.3400.370
    Kimi K30.4940.5580.6810.5500.610
    GLM-5.30.4810.5260.7080.5100.570

    据Table 1。

    • 作者称仍有空间：即使给出结构化上下文，识别后果性决策并落到证据上仍有改进空间。
    • 并非每格都更高：作者称EBG在多数设置高于Base，仓库比较中也多高于RepoGraph，收益随模型和任务变化。不在表中的低于Base结果包括Terra的FeedbackTrace VPA 0.508对Base 0.513，ESS 0.565对0.588；Sol的SilentSwap CC两者均为0.598（Table 1）。表内Flash的SpecGAP SF1也低于Base。
    • 检索与理解分开：作者称更好的证据检索可以与更弱的决策解释同时出现。附录E.1写明，SilentSwap的LS与LC上，八个监控器的EBG都高于Base和RepoGraph。

    输入规模

    • 测了什么：复用GPT-5.6 Luna、Kimi K3、GLM-5.3的主预测，在每个子集内按输入token分成Low、Medium、High。Figure 5报三模型等权平均的LF1、LS、EHR。
    • 结果：作者称三条Base均值从Low到High下降：FeedbackTrace EHR从0.667到0.422，SilentSwap LS从0.557到0.429，SpecGAP LF1下降更小。九组平均比较都偏向EBG。High组绝对增益为LF1 0.078、LS 0.115、EHR 0.108。
    • 个别例外：Appendix E.3写明，SpecGAP LF1与SilentSwap LS上，三个监控器在各规模都提高。FeedbackTrace EHR在Luna的Medium组、Kimi K3的Low组下降，GLM-5.3的Low组不变；High组三个都提高。作者称这些是不同输入规模样例之间的差异。

    披露检测与假警报

    • 协议：每子集从100个正式例中随机取50个应披露样本，并另构50个不应披露样本。三个监控器做二分类。TPR、FPR各以50为分母（Table E6；表注说明数字为百分比）。
    • 结果：作者称EBG在全部九组比较中提高TPR，在八组降低FPR。例外是Luna在SilentSwap上FPR从52%升至58%；其FeedbackTrace上EBG的FPR仍为84%。Kimi K3在该子集的EBG TPR为58%。
    • 作者的解读：同时报告两项，是为了把假警报减少和漏掉应披露决策区分开。作者称不必要披露对部分监控器仍是问题。

    失败阶段

    • 归类：复用上述三个监控器的EBG预测。失败按最早阶段只归一次：未选到文件、选了文件但视图缺内容、参考证据已可见但判定失败。SilentSwap只分析定位失败。FeedbackTrace无文件选择步（Appendix G）。
    • 占比：GLM-5.2下，判定失败占SpecGAP失败的74.0%–81.2%，占SilentSwap失败的69.4%–76.9%（Table G1）。Luna在SpecGAP的362个失败中，判定阶段294个（81.2%）。
    • 轨迹：两名评审下，被审计的FeedbackTrace失败都含完整参考事件，证据呈现遗漏为0，全部归入判定。作者称尚未把遗漏归因到具体的根选择、扩展或渲染规则。

    其他消融与分析

    • 组件消融（Table E4，Luna、Kimi K3、GLM-5.3）：去掉Behavior、Graph或Guidance后，各任务代表指标SF1、LS或ESS都低于完整EBG；少数其他指标略升。FeedbackTrace无单独Guidance消融。
    • 扩展深度1至3跳（Appendix E.4，Luna与GLM-5.3）：测试深度上，SpecGAP三项以及SilentSwap的LS、LC都高于Base；同一监控器与任务的SF1或LS跨深度变化至多0.0303。CC在Luna三跳、GLM-5.3两跳时低于Base。
    • 交互轮数：每个匹配预算上，EBG都提高SpecGAP三项以及SilentSwap的LS、LC；SF1与LS在监控器×任务内变化至多0.0272。CC上，Luna在四轮和五轮低于Base，GLM-5.3在四轮有小幅下降。
    • 双评审方向：48组监控器–指标比较中，40组（83.3%）对EBG相对Base的方向一致（Table E3）。LC的平均绝对差为0.0969，VPA为0.0953。
    • Gold双人一致：SpecGAP 447/484（92.4%），SilentSwap 468/500（93.6%），FeedbackTrace 93/100（93.0%）（Table B2）。这与模型草稿保留率分开：映射322/484（66.5%），SilentSwap草稿486/500（97.2%），证据集64/100（64.0%）（Table B3）。
    • Codex Harness五个研究任务、有无harness各一次（Table 2，Appendix F）。作者称无harness时不披露关键问题，有则识别并披露。论文未报告这五例的定量分数。

  5. What are some points that can be further explored?

    Appendix G.4提出改进证据覆盖，并在证据已可见时分开看组织与推理。

    作者指出的局限与后续方向

    论文未设独立Limitations节。Appendix G.4写出两条后续方向。

    • 内容级覆盖：文件选择和呈现遗漏促使更好的任务引导检索与自适应图扩展。作者写未来证据视图可判断所选内容是否支持候选决策，支持不完整时再请求上下文（Appendix G.4）。
    • 证据已可见的失败：作者写许多失败发生在参考证据已经提供给监控器时。未来实验可固定证据内容，分别改变组织方式和推理过程，看哪些改变减少这些失败（Appendix G.4）。

    实验覆盖范围

    • 主结果为八个监控模型、三个子集各100例，对照Base；RepoGraph只用于SpecGAP与SilentSwap，Appendix C.2说明它不适用于FeedbackTrace。
    • 语义分由GLM-5.2与Qwen3.7-Max独立给出，主表报算术平均；LF1、LS、EHR为规则计算。
    • 输入规模分析覆盖GPT-5.6 Luna、Kimi K3、GLM-5.3；深度和轮数扫描覆盖Luna与GLM-5.3的两个仓库子集，不含FeedbackTrace（Appendix E.3、E.4）。
    • 假警报评测为每子集50个应披露加50个不应披露，三个监控器（Table E6）。失败归因复用这三个监控器的EBG预测，两名评审分别统计（Appendix G）。
    • Codex应用为五个研究任务，有无harness各跑一次（Appendix F.3）。论文未报告监控预测与人工判定的一致性，也未报告统计显著性检验。

  6. Summarize the main content of the paper

    AgentMonBench评测后果性决策监控，EBG组织证据；作者称多数设置有提升、仍有改进空间。

    长时程软件工程任务里，用户要判断智能体哪些选择值得核验。作者用AgentMonBench评测监控器，并用免训练的EBG组织带源证据。

    基准从DeNovoSWE与SWE-chat构造，三子集各100例。SpecGAP删除文档中的后果性条件；SilentSwap在现有测试仍通过时加入五个语义替换；FeedbackTrace以真实反馈定位核验点，但监控器只看反馈前轨迹。EBG把证据编成行为，再按范围和显式关系成图，渲染一跳仓库视图或Current/History轨迹视图，语义判断留给监控器。

    八个监控模型相对直接读取原文评测，仓库任务另比RepoGraph（Table 1）。作者称多数设置下决策识别和证据定位更高；附录E.1写明SilentSwap的LS与LC在八个监控器上都高于Base和RepoGraph。Kimi K3的EBG SF1为0.558，GLM-5.3的EBG LS为0.708，Kimi K3与GPT-5.6 Sol的EBG EHR为0.610。DeepSeek-V4-Pro的Base SF1为0.123。Terra的VPA为0.508，低于其Base的0.513。

    作者的结论是：当前模型仍有改进空间，而按行为组织证据可作为人工监督的一种基础。证据已经可见时，判定失败仍占SpecGAP失败的74.0%–81.2%（GLM-5.2，Table G1）。

Read originalarxiv.org
#Agent safety