Harness-IF：评估编码 Agent 跨指令面的指令遵循能力

现有评测分不清编程智能体是在遵循规则，还是未加提示时本来就会那样做。

• 场景：编程智能体在查仓库、改文件、跑命令、调工具和多轮回复时，同时读到 system prompt、工具与 skill 描述、项目文件（如 CLAUDE.md）和用户指令。作者认为遵循必须跨过单次回复，并在这些交付面上持续成立。
• 现有不足：作者称现有指令遵循基准把规则集中在用户轮，编程智能体基准强调最终任务成功，都不能直接看出长流程里哪条操作规则被遵循。
• 区分：交付面与指令层级不同。层级问冲突时哪个特权来源应占先；作者把操作交付面做成评测维度，并在规则语义固定时比较放置位置。
• 提出：Harness-IF 把遵循做成逐条规则的测量。规则库 642 条，主面板为 60 道多轮编程题，256 条规则得到基于执行证据的判定，规则放在五个可配置交付面上。AP-Acc 只计被标为反对未提示默认的规则。配套还有九个构建上的 E0 冲突试点，以及 40 个案例的非编程扩展。

相关工作把约束检查、任务成功和规定消息层级分开测；论文改测交付面，并把未提示默认从遵循里分开。

指令遵循评测

• 可验证约束：IFEval 把可验证约束做成标准协议；FollowBench、InfoBench、ComplexBench 扩到分级难度、信息约束和多约束组合。
• 更难提示与智能体场景：Multi-IF、CFBench、LIFBench、EIFBench、IFBench、AgentIF 加入多语言多轮、复杂或长上下文约束、更广的可验证规则检查，以及智能体场景。作者称这些工作立住了约束级测量，但实验变量仍主要是指令内容或场景。

智能体与编程评测

• 交互环境：AgentBench、GAIA，以及 WebArena、OSWorld、BFCL、AppWorld、τ-bench、τ2-bench，评规划、工具调用、状态检查和从中间错误恢复。
• 技术工作：SWE-bench 系列、Terminal-Bench，以及 MLAgentBench、MLE-bench、PaperBench，评仓库修复、命令行和机器学习工程。作者称这些基准保真度高，但多数头条分数把轨迹收成任务成功。

Harness、层级与轨迹

• 工具上下文与层级：作者称 Toolformer、Gorilla 指出工具上下文为何重要；instruction hierarchy 与 IHEval 在 system、user、history 和工具输出消息上做合成冲突。作者称 IHEval 测的是对规定消息层级的遵守；Harness-IF 测可执行工作区里的分布式约束，E0 在更广交付面上估计优先序，且不假设普遍顺序。
• 近期轨迹工作：论文还提到 MCP 工具描述影响效率、开放 skill 清单需要审计、过程缺陷可在最终任务评测后仍在、长程编程智能体可利用基准规格。作者称 Harness-IF 把这一点做成按交付面记录规则判定，并用 AP-Acc 分开提示后遵循与先验默认。

对照表与实验对象

• Table 1：对照 IFEval、ComplexBench、IFBench、AgentIF、CodeIF-Bench、BFCL、AppWorld、τ2-bench、SWE-Bench Pro、Terminal-Bench。维度为 Surfaces、Multi-Turn、Tool Use、Prior Control、Rule-Level Scoring。Harness-IF 的 Surfaces 记为 6（HD 固定，五个可配置；E0 变动放置，主面板按可接受性分配），Prior Control 与 Rule-Level Scoring 均为全文支持。SWE-Bench Pro 与 Terminal-Bench 的 Prior Control 为部分支持，Rule-Level Scoring 为无。
• 实验基线：论文没有把上述基准当作要复现的计分基线。被比较的是 12 个模型构建在自建主面板上的规则级分数。

作者把本文放在约束级测量和真实执行之间：要变的是规则经哪个交付面送达，并用先验控制把遵循和巧合分开。

Harness-IF 把操作指令遵循做成按交付面放置、用执行证据逐条判定的测量，并用 AP-Acc 只计反对未提示默认的规则。

交付面与形式化

• 六面：HD 是平台在每次运行开始插入的默认指令，部署中用户通常不能改，评测中固定。SP 由系统开发者写角色和一般行为；TD 写工具做什么、该怎么用；SD 写何时用某个 skill 以及使用时的规则；PF 是 CLAUDE.md、CONTRIBUTING.md、AGENTS.md 一类项目文件；UI 是用户当前请求。
• 形式化：单条约束为 x，智能体输出为 y，放置面为 s。评估器 F(x, y, s) 取 pass、fail 或 n/a。可配置面为 SP、TD、SD、PF、UI。作者称多数基准把 s 固定在用户指令。
• 放置规则：某面可接受，仅当该面的写作角色在部署中有可能承载该规则。多个面可接受时均匀抽一个，并用该面的表述，语义保持不变。主面板因此是描述性分层；受控冲突比较放在 E0。

规则、模态与场景

• 七族：professional writing、output control、code style、workflow、quantitative limits、conditional logic、tool use。Figure 3 描述的是 642 条库，不是被评子集：writing 28%，output 与 code style 各 18%，workflow 11%，tool use 与 conditional 各 9%，quantitative 8%。
• 模态与先验：require 60%，forbid 13%，conditional-require 10%，limit-max 7%，prefer 6%，limit-min 3%，allow <1%。先验为 align 18%、against 44%、neutral 38%。专业写作只在非编程扩展中使用。
• 场景：编程面板用 13 个场景库中的 8 个，覆盖后端、前端、系统、数据/机器学习、自动化、安全测试、工具编排和技术文档。每题含代码场景、多轮用户指令、选出的约束及其交付面。
• 来源：库从公开项目说明与贡献者文档的手工调查起步，原子化并按交付面准备语义不变的表述，再用审阅过的 LLM 提案补分类空格。公开产物只给粗来源类别。任务、规格和评分脚本为项目撰写，不是源仓库的直接拷贝。

筛选与计分机会

• 流程：Figure 2 为收集、过滤、组装审计、评测。候选须原子、可验证、非平凡、适合编程智能体，去重后人工审阅。
• 规模：80 个候选留 60 题。作者写明，筛选用了观察到的难度和区分度，面板可能偏向分开试点模型的题目。每题注入 25–35 条规则，其中 10–27 条在该题制造的机会下可计分。全面板实例化 302 条库规则，256 条至少得到一次判定。
• 零注入：撤除目标规则后重跑，只提供先验证据，不进入核心指标。

指标与判定

合格 pass/fail 实例等权：

Acc(a)=∑_{(i,r)∈ Ea} z_a,i,r/|E_a|

z 为 1 表示该次满足约束，否则为 0。E_a 不含 n/a，因为题目没有制造可判定机会。

AP-Acc 只保留反对先验集合 P：

AP\text{-}Acc(a)=∑_{(i,r)∈ Ea,  r∈ P} z_a,i,r/|{(i,r)∈ E_a: r∈ P}|

• 另外两列：F-Acc 去掉在被评队列中不区分模型的 item–rule 对。DW-Acc 以规则通过率与总准确率的非负 Pearson 相关为权重，非正或未定义则为 0。作者称二者随队列变化，只作描述。
• 先验标签：九个探针构建上，至少 5/9 一致时可恢复共识，覆盖 287 条。其余最终标签来自可恢复的既有策展，或谱系未知。治理总数为 align 115、against 282、neutral 245。该探针队列与 E0 的九个构建相同，但任务不同，结果不合并；其中五个与被评面板共享标识符。作者称标签是行为分层，不是训练来源主张。
• 判定：撰写时六选一：regex、AST、cross-file、command-output、hybrid、LLM-judge。GPT-5.2 在温度 0.3 下做三次评估的多数票。严重度 must/should/may 及权重 3/2/1 留在记录里；论文报告的指标都是未加权二值率。附录 B 的级联去重把一次缺失产物引起的连带失败收成一次，其余改为 no-opportunity。

12 个模型在 60 题、三轮上的规则级 Acc 为 72.1–85.9%，每个模型的 AP-Acc 都更低。

实验设置

• 被测模型：主面板 12 个构建为 Claude-Opus-4.7、GPT-5.5、Claude-Sonnet-4.6、Claude-Haiku-4.5、GLM-5.1、Qwen-3.6-Max、Hy3、Kimi-K2.6、Gemini-3.1-Pro、MiniMax-M2.7、Seed-2.0-Pro、StepFun-3.5（Table 2）。收集时的标识符见附录 D.1；三个 Anthropic 构建使用扩展 1M 上下文变体。
• 规模：60 题、3 轮，2,160 次运行，40,104 条规则级判定行。二值分析保留 37,616 条 pass/fail，其中 against-prior 19,449 条。n/a 2,320 与 partial 168 不进分母（附录 B）。Figure 1 图注写每项 6–10 轮。
• 评审：GPT-5.2，温度 0.3，三票多数。86.8% 的判定行涉及该评审；确定性检查覆盖合格判定的 13.3%（第 4.1 节）。
• 指标：Acc 等权；F-Acc 去掉不区分模型的 item–rule；DW-Acc 按与总准确率的非负相关加权；AP-Acc 只计 against-prior。四列用同一批合格判定，∆ 为 Acc 减 AP-Acc（第 3.4 节、Table 2）。
• E0：九个较旧构建、四个合成冲突对、916 次运行、只做确定性计分，不与主面板合并（第 4.4 节、附录 D.4）。
• 非编程：五域 40 个案例，指标为 NC-Macro（案例内平均后再等权 40 个案例）。1,440 次尝试中 1,428 次有效，不与编程结果合并（附录 G）。

主结果

下表按 Table 2 的 Acc 顺序抽取。Acc、AP-Acc 为百分数，∆ 为百分点。省略 Qwen-3.6-Max、Hy3、Kimi-K2.6、Gemini-3.1-Pro，四者位于 GLM-5.1 与 MiniMax-M2.7 之间，数字见 Table 2。

表格较宽，可左右滑动

模型	Acc	AP-Acc	∆
Claude-Opus-4.7	85.9%	78.6%	+7.3
GPT-5.5	83.1%	77.0%	+6.1
Claude-Sonnet-4.6	82.5%	78.5%	+4.0
Claude-Haiku-4.5	79.0%	71.9%	+7.2
GLM-5.1	78.8%	75.2%	+3.6
MiniMax-M2.7	73.6%	67.7%	+5.9
Seed-2.0-Pro	73.6%	66.1%	+7.4
StepFun-3.5	72.1%	66.2%	+5.9

• 作者由 Table 2 得出：每个模型在 against-prior 子集上都更低，总分开高估偏离默认的遵循；幅度因模型而异，作者称不是比较构建时会抵消的常数。先验控制不改变四列最高的构建，但交换名次对 2–3、4–5、11–12。
• 表中 Acc 同为 73.6% 的两行，论文称未四舍五入值相差 0.03，故 Seed-2.0-Pro 排在 MiniMax-M2.7 之后。作者给出的队列 Acc 跨度为 13.7，标准差 4.2。据 Table 2 全表，F-Acc 为 59.1–79.3，DW-Acc 为 62.5–88.5。
• 共同支持保留 3,342 个 (item, round, rule) 键中的 2,430 个（72.7%）。作者报告逐模型的项目聚类 95% 区间下界为 +1.06 到 +4.83 个百分点（附录 E.5），均为正；相邻 Acc 比较的区间都含 0，作者把展示顺序当作点排名。242 条全员做过的规则上，与队列均值的相关为 0.57–0.89（均值 0.80）。

失败形态与难度

• 测了什么：8,440 次失败按规则所要求的动作分类（Figure 4、附录 C）；难度按粗模态和六个得到判定的规则族合并（Figure 5、Table 5）。专业写作不在这组比较里。
• 结果：shortfall 占失败 77.1%（该类失败率 23.8%），overstep 占 20.8%（失败率 20.8%），preference 占 2.1%（失败率 9.4%）。合格实例为 shortfall 27,306、overstep 8,443。规则族失败份额为 output control 27.6%、workflow 26.3%、code style 15.7%、conditional 12.4%、tool use 9.5%、quantitative 8.6%。Figure 5 模态准确率为 Commanding 76.0%、Numeric bounds 79.4%、Conditional 79.7%、Preference 90.6%；规则族为 quantitative 82.6% 至 output control 70.9%。
• 作者的解读：作者称份额差来自暴露量而不是更倾向遗漏，两类失败率接近；针对过量输出的检查只覆盖约五分之一失败质量。output control 同时失败质量最大、通过率最低，作者称它是优先补救的一族；workflow 的份额来自面板规模，通过率居中。作者称 Commanding 最难，偏好与默认对齐一致。output control 在 11/12 个构建上最低，没有构建超过 79%；Table 5 未列出例外是哪一个构建。作者写明 Figure 5 的 Numeric bounds 是合并后的模态类，与同名规则族不是一回事。

交付面优先序（E0）

• 测了什么：九个较旧构建为 Claude Opus 4.6、Claude Sonnet 4.6、GPT 5.4、Gemini 3.1 Pro、DeepSeek V3.2、Kimi K2.5、MiniMax M2.7、Qwen 3.6 Plus、Seed 2 Pro。四个合成冲突对、916 次运行；对冲后每个方向 458 次，889 次给出明确胜负，只做确定性计分，不与主面板合并。
• 结果：Figure 6 中 SP、PF、UI 的模型级名次和均为 20，均值 20/9（约 2.22），TD 为 3.78，SD 为 4.56，名次越低表示优先序越高。合并 Bradley–Terry 的对数强度为 SP +0.57、PF +0.65、UI +0.60、TD −0.53、SD −1.29。交叉自助 10,000 次中，完整顺序出现 9,652 次；9 个单构建拟合里 6 个完全复现该顺序。
• 作者的解读：作者称这与“上下文里越靠后越赢”不一致，因为用户轮在最后，UI 却只是并列第一。三个领先面在现有精度下没有被区分开。作者把它解释为四个合成冲突、九个较旧构建上的合并倾向，不是普遍层级。主面板不是成对干预：Table 4 在单独放置时 SD 为 78.6%（N=11,072），高于 SP 的 73.6%（N=6,589），而 E0 冲突中 SD 名次最后。作者称二者问的不是同一件事。UI 在主面板为 54.5%（N=1,476），且 1,476 条全部是 against-prior，作者称不能当作交付面难度。

可靠性与非编程扩展

• 确定性子集：12 个模型的 Acc 减 AP-Acc 仍全为正，5,013 条合格判定上均值 13.09 个百分点，高于全面板的 5.81；作者称该子集过多代表了模式和命令可检查的规则族（第 4.5 节）。
• 评审：换用 Claude Opus 4.7 重判 116 条成对干净判定，一致率 62.1%，κ=0.163；各模型通过率变化从 −40 到 +33 个百分点（附录 E.1）。作者称由于 86.8% 的判定行涉及评审，这是测量里的主要不确定来源。五票配置下的人工参照审计为 919 行、一致率 69.0%、κ=0.515，作者称不是对冻结三票面板的直接验证。n=65 上 Claude 与 GPT 的评判间 κ=0.4717，作者称这不是人工验证。
• 非编程：同一 12 个构建、1,428 条有效轨迹上，NC-Macro 为 65.8–84.8%（Table 8），由 GPT-5.5 领先，而不是编程面板的榜首。作者称指标、总体和构建快照都不同，从不与编程结果合并。12 条无效轨迹是空的长上下文网络外壳，被排除而不是记为失败。

其他消融与分析

• 复测：模型层 ICC 0.725，智能体×题目单元 0.599；单元 Acc 跨三轮极差均值 15.6 个百分点，大于榜单跨度 13.7（附录 E.2）。
• 计分方法占 37,616 条合格判定的份额及与总排名的 Kendall τ：LLM-judge 68.5%、τ=+0.91；hybrid 18.2%、τ=+0.72；regex 8.8%、τ=+0.79；command-output 2.7%、τ=+0.39；ast 1.0%、τ=+0.23；cross-file 0.9%、τ=0.00（Table 7）。
• 先验来源：19,449 条 against-prior 合格判定中，零注入共识 44.1%，既有策展 46.5%，谱系未知 9.4%。不在探针队列中的 7 个被评模型，缺口均值 +5.63 个百分点（范围 +3.62 到 +7.19），共享标识符的 5 个为 +6.06；作者称 0.43 的差别在 12 个模型上分不开方向（附录 E.4）。
• 可恢复零注入共识子集上，4/9 与 5/9 阈值的均值缺口为 +11.8161 个百分点，7/9 为 +10.2438；方向不变。这与全面板 5.81 不是同一分母（附录 E.4）。
• 两簇（5 对 7 个构建）：平均 Acc 81.2% 对 75.3%，AP-Acc 75.1% 对 69.7%。作者称限制到 against-prior 后差距仍在，先验控制没有解释该簇差（附录 D.3）。
• E0 的 27 次错误集中在 DeepSeek V3.2（14）和 Seed 2 Pro（10）。留一、等权、四种误差赋值后，作者称合并顺序仍在；AB 先于 BA 执行，固定时间顺序不能事后纠正（附录 D.4）。

作者把主张限定在这一题目与模型面板，并写明相邻名次和普遍交付面层级都不被当前证据分开。

作者指出的局限与后续方向

• 面板范围：Harness-IF 面向多轮编程智能体。60 题从 80 题工作集经质量与区分度审查选出，实例化 642 条中的 302 条、给 256 条打分；专业写作只在非编程扩展中使用。作者写明主张只对本面板的题目和模型成立（Limitations, Scope）。
• 选题：Datasheet 的 Known biases 写明，编程题按试点或全面板的区分度与难度诊断选出，可能偏向分开所观察模型的题（selection optimism）。第 3.3 节有同一句保留意见。
• AP-Acc 的含义：它是对观察到的或策展的默认行为做行为分层，不是关于模型训练来源的主张（Limitations, Measurement）。
• 评审仪器：86.8% 的判定涉及 LLM 评审，换评审后标签会变，绝对水平依仪器而定；作者称跨模型比较因共用仪器而承载主张。F-Acc 与 DW-Acc 是随队列变化的诊断（Measurement）。
• 分辨力：校准与复测支持跨模型模式，但不支持相邻模型之间的细区分（Limitations, Resolution and surfaces）。
• 交付面与失败分解：主面板把规则放在操作上可接受的面，以覆盖真实用法；E0 另行提供受控比较。作者把 E0 的合并排序解释为该试点的跨构建倾向，而不是普遍层级。失败分解按规则要求分组，作者称它描述的是规则结构，不是潜在因果机制（Resolution and surfaces；Measurement）。

实验覆盖范围

• 主编程面板为 12 个模型构建、60 题、3 轮，共 2,160 次运行、40,104 条规则级判定行；二值分析用 37,616 条合格判定，其中 against-prior 19,449 条（第 4.1 节、附录 B）。
• 冻结编程评测的评审是 GPT-5.2，温度 0.3，三票多数；确定性检查覆盖合格判定的 13.3%，86.8% 的判定行涉及该评审。论文写明未保留换评审的行级判定，因此没有换评审后的 AP-Acc 缺口（第 4.1 节、附录 B、E.1）。
• E0 为九个较旧构建、四个合成冲突对、916 次运行、只做确定性计分，与主面板不合并；889 次给出明确胜负（第 4.4 节、附录 D.4）。
• 非编程扩展用同一 12 个构建、五个域共 40 个案例、1,428 条有效轨迹，指标为 NC-Macro。附录 G 将其标为 exploratory rather than confirmatory，且不与编程 Acc/AP-Acc 合并（第 4.5 节、附录 G）。
• 零注入探针为九个构建，至少 5/9 一致时可恢复标签的规则为 287 条；其中五个构建与被评面板共享标识符。against-prior 合格判定中，零注入共识占 44.1%，既有策展占 46.5%，谱系未知占 9.4%（附录 A、E.4）。

Harness-IF 用执行证据给编程智能体的单条操作规则打分，并单独报告反对未提示默认的那一部分。

• 问题：智能体同时读到系统提示、工具与 skill 描述、项目文件和用户指令。现有指令遵循评测把规则集中在用户轮，编程评测又把轨迹收成任务成败，分不清“按规则做”和“本来就会这样做”。
• 做法：642 条原子规则组成 60 道多轮编程题，可接受的规则放到 SP、TD、SD、PF、UI 五个可配置面，HD 固定。每条适用规则按轨迹、差异、测试和输出判 pass、fail 或 n/a。AP-Acc 只计反对默认的规则；默认可恢复时来自九个构建的零注入、至少 5/9 一致，否则用策展标签。
• 主面板：12 个模型、三轮、37,616 条合格判定（Table 2）。Acc 从 StepFun-3.5 的 72.1% 到 Claude-Opus-4.7 的 85.9%；AP-Acc 从 Seed-2.0-Pro 的 66.1% 到 Claude-Opus-4.7 的 78.6%。12 个模型都是 Acc 高于 AP-Acc，差 3.6–7.4 个百分点，均值 5.81。四列最高的构建不变，三对相邻名次对调。共同支持上，逐模型的项目聚类区间仍为正，相邻名次的区间含 0。
• 失败与交付面：8,440 次失败中 77.1% 是未做到所要求的行动；12 构建合并后 output control 为 70.9%（Figure 5）。E0 用九个较旧构建、不与主面板合并：SP、项目文件和用户指令的平均冲突名次并列约 2.22，工具描述 3.78，skill 描述 4.56。作者称这与“越靠后的提示越赢”不一致，且只是合并倾向。
• 作者的结论：总分开高估规则偏离默认时的遵循，高估幅度因模型而异。作者建议把指令遵循当作执行级对象：保留规则来源，按机会计分，把反先验行为与总成功分开，并在主张优先序时对冲交付面。作者同时把绝对水平和相邻名次的分辨，限定在共用 GPT-5.2 评审的这一面板上。