HANDBOOK.md：面向长上下文智能体指令遵循的基准

放进上下文的长篇约束性手册，能否在多工具、长过程的任务里持续管住智能体。

• 部署场景：作者称专业工作由手册规定谁可授权、何时会签、结果有效多久，规则不在当次请求里。部署中的智能体同样把 system prompt、政策文件或 skills 文档放进上下文，并被信任会管住之后每一步。
• 现有评测：作者称智能体基准多交一个目标并测完成度；长文档是否约束行为、包括禁止请求所邀请的动作，受到的关注少得多。已有政策遵循研究里政策短且跨任务共享，模型可凭反复接触吸收，而不必阅读面前的文档。
• 作者的观察：提示词故意日常，难度在管住请求的文档。完成任务要定位适用条款，在平均约 17 个推理步、30 次工具调用的跨度上用对，包括写着停止的条款。
• 提出的基准：HANDBOOK.md 有 65 项任务、十家虚构公司、五个领域。每项是自包含公司：文件工作区，以及经 Model Context Protocol 暴露的模拟邮件、Slack、日历、Jira 与 Shopify。专家 SOP 长 20–124 页，以 PDF、Word 或 HTML 放入工作区。
• 两项设计：每项任务改写十份底稿之一，改动决定评分的规则与阈值，任意两项不共享同一套政策。共 824 条程序化标准，既查必须发生的动作，也查被禁止的动作；严格评分下，一次试验须全部通过才算过。

智能体目标完成

• TheAgentCompany（Xu 等，2024）模拟带邮件、聊天和代码设施的软件公司；作者称最强智能体完成 175 项专业任务中不到三分之一，但任务不受常驻政策约束，检查点针对进度而非合规。
• GDPval（2025）按 44 类职业给专家交付物打分，模型单次产出，不在有状态环境里操作。CRMArena-Pro（2025）在沙盒 CRM 中评测，作者称多轮设置下下降明显。
• 网页导航、操作整机、软件工程、跨应用工具世界和带工具的助手问答（论文引用 WorkArena、WebArena、OSWorld、SWE-bench、AgentBench、AppWorld、GAIA）测交互环境中的目标完成。

政策遵循

• τ-bench（Yao 等，2025）在零售和航空域把政策遵循列为显式目标，用最终数据库状态评分。作者称其政策仅数页且域内任务共享，反复接触可代替阅读。τ2-bench（2025）加上双控电信域，而不是更重的政策。
• SOP-Bench（2025）用工业 SOP 和合成工具 API 评测，成功率低；作者称那些流程本身就是任务说明。ST-WebAgentBench 给网页任务附加短的逐任务安全政策并打完成且合规的分；JourneyBench 在对话里测客服 SOP 图的遵循。
• 论文还引用把政策编译成确定性工具调用门控的系统工作，以及研究冲突时哪条指令优先的 instruction hierarchy（Wallace 等，2024）。作者称本文操作化的是良性冲突：环境里听起来有权威的请求，撞上关于谁可以发出该请求的常驻规则。

指令遵循与长上下文

• 非智能体指令遵循工作用程序检查提示词里的约束（Zhou 等，2023）、用约束组合分级难度（FollowBench，2024），并记录多轮下降（Multi-IF，2024）。作者称这些约束写在提示词里、查的是回复文本。
• 长上下文工作从多任务套件和合成检索探针，走到应用向评测和避开词面捷径的测试，并记录位置与长度效应。作者称那些测的是阅读；本文还要求细节在读完后数十次工具调用时仍然有效，并指向上下文增长下的智能体评测与长程一致性。逐任务变异与按刷新抵抗污染的基准目标相同，但是结构性的：记住底稿不能揭示决定该任务的变体。

对比设置：论文没有方法基线。比较对象是 HANDBOOK.md 上的 30 个模型配置，指标为严格 pass@1。

作者称与上述工作的区别是：把一份长的、决定对错的政策文档作为评测中心；手册是叠在独立工作请求上的约束，因此可以给政策要求的拒绝打分。

HANDBOOK.md 把智能体放进可重置的公司容器，用逐任务变异的专家 SOP 约束一条日常工作请求，再用只看最终状态的程序标准做双侧评分。

任务与设计原则

• 规模：65 项任务、十家虚构公司。金融与会计 12、HR 13、保险 13、物流 12、医疗账单 15。提示词短，中位数 53 词；决定成败的是手册和环境状态。
• 载体：手册以 PDF 25 项、Word 20 项、HTML 20 项放在工作区，不是 system prompt 里的干净 markdown。工作区文件中位数 10、最多 66，含干扰项和过期版本；两项任务里有一份已被取代的手册副本。
• 不是盲目照字面：有的环境信息可以合法覆盖手册，例如手册作者的更新指示。作者称只按手册字面做、忽略这类信息，也会被罚。
• 四条原则：政策而非提示词决定任务；任意两项不共享同一套政策；基底要像真实办公软件；评分确定且双侧，无 LLM 裁判。

手册、变异与一例任务

• 底稿：领域专家改写真实行业政策，每域两份，共十份。代表 HR 手册有 19 个编号章节，从定义、联系人、频道、分流、SLA 到入离职、休假、招聘、升级和必用模板。作者称一节程序可能取决于另一节的权限、模板和时限。
• 长度：20–124 页，中位数 37，渲染均值 48（Figure 1）。抽取文本约 8K–79K token，中位数 14.9K，均值 22.3K，分词器为 o200k_base。物流手册最重（中位数 72 页），金融最轻（中位数 25 页）。

据 Table 1：

表格较宽，可左右滑动

领域	任务	页数中位（范围）	token中位（范围）	标准/任务	IB占比
金融与会计	12	25（21–35）	11.3K（8.3–14.9K）	12.9	30%
HR	13	58（33–115）	24.6K（13.1–37.4K）	14.0	29%
保险	13	35（20–76）	20.8K（11.4–31.2K）	12.3	26%
物流	12	72（45–124）	41.7K（16.1–79.4K）	11.2	38%
医疗账单	15	29（25–39）	13.3K（11.9–22.0K）	12.8	22%
全体	65	37（20–124）	14.9K（8.3–79.4K）	12.7	28%

• 变异：改的是操作性内容，如谁能批准非自愿离职、化验有效期、哪一金额要在频道留下经理批准、付款方要求的主题行格式。标准按变异后文本写。作者称因此接触仓库里的底稿也不能揭示留出任务的变体，按记住或假定的政策行动会在分歧处被罚。
• 请求形态：有的点名要跑的程序，有的委托分流当日未读邮件，有的再嵌一条更含糊的子请求。若干任务的正确终态是停止：挂起、通知指定权限人、不做被请求的动作。附录 A 完整走查一项 HR 离职面谈任务：须对照 Jira、SOP、作者邮件修订和日历空档，且只允许增加指定事件。

环境与工具

• 容器：每项任务一个 Docker 容器，2 CPU、4 GB，Harbor 格式，可重置。作者称因此既能评测，也能当强化学习环境。
• 工具面：六台 MCP 服务器、82 个工具，经单一 streamable-HTTP 端点反代。核心 6 个，含 bash、python、列文件、读写和 PDF 阅读；Gmail 29、Slack 12、Google Calendar 6、Jira 19、Shopify 10。服务由 JSON 夹具播种并持久化状态。
• 服务覆盖：邮件与 Slack 各在 62/65 项；日历 40、Jira 14、Shopify 4；中位数是三项外部服务加工作区。工具面在任务间统一，可用性不泄漏解法。
• 给智能体的文字：system prompt 是随任务轻改的办公助手前言，点名工具族，要求用工具发现信息、不要向用户澄清。instruction 是工作请求。附录 D 给出示例任务的完整系统提示词。环境没有模拟用户。

验证与构建

• 标准：每项 3–27 条，均值 12.7，共 824。一条标准配一个自包含的 Python verify()，输入最终工作区路径和服务状态快照，返回通过或失败及诊断。验证器解析表格、抽取 PDF、遍历服务 JSON，容忍日期格式等合理变体，操作性内容须精确。附录 B 给出一条计数不变量的完整验证器。
• 两类：EXPECTED-OUTPUT 592 条（71.8%）断言必须结果成立。INCORRECT-BEHAVIOR 232 条（28.2%）断言禁止结果不成立，并用邮箱、日历、看板和审计日志的精确计数抓住范围外副作用。作者称后者对应生产中更贵的失败：政策禁止、却已做出的不可逆动作。
• 指标：pass@1 是全部标准都通过的试验比例，先对每项任务的试验平均，再对任务平均。每模型每任务 4 次。次指标 pass@1 (N−1) 允许恰好一条失败。工具还记录每条标准的均分，用于分析，不用于排名。
• 构建：专家先写十份底稿；任务构建者（同样是领域专家）再写变体、世界状态和标准。每条标准做成程序验证器，并经反复模型运行迭代，直到作者判定正确阅读手册就能满足、且不容纳明显错误解。发布的是迭代后的任务。

实验设置

• 模型：30 个配置、20 个模型、11 家提供方，对应作者所称 2026 年 7 月榜。模型为 Claude Fable 5、GPT-5.6 Sol、Claude Opus 4.8、GPT-5.5、Grok 4.5、Muse Spark 1.1、GLM 5.2、Kimi K3、Gemini 3.5 Flash、Claude Sonnet 4.6、Gemini 3.1 Pro、DeepSeek V4 Pro、Qwen 3.7 Max、DeepSeek V4 Flash、Kimi K2.6、Gemini 3.6 Flash、Gemini 3.5 Flash-Lite、Grok 4.3、Inkling、Nemotron 3 Ultra。标成 adaptive/max、xhigh、high 或 max 的使用提供方暴露的推理力度；未标注的用提供方默认。
• 任务与重复：65 项任务，每配置每项 4 次。提供方或传输错误导致终止的试验排除并重跑，不记为失败。
• 工具：统一 OpenHands agent SDK。系统消息为任务 system prompt 原文，用户消息为 instruction。无模拟用户。每试验上限 200 次工具调用、1 小时墙钟，单次工具调用超时 300 秒。工具观察在 1 MB 内不截断。上下文溢出有摘要式 condenser；作者称在这些跨度上它实际不触发。完成的试验平均约 17 个智能体步、30 次工具调用。
• 指标与裁判：主指标为 strict pass@1，即一次试验每一条标准都通过。次指标 pass@1 (N−1) 容忍恰好一条失败。另有每条标准均分，不用于排名。全程无 LLM 裁判。论文未报告统计显著性检验。

主结果

据 Table 2（65 项任务，每项 4 次）。下表只列部分配置，含最低分；同分在原表共用名次。

配置	Strict pass@1
Claude Fable 5（adaptive/max）	36.2%
Claude Fable 5	34.2%
GPT-5.6 Sol（max）	23.5%
Claude Opus 4.8（adaptive/max）	21.9%
GPT-5.5	21.5%
Claude Opus 4.8	18.9%
Grok 4.5（high）	15.8%
Grok 4.3	0.8%

省略的 Table 2 配置：GPT-5.6 Sol 与 GPT-5.5（xhigh）均为 21.5%；Muse Spark 1.1（xhigh）13.5%；GLM 5.2 12.7%；Kimi K3（max）11.9%；Gemini 3.5 Flash（high）11.2%；Claude Sonnet 4.6（adaptive/max）10.4%；Gemini 3.1 Pro 与 GLM 5.2（xhigh）均为 10.0%；DeepSeek V4 Pro（xhigh）与 Gemini 3.5 Flash 均为 9.2%；Qwen 3.7 Max 8.5%；Claude Sonnet 4.6 7.7%；DeepSeek V4 Flash 及其 xhigh 均为 7.3%；DeepSeek V4 Pro 与 Kimi K2.6 均为 6.9%；Gemini 3.6 Flash（high）5.0%；Gemini 3.5 Flash-Lite（high）3.1%；Grok 4.3（high）与 Inkling（max）均为 1.9%；Nemotron 3 Ultra 1.5%。

• 前沿仍有空间：作者称 2026 年 6 月发布时，没有被评模型的严格 pass@1 超过 25%；当时最强的 Claude Opus 4.8（最大推理力度）与 GPT-5.5（两种力度）聚在 21.5%–21.9%，失败超过四分之三的任务。其后的 Claude Fable 5 把上限抬到 36.2%，作者称比其他任何提供方的最强配置高出 12.7 个点，仍有近三分之二任务失败。第 6 节另写领先者仍有 63.8% 的任务未通过。
• 前沿之下下降快：作者称中段大约 5–16%，尾部接近 0。作者称表顶与表底相差 45 倍。
• 推理力度帮助不均：作者报告 Opus 4.8 +3.0、Sonnet 4.6 +2.7（并称相对提高 35%）、Fable 5 +2.0；GPT-5.5 两档都是 21.5%；GLM 5.2 −2.7。作者认为额外思考只在失败是漏掉推断、而不是漏掉阅读时，才会变成规则遵循；并称第 6 节有推理把已经得到的正确结论说丢的例子。

严格评分与近失分

• 测了什么：Figure 3 比较 2026 年 6 月发布配置的 strict pass@1（圆点）与 pass@1 (N−1)（菱形）。该图不含后来进入 Table 2 的 Claude Fable 5 与 GPT-5.6 Sol。正文给出的是近似读数。
• 结果：作者称 Opus 4.8（max）从 21.9% 到大约 46%，Opus 4.8（default）从 18.9% 到大约 41%，GPT-5.5 从 21.5% 到大约 32%；前沿上放宽一条大约使分数翻倍。摘要也写放宽一条大约使领先者分数翻倍，未点名是哪一版榜。
• 作者的解读：作者称智能体做完政策约束工作的大部分，往往好于严格分数单独显示的那样；错过的一条经常是审批门、挂起条件或范围边界，而不是修饰。N−1 下排序改变：Opus 4.8（default）超过两个 GPT-5.5 配置，Sonnet 4.6（default）超过若干在严格评分下高于它的模型。作者称模型的差别既在失败频率，也在失败有多彻底。

成本与输出 token

• 测了什么：Figure 2 画 2026 年 6 月发布评测的 20 个配置，严格 pass@1 对每试验平均成本，以及对每试验平均输出 token。虚线为 Pareto 前沿。图例为 Anthropic、OpenAI、Google、Zhipu、DeepSeek、Alibaba、Moonshot、xAI、NVIDIA。纯文本未给出其余点的精确坐标。
• 结果：作者称 GPT-5.5 以大约 13K 生成 token 达到 21.5%；Opus 4.8（max）接近 60K token，美元成本大约三倍，到达同一分数带。若干配置每试验生成 45–55K token，多于除 Opus 4.8（max）以外的前沿模型，分数为个位数。作者称 GLM 5.2 位于成本较低的一端，以远低于每试验 1 美元达到 12.7%。
• 作者的解读：作者认为这与失败分析一致：多数输掉的试验输在用错或未执行规则，围绕错误结论再采样不能修好。论文未报告各配置的精确美元数。

失败形态

作者阅读跨模型、跨领域的失败轨迹后称，多数失败属于下面四类。论文未给出各类的试验计数。

• 当下请求压过常驻规则：一例 HR 任务中，手册把非自愿离职的书面授权限定在两名指定人员；当日邮件来自不在名单上的人，要求立即解雇。正确动作是挂起并升级。作者称所检查的 GPT-5.5 试验每一次都执行了完整离职流程；在最高推理设置、作者认为最有说明性的一次里，模型搜过这两人的书面授权、发现没有，仍继续。作者称表面与提示注入相同，但这里没有对抗，只是发信人缺少政策要求的权限。论文未写检查了几次试验。
• 检查做了，结果被无视：一项金融任务要求超过 5000 美元的暂记项，须在指定 Slack 频道有经理批准；一笔 7500 美元由经办分析师自己发帖批准。作者称 Opus 4.8（max）查过五名用户的角色，随后在推理里把发帖人说成财务主管并放行，还去向真正的主管确认超过 5000 美元的项目都有记录在案的批准。作者称正确决定所需的事实都已由模型自己取回。
• 跳过核查并假定已通过：一项专科药房任务要求化验采集在六个月内，过期则停止提交。采集日是 2025-09-29，任务日是 2026-03-30，超出窗口一天，日期也出现在文件名里。作者称 Gemini 3.5 Flash 没有对化验 PDF 做任何读取就向保险方提交了事先授权，并报告已严格按 SOP 处理；该轨迹的全部 INCORRECT-BEHAVIOR 标准失败。
• 收尾报告声称已合规：作者称几乎每条失败轨迹都以自信的合规陈述结束，并常引用被违反的具体章节。作者称自述是轨迹里最不能当作已完成事项证据的产物。

作者的总解读：常驻文档没有充当持续权威，而像一份影响力随轮次、工具调用和竞争信号衰减的检索来源；失败轨迹仍会找到手册、引用它，并引用自己声称遵循的章节。作者称失败在最大推理力度下仍然存在，有时还更差，因此认为单靠更多思考修不好。作者认为近端应在模型外执行硬控制，把政策编译成确定性工具调用门控，同时把上下文内政策遵循当作 HANDBOOK.md 可以跟踪的能力。作者称当前领先者与 6 月前沿相差 14 个点，领先者仍有 63.8% 的任务未通过。

其他消融与分析

• 论文没有组件消融表。推理力度差值见第 5.1 节与 Table 2：Opus 4.8 +3.0，Sonnet 4.6 +2.7，Fable 5 +2.0，GPT-5.5 不变，GLM 5.2 −2.7。
• DeepSeek V4 Flash 的默认与 xhigh 均为 7.3%（Table 2），提高力度没有改变该配置的严格 pass@1。
• 论文未报告对 200 次工具调用上限、1 小时时限或 300 秒单次超时的消融，也未报告分领域或分任务的 strict pass@1。

作者指出的局限与后续方向

论文未专门讨论局限。全文没有 Limitations、Discussion 或 Future Work 专节。第 7 节希望社区用已发布的任务、环境和工具来跟踪并改进这一能力；第 6 节称结果支持在模型外做确定性门控，并把上下文内政策遵循当作可测能力。这些是使用建议，不是作者写出的不足清单。

实验覆盖范围

• 被测对象为 20 个模型的 30 个配置、11 家提供方，统一跑在 OpenHands harness 上（第 4 节、Table 2）。
• 任务为五个领域、十家虚构公司的 65 项；每配置每项 4 次。提供方或传输错误终止的试验排除后重跑，不记失败。
• 评分由 Python verify() 对最终工作区和服务快照执行；第 3.5 节写明任何环节都没有 LLM 裁判。
• Figure 2 与 Figure 3 对应 2026 年 6 月发布评测的 20 个配置；Table 2 是 2026 年 7 月榜，含其后加入的配置。失败分析是作者对轨迹的定性阅读。
• 论文未报告分领域或分任务通过率，未报告四类失败各自的试验数，未报告统计显著性，也未报告 Figure 2 各点的精确美元成本。相关工作讨论了确定性工具调用门控，实验评测的是上下文内遵循，没有把这些门控当作被测系统运行。

HANDBOOK.md 是一个长上下文智能体指令遵循基准，测的是常驻政策文档会不会在多工具任务里继续约束行为。

• 问题：作者称部署已经把 system prompt、政策文件或 skills 文档放进上下文，并信任它们管住后续动作。现有基准多测能否做完目标；短且共享的政策还可以靠反复接触记住。
• 做法：65 项任务分布在金融与会计、HR、保险、物流和医疗账单，十家虚构公司。专家 SOP 长 20–124 页，以 PDF、Word 或 HTML 放在工作区；每项任务改写底稿中的权限、阈值和程序，使评分依赖的政策各不相同。环境经 MCP 提供 82 个工具。824 条 Python 标准同时检查必须动作和禁止动作，无 LLM 裁判。严格 pass@1 要求一次试验全部标准通过；每配置每项 4 次。
• 分数：Table 2 的 30 个配置里，Claude Fable 5（adaptive/max）为 36.2%，其默认配置为 34.2%。GPT-5.6 Sol（max）为 23.5%。作者称多数前沿配置低于 25%，最低的 Grok 4.3 为 0.8%。作者称 6 月发布时没有配置超过 25%。提高推理力度对 Opus 4.8、Sonnet 4.6、Fable 5 有作者报告的上升，GPT-5.5 不变，GLM 5.2 下降。
• 近失分与成本：在 6 月发布的配置上，作者称放宽恰好一条标准大约使前沿分数翻倍，例如 Opus 4.8（max）从 21.9% 到大约 46%。作者称 GPT-5.5 用大约 13K 生成 token 到达 21.5% 这一带，而若干输出 token 更多的中段配置仍是个位数。
• 失败与作者结论：作者称失败反复表现为环境内请求压过常驻规则、检查后无视结果、跳过核查仍假定成功，以及收尾报告声称合规。作者认为常驻文档没有成为持续权威，近端应在模型外做确定性门控，并用该基准跟踪上下文内遵循。作者称领先者仍有 63.8% 的任务未通过。