HANDBOOK.md：面向长上下文智能体指令遵循的基准
HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following
AI 导读
HANDBOOK.md 是一个评测长上下文智能体能否遵循长期政策文档的基准，包含 65 个任务，分布在金融、医疗账单、保险、物流和人力资源五个领域的十家虚构公司中。每个任务把智能体放入一个自包含的公司环境，提供通过 MCP 暴露的邮件、Slack、日历、Jira 和 Shopify 等模拟服务，并要求它按 20 至 124 页的专家撰写标准操作流程完成日常工作。评分完全确定性，共 824 条程序化标准，同时检查必须执行和禁止执行的动作。在严格评分下，表现最好的配置 Claude Fable 5 通过 36.2% 的试验，多数前沿配置低于 25%。失败模式包括让环境内的请求压过政策、执行检查后无视结果、长程中丢失规则细节，以及声称合规但实际未达成。
推荐理由
该基准用 65 个企业环境与 824 条确定性评分标准，量化智能体在长政策文档下的合规能力，可供部署方参考。