评测与基准arXiv 2608.11727
Harness-IF:评估编码 Agent 跨指令面的指令遵循能力
提出 Harness-IF,按交付面评测编程 Agent 的指令遵循
- arXiv
- 2608.11727
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Seed-2.0-Pro、Claude-Opus-4.7、GPT-5.5 等 12 个
摘要规则级基准显示总分开高估反先验遵循,交付面优先序也不按提示词深度。
Harness-IF 用执行证据给编程智能体的单条操作规则打分,并单独报告反对未提示默认的那一部分。。