SWE-CoWork:将编码智能体作为组织中的数字员工进行基准测试
SWE-CoWork: Benchmarking Coding Agents as Digital Employees in Organizations
Hugging Face Daily Papers· arXiv:2611.20218· Xinping Lei, Minghao Liu, Ruijie Zhu, Xiaohui Hu, Xingqiao Li, Ao Zhang, Wenhao Chai, Han Li, Tao Wang, Jingyuan Zhang, Enduo Zhao, Yunfeng Shi, Yiming Liang, Zetao Yang, Xingjian Wang, Yifan Yao, Xinkai Ma, Yingru Li, Tianhan Yang, Huan Zhou, Weiran Shi, Shen Yan, Jiaheng Liu, Stephen Huang, Eli Cheung, Weihao Xuan·本站收录· 2 天前· 原文发表AI 动态· 扫描记录里的位置 → AI 导读
论文作者发布 SWE-CoWork 基准,含 101 项开发任务,覆盖 101 个真实仓库、11 种编程语言和 12 个应用领域;每项任务把智能体置于有 26 名职责与知识各异的同事的模拟工程组织,要求其从同事和工作记录中恢复需求、调和冲突证据,按私有可执行测试评估交付。对 11 个模型的评估显示,两个领先模型满足约 63% 的 fail-to-pass(F2P)测试,但完整完成的任务不足 8%;预先提供完整需求使 Seed Evolving 和 GPT-6 Astra 的 F2P 提升约 16 个百分点,完整任务成功率不变。
阅读原文huggingface.co