跳到正文
原文
公众号 为机器立心·本站收录· 原文发表· AI 动态 →· 扫描记录里的位置 →

上海AI Lab论文:换一套智能体执行框架,模型跑分排名就可能反转

上海AI Lab|大模型Agent翻车,到底怪模型还是怪框架?这篇论文戳破Agent跑分的真相

AI 导读

上海AI实验室的论文通过52168条智能体运行轨迹的交叉对照实验,把智能体跑分拆解为模型与执行框架(Harness)两个变量,发现许多失败不能只归因于大模型。实验覆盖OpenCode、Codex CLI、Pi CLI、DeepAgents四套框架与DeepSeek V4 Flash Preview、MiniMax M3、Kimi K2.7、Qwen3.6-35B-A3B四个模型,共111种评测设置、6大智能体基准。论文提出VCR有效完成率等五项指标,区分任务做错与程序跑崩两类失败;结果显示换一套框架就可能使模型排名反转,部分模型与框架组合存在明显交互效应,含失败的全量token消耗会被异常循环拉高,四次尝试取最好成绩显著高于平均分。论文建议评测报告注明框架版本,按跨模型适配度或配对测试选择框架。

阅读原文mp.weixin.qq.com