中科大等团队论文:分数涨了不等于Agent变强,16套自进化Agent均丢失部分旧能力
中科大:分数涨了≠Agent变强!这篇论文撕开自进化Agent的美丽幻觉
AI 导读
中科大、UC Berkeley、北京通用人工智能研究院与上海交大的论文对比AHE、HyperAgents、A-Evolve、GEPA四套Agent自进化方案,发现只看平均基准分数会误判Agent真实能力。16套进化后的Agent全部在学会新任务的同时丢失部分原本能解决的任务,例如某Agent可靠性上涨5.2个百分点但10个旧任务失效;11个可靠性提升的版本中8个每轮运行成本更高。跨基准迁移依赖任务域,从τ³-Banking迁移到τ²-bench的8个Agent中7个覆盖率下降。团队据此提出EvoAudit诊断体系并落地审计引导式进化方法AGE,在4组实验环境中相比A-Evolve基线可靠性与覆盖率提升、丢失任务减少,代码开源于RSIHub仓库。