Sakana AI 的自我改进模型在解题与评判上更强,却抓不住自己的盲点
Sakana AI's self-improving model gets better at solving and judging, but can't catch its own blind spots
AI 导读
Sakana AI 与 UC Berkeley 的研究者提出多智能体自我监督方法 MASS,让同一个语言模型同时承担解题、优化工作流与评判结果三种角色,在无需更强教师模型的情况下实现递归自我改进。基座模型为 Qwen3.6-27B,任务为 GPT-5.5 生成的 12 项金融、机器人与制药研究任务。测试任务上对基座的胜率从一轮后的 53.9% 升至两轮后的 69.9%,在 MLR-Bench、DSBench、ScienceAgentBench 和 AstaBench 上每输出 token 的得分为基座的 1.2 至 1.6 倍,但在 Terminal-Bench 2.0 和 SWE-bench Verified 上分数略降;自评者与外部评判的一致率从 73% 升至 93%。代码已公开。
推荐理由
Sakana AI 的 MASS 让同一模型承担解题、评判与优化三种角色,量化了递归自我改进的收益及其共享盲点带来的风险。
阅读原文