Sakana AI 自改进模型 MASS 存在自我盲点
先了解这件事
Sakana AI 与 UC Berkeley 研究者提出多智能体自监督方法 MASS,让同一语言模型同时担任任务执行者、工作流优化器和评估器,无需更强教师模型即可递归自我改进。以 Qwen3.6-27B 为基座,在 GPT-5.5 生成的 12 项金融、机器人与制药研究任务上,对基座模型的胜率由一轮后的 53.9% 升至两轮后的 69.9%,在 MLR-Bench、DSBench、ScienceAgentBench 等基准上也有提升。但报道指出,该模型在解题与评判上更强,却抓不住自身的盲点。
AI 根据报道生成 · 21 小时前更新
后续时间线
- The Decoder精选Sakana AI 的自我改进模型在解题与评判上更强,却抓不住自己的盲点
Sakana AI 与 UC Berkeley 的研究者提出多智能体自我监督方法 MASS,让同一个语言模型同时承担解题、优化工作流与评判结果三种角色,在无需更强教师模型的情况下实现递归自我改进。基座模型为 Qwen3.6-27B,任务为 GPT-5.5 生成的 12 项金融、机器人与制药研究任务。测试任务上对基座的胜率从一轮后的 53.9% 升至两轮后的 69.9%,在 MLR-Bench、DSBench、ScienceAgentBench 和 AstaBench 上每输出 token 的得分为基座的 1.2 至 1.6 倍,但在 Terminal-Bench 2.0 和 SWE-bench Verified 上分数略降;自评者与外部评判的一致率从 73% 升至 93%。代码已公开。
- 日期未标Sakana AIMASS:通过多智能体自监督实现递归自我改进
Sakana AI 提出 MASS 方法,让同一个模型同时担任任务执行者、工作流优化器和评估器,通过多智能体自监督为递归自我改进提供训练信号。内循环用评估器反馈搜索更优的团队工作流,外循环以多个随机种子运行选定的工作流,再把排名靠前的轨迹用 LoRA 微调回共享模型权重。从 Qwen3.6-27B 出发运行两轮后,在三个留出的合成研究任务上对基座模型的外部评判胜率由 53.9% 升至 69.9%;在 MLR-Bench、DSBench、ScienceAgentBench、AstaBench 上单位输出 token 得分达到基座的 1.2–1.6 倍,但在 Terminal-Bench 2.0 与 SWE-bench Verified 上分别为 0.96 倍和 0.94 倍。
相关讨论
关注度走势
每天新增来源
- 10月12日新增2个来源(1家媒体、1个账号)
- 10月13日新增1个来源(1家媒体、0个账号)
- 10月14日新增0个来源(0家媒体、0个账号)