Weco AI 提出 AIDE2:AI 研究智能体递归自我改进 8 天获七次提升
作者提出双层自改进系统AIDE2,在固定评测预算下自我重写Harness层代码,在4个留出基准上匹配或超过人类研发基线。
- 1790 ± 9AIDE85在ALE-Bench上的私有比赛表现得分(Table 1)
- 0.730 ± 0.005AIDE47在MLE-Bench上的私有百分位数(Table 1)
- 0.798 ± 0.003AIDE47在WeatherBench 2的预报技巧增益(Table 1)
研究AI研究智能体能否通过递归自改进优化自身Harness代码,以应对研发收益递减。
论文梳理了LLM搜索、自动化科研、Harness优化与自指改进等研究,定位以AI研发任务直接驱动Harness递归优化。
提出AIDE2系统,构建双层树搜索框架,外层智能体依据留出私有评级迭代重写内层智能体的Harness代码。
在留出基准ALE-Bench、MLE-Bench、FML-Bench和WeatherBench 2上评测,并在KernelBench测了奖励黑客率。
作者指出了双层优化噪声累加、点火测试不确定、代码复杂度与部署摩擦等局限与后续方向。
提出双层递归自改进系统AIDE2,在固定预算下演化Harness代码,多项留出基准超越人类基线并降低奖励黑客。