RSI-Anything：用世界模型解锁递归自我改进

外部反馈有代价，且策略更新会改变世界模型面对的候选分布时，怎样把一轮经验变成下一轮仍保留的行动与学习能力。

• 场景：作者把递归自改进（RSI）定义为把交互经验变成行动与学习能力的持续改进，并要求更新被保留、从而塑造后续交互与学习。外部反馈必须先执行或评估候选，交互预算紧时探索受限。
• 现有做法的缺口：世界模型可前瞻评估候选行动的后果，用来排优先级并选择学习数据。作者指出，只有预测并不构成递归改进。
• 耦合更新：策略更新会改变候选行动与经验分布，预测可能对不上新分布；世界模型更新会改变排序、想象轨迹和学习信号。作者认为，单独改进任一侧不保证联合表现更好，因此要决定何时更新、如何在变化的策略下检查预测，以及保留哪一对策略–模型。
• 提出的框架：作者提出领域通用框架 RSI-Anything，建在 JEPA-Anything 上。预测引导行动与学习数据选择；观测反馈驱动策略或工作流修订，并在 reliability 检查允许时适应世界模型；组件检查与兼容性检查决定保留的对。作者要检验的是：预测选择是否改进候选挑选，保留的更新是否再带来增益，以及这些增益能否在有限外部反馈下出现。

作者按第 4 节分成四组，多数条目只描述做法；明确对照只出现在各组末句。

递归自改进

• 代码与研究智能体：CURE（Wang 等, 2025）用执行反馈协同演化代码生成与单元测试。Self-Improving Coding Agent（Robeyns 等, 2025）与 Darwin Godel Machine（Zhang 等, 2025）迭代修改智能体实现，并保留经验上验证过的改进；AIDE2（Srikanth 等, 2026）把该路线延伸到自改进的 AI 研究智能体。
• 技能、课程与在线策略：Voyager（Wang 等, 2023）积累可复用的可执行技能。GenEnv（Guo 等, 2025）与 Agent0（Xia 等, 2025）让任务课程随智能体能力演化。RLAnything（Wang 等, 2026）联合优化策略、奖励模型与环境；OpenClaw-RL（Wang 等, 2026）从用户交互和工具反馈做在线策略改进。
• 长程与嵌套：Recuris（Yu 等, 2026）把经验记忆、工作记忆和验证门控的记忆演化耦合。ScienceBuddy（Xue 等, 2026）通过 harness 精炼和模型强化学习做嵌套自改进。作者称这些工作改进的是智能体代码、策略、记忆、harness 或训练环境。

验证与策略自改进

• 轨迹信号：验证器、自训练、偏好优化和言语反馈（Cobbe 等, 2021；Reflexion, Shinn 等, 2023；ReST, Gulcehre 等, 2023；DPO, Rafailov 等, 2023；STaR, Zelikman 等, 2022）把已评估轨迹变成选择与学习信号。
• 与实验直接相关的前作：CURE 提供本文代码评测里固定使用的 ReasonFlux-Coder。RLAnything 用反馈联合优化策略、奖励模型与环境。作者称这对应 RSI-Anything 中从反馈到策略的部分；本文另外把世界模型 reliability 和策略–模型兼容性写进更新是否被接受。

预测世界模型

• 预测环境：World Models（Ha and Schmidhuber, 2018）、MuZero（Schrittwieser 等, 2020）、Dreamer（Hafner 等, 2025）和 Genie（Bruce 等, 2024）把预测环境用作控制、规划或交互生成的基础。
• 潜在预测：联合嵌入预测架构（Assran 等, 2023；Bardes 等, 2024；V-JEPA 2, Assran 等, 2025）学习潜在目标，而不重建每个观测细节。JEPA-Anything（Cui 等, 2026）用正交预测分解（OPF）扩到异构数据。作者称 RSI-Anything 在此之上组织预测与观测如何引导行动选择，以及如何接受后续策略或世界模型版本。

科学与实验室智能体

• 物理与实验室：RT-2（Brohan 等, 2023）、Open X-Embodiment（2023）和 DROID（Khazatsky 等, 2024）推动动作条件的物理系统模型。LabHorizon（2026）测量视觉下一步动作预测和协议对齐规划。
• 化学与细胞：作者把语言模型工具、产率预测、Bayesian optimization 和机器人实验室列为选择并测试反应的互补组件（Shields 等, 2021 等）。ReactionT5（Sagawa and Kojima, 2025）支持产物、逆合成和产率预测；作者称化学适配器把它与 JEPA-Anything 的预测设计结合，做动作条件的产率预测。scGPT（Cui 等, 2024）、Theodoris 等（2023）、GEARS（Roohani 等, 2024）和 Bunne 等（2023）支持细胞响应预测。

基线方法与基准：代码修复对照为随机选择和容量匹配的静态验证器，基准为 CodeContests、APPS Introductory、LiveCodeBench v6，策略固定为 ReasonFlux-Coder-7B。GUI 对照包括初始智能体、RLAnything，以及 MiniWoB++ 上的 World-based control；环境为 MiniWoB++ click-checkboxes 与 OSWorld。实验室对照为 LabHorizon 参照系统，正文点名 Actor–Simulator–Selector。反应优化对照为 Bayesian optimization。

作者把区别写成：在递归回路中显式加入预测世界模型，由预测引导候选选择，由观测评估模型 reliability，由策略–模型兼容性决定哪些更新被保留并用于后续交互。

RSI-Anything 用世界模型预测决定哪些候选去拿外部反馈，再用这些经验提议并筛选系统更新；被保留的策略–模型对决定下一轮的候选与可学习经验（Figure 2）。领域实现只打开其中一部分通路（Table 4）。

问题设定

• 任务规格：领域 d 的任务写成状态、动作、世界模型适配器、验证器、指标、约束和预算。执行选中的动作得到观测反馈；适配器把反馈连到当时的预测、动作、上下文和证据来源。
• 两套时间：t 是任务内动作步，k 是更新与接受循环。k 计的是循环次数，不是成功修订次数。周期 k 的已接受系统是 (theta_k, phi_d,k)：theta_k 可以是可训练参数，也可以是持久化的智能体工作流。
• 固定与可演化：一轮运行内，任务目标、接口、评分、约束、接受与停止规则、总预算上限固定；剩余预算随使用下降。只延长反馈历史不算策略或模型修订（Table 1）。

预测与候选选择

• 继承的预测器：JEPA-Anything 用 OPF 把潜在目标拆成互补因子、分别预测再合成。编码器由状态和领域上下文得到潜变量，动作条件预测器给出下一步潜在状态，读出头可以是点预测或分布。一步选择只需结果读出；多步规划才需要能传播规划状态的适配器，外部核验前 rollout 中的状态仍是预测。
• 排序：当前策略提出候选。验证器记录有效性、效用分量、证据来源，以及可用的不确定性。无效候选在排序前排除。效用分数为 R_d(τ̂)=∑_j w_d,j r_τ,j−Δ_d(τ̂)，不确定性惩罚只在启用时非零。代码修复的实例是：聚合五类执行结果概率，给四个修订排序，再执行一个。信息寻求采集规则与效用排序分开定义。
• 证据与想象数据：E0 为确定性规则，E1 为学习模型的预测与 rollout，E2 为模拟器或更高保真计算，E3 为外部测量或实验。想象轨迹进入学习还需通过有效性、最低效用和不确定性检查，且证据源在允许集合内；该路径关闭时想象集为空。这不阻止对不确定候选做外部评估。

反馈驱动的更新

• 两条数据：预测–观测对写入历史，并记下生成它的系统版本。策略学习数据与预测器适应数据服务于不同目标，不必相同。
• 策略路线：按表示选择示范学习、偏好学习，或用评估反馈给持久工作流配置打分。启用的想象轨迹可以补充策略数据。固定策略时不做策略更新。通用协议没有给出统一学习率或迭代次数。
• 有条件的世界模型适应：reliability 只用当前版本可归因的预测：该版本存下的预测，或用当前模型对记录输入重算；旧版本预测不直接并入当前误差。触发为 u^W_k=1{ρ^W_k=unreliable}1{D_adapt,k sufficient}1{B_update,k≥ĉ_adapt,k}。覆盖不足时结论是 insufficient，不触发适应。判断只覆盖已观测且被覆盖的候选范围。

递归保留

• 两级检查：组件检查看策略的任务效用与约束，或预测器在相关目标上的质量。对检查看组装后的决策行为，以及预测器对所选策略提出的候选是否适用。
• 失败即回退：组件检查失败则该组件保留当前版本；对检查失败则整对保留当前版本。两者都没变时，不做新的对比较。评估条件预先规定，两侧策略提出的候选可以不同。
• 数据分工：更新数据构造候选版本，门控数据决定保留谁；指定的留出审计集只用于最终报告。保留的对进入下一轮后，会改变之后哪些行动收到反馈。

各应用实际打开的通路

Table 4 与第 6 节写明范围，而不是每个领域都跑完全部循环。代码修复固定 ReasonFlux-Coder-7B；W1 由 Qwen2.5-Coder-3B-Instruct 用 LoRA 适配，输出五类执行概率，固定配置称为 CURE-WM-Lite，另一配置只适应 W1。GUI 同时更新动作策略与结果预测器。实验室定量比较沿五个保留的 4B 策略版本，协议模型预测序列后果。化学适配器由 ReactionT5 与 JEPA-Anything 的预测设计组成，输出产率分布；Table 4 写的更新是测量产率引导后续条件选择。免疫应用在构建阶段保留模型构建工作流和预测器，下游分析冻结世界模型参数。

实验覆盖代码修复、GUI、实验室规划、反应条件搜索和免疫科学应用；第 6 节写明各设置只实例化协议的一部分。

实验设置

• 代码修复：策略固定为 ReasonFlux-Coder-7B。世界模型 W1 由 Qwen2.5-Coder-3B-Instruct 经 LoRA 适配。对照为 Random-K 和容量匹配的静态验证器。每轮四个修订、执行一个，最多三轮。CodeContests 为 200 题、三种子，共 600 次 task-seed；在线测试供反馈，隐藏测试报最终全过。APPS Introductory 为 1,000 题，LiveCodeBench v6 为 1,055 题，种子 0、1、2；公开测试引导修复，最终要求通过官方全套测试。
• GUI：MiniWoB++ 的 click-checkboxes，以及 OSWorld。RSI-Anything 用交互反馈更新策略和世界模型。click-checkboxes 另有 World-based control。OSWorld 对照为初始智能体和 RLAnything。相对增益定义为 100(s_method/s_reference−1)%。
• 实验室：LabHorizon 的 200 任务 F200。五个连续 4B 策略版本来自同一次自改进，按开发顺序评估。Level-2 Final Score 合并动作序列相似度与参数准确率。参照系统分数在 Table 3 中列出，方法节写明 Actor–Simulator–Selector 的 Level-2 分数为文献报告值。
• 反应：两个 Suzuki–Miyaura 筛选，对照均为 Bayesian optimization。GC 屏改变 Pd–NHC–DMS 前催化剂、碱和溶剂，测 GC 分析产率，端点为 20 次实验。流式屏用 Pd(OAc)2，以及配体、碱和溶剂，LC–MS 测量，端点为 40 次实验。
• 免疫应用：Agent Genesis 搜索科学智能体工作流并选出模型构建工作流；下游分析使用参数固定的免疫世界模型。定量设置写在引用文献中，本文没有给出该应用的数值指标。
• 判定：论文未写 LLM 裁判。代码成功由测试套件判定，反应结果为测量产率。CodeContests 的配对百分点差给出 95% 区间，聚类推断以任务级重抽样为单位（Section 6.2）。论文未报告 GUI 回合数，也未报告流式筛选中 mean 对应的重复序列数。

主结果

代码修复是正文里带对照、预算和调用量的主比较。条件为固定 ReasonFlux-Coder-7B、CodeContests、200 题三种子、最多三轮、每轮四选一（Table 2）。

选择方法	隐测全过	在线调用/任务
Random-K	26.0%	3.72
容量匹配静态验证器	26.3%	3.72
RSI-Anything，固定世界模型（CURE-WM-Lite）	29.2%	3.71
RSI-Anything，世界模型适应	31.2%	3.72

• 作者报告固定世界模型相对静态验证器的配对增益为 +2.83 个百分点，95% 区间 [+0.17, +5.50]；该格对应 175/600。同一比较中，排序准确率从 66.5% 到 72.8%，五类 Brier score 从 0.488 到 0.358（Section 3.1，Figure 3c）。
• 作者报告世界模型适应比固定世界模型再高 2.0 个百分点，并称两步增益出现在相近的在线测试用量下；执行反馈既进入程序修复，也修订后续选择用的预测器。
• 作者称这连接了更好的预测与排序，以及同一候选预算下更高的修复成功率。APPS 与 LiveCodeBench 的数字不在 Table 2，见下文。

GUI 任务完成

• 测了什么：click-checkboxes 的基线、adapted、最终三档，以及 OSWorld 相对初始智能体的成功率增益（Figure 4）。动作与错误诊断只描述 RSI-Anything，不含 World-based control。
• 结果：RSI-Anything 成功率由 51% 到 79% 再到 99%。平均动作由 5.30 到 3.21，作者称相对基线减少 39.4%；adapted 为 2.93。重复点击由 237 到 0，图中 adapted 为 2。错误提交回合由 9 到 1，adapted 为 21。World-based control 三档为 49%、96%、98%。OSWorld 上，RSI-Anything 相对 RLAnything 为 5.5%，相对初始智能体为 18.4%；RLAnything 相对初始智能体为 12.3%。这些是相对百分比，论文未报告 OSWorld 绝对成功率。
• 作者的解读：作者称最终配置把更高成功率与更少提交错误放在一起，尽管动作数相对 adapted 略增。adapted 的 21 个错误提交回合，作者只报告数字，没有另给解释。adapted 档的成功率 79% 低于同档 control 的 96%，作者未解释该差别。

实验室规划的连续策略版本

• 测了什么：同一自改进过程中五个连续 4B 策略版本，在 F200 Level-2 上按开发顺序评估（Figure 5）。图中的更新箭头被图注称为框架示意，定量比较跟随保留的策略版本。
• 结果：Final Score 为 21.80%、38.03%、41.99%、44.56%、46.01%。作者报告终版相对初版高 24.21 个百分点，并在摘要中称 more than double。相对 Actor–Simulator–Selector 参照 45.32%，作者报告差 0.69 个百分点。Level-1 准确率：RSI-Anything 0.700，参照 0.665（Table 3 写作 0.4601 与 0.4532）。
• 参照系统：Table 3 还列出 Grok 4.3（L1 0.555，L2 0.3244）、Gemini 3.1 Pro（0.465，0.3263）、GPT-5.5（0.535，0.2276）、Kimi K2.6（0.550，0.3150）、Qwen3.6-35B-A3B direct（0.475，0.2534）与 trained（0.635，0.4100）。表题指向参照文献；正文只明确比较了 Actor–Simulator–Selector。作者称这一进程显示，策略版本被保留后，协议对齐规划继续提高。

反应条件搜索

• 测了什么：在各自筛选协议内、实验次数对齐的条件下，用产率预测给条件排序，测量产率进入后续选择（Figure 6）。图注写明曲线和柱是两次独立筛选，条件示例与反馈箭头是框架示意。
• 结果：GC 屏 20 次实验后，best observed yield 为 RSI-Anything 93.0%、Bayesian optimization 87.5%，作者报告差 5.5 个百分点。流式 LC–MS 屏 40 次实验后，mean best observed yield 为 96.15% 与 82.16%，作者报告差 13.99 个百分点。
• 作者的解读：作者称在匹配的端点上，预测加测量反馈的搜索从同样次数的实验得到更高的 best-yield 指标，并据此支持在有限实验预算下用预测与测量结果一起引导条件选择。中间实验次数的曲线值，正文和图注未给出。

其他消融与分析

• APPS Introductory，三种子均值：初始程序 37.90%，随机 44.07%，静态验证器 44.00%，RSI-Anything 46.37%（Figure 3e）；静态验证器低于随机。
• LiveCodeBench v6：初始 25.24%，随机 31.18%，静态验证器 30.74%，RSI-Anything 33.05%（Figure 3f）；静态验证器同样低于随机。作者只称 RSI-Anything 高于随机和静态验证器。
• 上述两个基准均为同一 coder、每轮四个候选、最多三轮；APPS 对应 3,000 次、LiveCodeBench 对应 3,165 次 problem–seed 评估（Section 6.2）。
• 排序准确率与 Brier score 只报告了静态验证器对固定世界模型，未报告适应后的 W1（Figure 3c）。
• 免疫应用：自校正去掉已筛选的细胞因子对候选；整合证据后的前瞻提名为 SIRPα 抑制与 IL-36γ 轴调控的组合（Section 3.5）。本文未报告该应用的数值指标。

作者指出的局限与后续方向

Discussion（第 5 节）没有单独的 Limitations 节。作者明确写出的后续要求有三条。

• 同一任务内的联合多轮评估：作者称现有评估分别支持预测选择、预测器适应、连续策略改进和反馈引导搜索；要确立策略与世界模型在同一任务内的持续相互改进，还需要联合多轮评估。
• 实验室的物理执行：作者称目前的实验室结果评估的是协议对齐规划；可靠的物理执行需要在相应设备与工作流上评估。
• 化学范围与治疗假设：作者称化学结果覆盖所报告实验预算下的两个 Suzuki–Miyaura 筛选；免疫科学应用中产生的治疗假设尚待实验检验。

实验覆盖范围

• 代码修复保持 ReasonFlux-Coder-7B 固定，比较预测选择与 W1 适应；CodeContests 为 200 题、三种子、最多三轮、每轮四选一，另有 APPS Introductory 1,000 题与 LiveCodeBench v6 1,055 题、种子 0、1、2（Section 6.1）。成功由测试套件判定，论文未报告 LLM 裁判。
• GUI 评测为 MiniWoB++ click-checkboxes 与 OSWorld；前者给出三档成功率及 RSI-Anything 的动作、重复点击和错误提交，后者只给出相对百分比（Figure 4）。论文未报告 GUI 回合数，也未报告 OSWorld 绝对成功率。
• 实验室规划在 200 任务的 LabHorizon F200 上，按开发顺序评估同一过程的五个 4B 策略版本，并报告 Level-1 与 Level-2（Figure 5、Table 3）。
• 反应优化为两个 Suzuki–Miyaura 筛选，分别在 20 次与 40 次实验处与 Bayesian optimization 比较（Figure 6）。论文未报告流式筛选中 mean 所对应的重复序列数。
• 免疫科学应用在本文中描述工作流演化、世界模型构建，以及下游分析中预测器固定（Section 3.5、Table 4）；其定量评估设置写在引用文献中，本文未报告数值指标。

RSI-Anything 是一个跨领域框架：用世界模型预测决定哪些候选去拿外部反馈，再用反馈决定策略、工作流或预测器是否更新，并用检查决定哪一对被保留。

要处理的困难是交互预算有限，以及策略一变，预测器面对的候选分布也会变。作者认为只改进其中一侧，不保证组装后的系统更好。

预测基础来自 JEPA-Anything 的潜在预测。选择可以按效用排序，也可以另走信息寻求。策略侧可以是示范、偏好或工作流搜索；世界模型只在当前版本被判为 unreliable、数据够且预算够时适应。组件检查或对检查失败，就保留旧版本。各实验只打开其中一段。

• 代码修复：coder 固定为 ReasonFlux-Coder-7B。CodeContests 200 题、三种子、最多三轮，隐测全过率由静态验证器的 26.3% 到固定世界模型的 29.2%（175/600），再到世界模型适应的 31.2%；在线测试调用为 3.71 或 3.72 次/题（Table 2）。作者报告前一步的配对差为 +2.83 个百分点，95% 区间 [+0.17, +5.50]。
• GUI：click-checkboxes 上 RSI-Anything 由 51% 到最终 99%，平均动作由 5.30 到 3.21，作者称减少 39.4%。OSWorld 上相对初始智能体为 18.4%、相对 RLAnything 为 5.5%，都是相对百分比（Figure 4）。
• 实验室：五个 4B 策略版本在 F200 Level-2 上为 21.80% 到 46.01%；作者报告终版比 Actor–Simulator–Selector 参照高 0.69 个百分点，Level-1 为 0.700 对 0.665（Figure 5、Table 3）。
• 反应：GC 屏 20 次实验的 best observed yield 为 93.0% 对 87.5%；流式屏 40 次实验的 mean best observed yield 为 96.15% 对 82.16%（Figure 6）。

作者认为这些结果支持世界模型的两个用途：决定哪些行动接受外部反馈，以及让预测器本身随反馈更新。作者同时写道，策略与世界模型在同一任务内的持续相互改进仍需要联合多轮评估，免疫应用中的治疗假设也尚待实验检验。