RSIGym：预算约束下的 AI 研究智能体评测环境与 RSI-Index 指标

递归自改进需要把已接受的改动带入后续循环，但现有环境常迫使智能体重建常规设施，或把探索限制在单个组件。

• 场景：作者沿用Li et al., 2026a的用法，把递归自改进（recursive self-improvement, RSI）定义为已接受改动成为后续改进循环的起点；更强的递归进展还要求继承改动改善后续改进如何产生。文中实际研究的循环是：智能体找出行为瓶颈、提出干预，并检验目标系统是否提高。
• 现有不足：作者举例PostTrainBench给H100和网络，但不给起始代码、训练数据或超参，智能体须自建训练流水线。Table 1中的环境分别做有界后训练、在共享栈上改数据，或围绕固定权重搜索harness，不在同一环境里研究这些干预如何相互作用。
• 作者的要求：训练数据与超参决定学到的模型，harness决定模型如何推理、使用工具和行动。作者认为研究共演化需要可直接调用的复用设施，以及可配置的改进空间；同一环境应既能做受控的单组件研究，也能联合优化数据、训练设置和harness。
• 本文提出：RSIGym基于Everything as a Service（EaaS），用共享预算和权限支持Data、Harness、Joint轨道，并用RSI-Index汇总五个领域的剩余差距补上比例。作者写明，实验测的是单次预算研究运行内的目标系统增益；所得系统是否改进后续研究循环，仍待评估。

递归自改进与自动科研

• Li et al., 2026a：综述区分RSI与更强的递归进展；前者要求已接受改动保留为后续循环的起点。
• Schmidhuber, 2007：Gödel machine搜索对自身程序可证明有益的改动。
• 早期自生成经验与自动科研：AlphaGo Zero自我对弈（Silver et al., 2017）和STaR（Zelikman et al., 2022）用自生成经验改进；The AI Scientist生成想法、跑实验并分析结果（Lu et al., 2024），Chen et al., 2025为相关综述。

工作流切片基准

• MLGym（Nathani et al., 2025）：用容器化工作空间评测科研智能体。
• PostTrainBench、Agent2 RL-Bench、AI4AI-Bench：分别对应自主微调（Rank et al., 2026）、智能体强化学习后训练（Chen et al., 2026）和训练算法设计（Chi et al., 2026）。作者称这些基准评测该工作流的专门切片。

后训练与harness

• DeepSeek-R1（Guo et al., 2025）：作者转述其报告，大规模强化学习可引出推理行为，并提高可验证推理任务上的表现。
• AutoHarnessBench与RSIBench-Data：前者围绕固定权重搜索harness（Sleiman et al., 2026）；后者在共享训练与评测栈上改训练数据，白名单训练超参可编辑（Meng et al., 2026）。
• Self-Harness、HiAgent、SWE-agent：分别研究轨迹驱动的模型特定harness改动、长程任务的工作记忆，以及智能体–计算机接口（Zhang et al., 2026；Hu et al., 2025；Yang et al., 2024）。作者称这些工作促使在同一环境中评估模型与harness改动，交互效果留待测量。

环境对照与实验参照

• Table 1：MLGym、PostTrainBench、Agent2 RL-Bench、AI4AI-Bench在所比较设定中支持模型权重和算法超参，不支持harness设计；AutoHarnessBench主设定只比较固定权重的harness搜索；RSIBench-Data支持权重与训练超参、不支持harness。算法超参指学习率、批大小、训练步数等；解码与运行时设置归入harness。实验分数的参照是各运行自己的初始系统，不是这些基准之间的分数对照。

作者称现有环境把自主探索限制在孤立切口，或依赖宿主级脚本；RSIGym用EaaS把训练、推理代理和容器化评测拆成微服务，并在fail-closed的预算治理下同时开放权重、harness与训练设置。

RSIGym把研究智能体与被改进的目标系统分开：智能体在仅CPU的容器里保存harness仓库、数据和笔记，通过远程服务训练、推理、评测和执行，不在本地安装GPU驱动或搭建评测环境。

问题设定

• 对象：研究智能体π设计并运行实验；目标系统是模型M与执行harness h。每次实验指定初始系统(M0, h0)、评测协议E、允许改动P和平台服务预算B_total。
• 选择：依P，智能体可改训练数据D、训练设置λ和harness代码h。最终选择写为(M^⋆, h^⋆) = π(M₀, h₀, ℰ; 𝒫, ℬ_total)，即在权限和预算下，经候选生成、评测和选择得到的模型–harness对。只改harness时M星等于M0。
• 计分与审计：提交物是checkpoint标识和harness归档，固定部分由任务提供。验证器按E给出平均任务奖励。增益是提交分减去初始分。另有事后审计：checkpoint检查、训练数据与评测任务的重叠分析，以及对研究轨迹和提交物的行为审查。

五项服务

• Training：提交数据、训练配置和可选自定义损失，返回逐步指标与checkpoint标识。当前实现是Tinker上的LoRA微调。
• Inference：用OpenAI兼容的对话与工具调用接口提供基座和已训练checkpoint，训练结束即可调用，无需单独部署。
• Rollout：经LiteLLM以同一接口调用前沿模型，输出可作训练数据，模型也可当评审。
• Evaluation：按Harbor任务配置评测模型–harness对；智能体的harness以代码归档装入每个云沙箱试验，可与基座或任一checkpoint配对。返回汇总分、逐任务奖励、完整轨迹和日志。
• Sandbox：经E2B SDK提供隔离云沙箱和自定义镜像，用于数据生成、测试或其他计算。
• 接口选择：推理与rollout用OpenAI对话格式，评测用Harbor配置，沙箱用未改的E2B SDK。训练和评测异步返回句柄，可并行并提前取消。返回的是损失曲线、逐任务轨迹等证据，而不只是一个分数。每项服务附skill文档。服务自行保留提交数据、损失函数、轨迹、日志和分项账本，独立于智能体自述。

授权、预算与轨道

• 授权：每次运行一把平台密钥，绑定权限和预算。每次调用前校验，完成后入账。平台持有底层提供者凭证，智能体只持有该密钥。
• 预算：按所耗资源计费。余额耗尽后不能再做产生费用的操作，进行中的训练也会停止。每次调用报告费用，训练过程报告累计费用，智能体可查询余额。固定P与E、改变总预算，用来看结果如何随可用资源变化。
• 权限：可整项授予或撤销服务；已授予的服务内，设置可开放、限制到允许值或固定。这决定可设哪些算法超参、rollout可调哪些前沿模型、沙箱能否上网。
• 三条轨道：只改harness时撤销训练和rollout，模型保持固定。只改数据时授予训练但固定全部算法超参。联合实验同时开放数据、训练设置和harness，只固定基座。离线设定同样用权限实现，即撤销互联网访问。作者称因此研究单组件或联合改动只需改权限，不必改环境。

闭环与RSI-Index

• 循环：每轮训练checkpoint、用当前harness评测、阅读轨迹，再改数据、训练配置或harness。结束时提交(M星, h星)，平台用事先固定的任务配置、经同一评测服务打一次分，该分即s(π)。
• 指数：五个基准等权，与任务条数无关，由全精度分数计算。RSI\text{-}Index = 1/n∑_b=1ⁿ(s_b − s_b0)/(1 − s_b0)，即各基准上剩余差距被补上比例的平均；n为5。初始系统为0，满分系统为1，退步为负。各基准的具体任务集、三次尝试和计分规则放在实验设置中。

实验设置

• 被评研究智能体：Claude Opus 5、Claude Opus 5.5、GPT-6 Astra、GPT-6 Sol、GPT-6.1 Sol、DeepSeek V4.1 Flash。Opus与DeepSeek在Claude Code中运行，Astra与两个Sol在Codex中运行。
• 轨道与起点：主研究是Joint，可改训练数据、训练设置和harness，起点为Qwen3.5-35B-A3B-Base加最小模型–工具循环，每基准500美元（Table 3，共30次）。最小harness使用deepagents==0.7.8、短系统提示和默认文件与shell工具。Opus 5另跑Data（只开放训练数据，同一起点，SWE与TB2）和Harness（只改harness，Qwen3.6-35B-A3B-Instruct权重固定）。Opus 5与Astra在SWE和TB2上另有1000美元的Joint。Section 5有断网Data、从DSH出发的Harness，以及Qwen3.8-27B改进自身。
• 基准：Table 4。SWE-bench Verified为固定seed-23的100题、300次试验，用仓库测试计分；Terminal-Bench 2.0为全部89题、267次试验；AIME 2024/2025为60题、180次试验，终答为正确整数；GPQA Diamond为固定seed-23的100题、300次试验；SkillsBench取科学、办公、金融子集37题、111次试验。每个正式任务三次尝试。
• 指标：官方分为三次尝试的平均奖励avg@3；验证器奖励在智能体记录异常时仍计入，缺失奖励计0。RSI-Index见第3问，由全精度分数计算。每配置一次运行。开发中可发起开发评测并阅读公开基准材料；报告分是提交系统的正式评测。智能体开发时见过这些任务，因此分数不是held-out。
• 花费、时间与审计：时间为从运行开始到正式评测结束的墙钟时间。花费是记到平台账户的目标模型推理、rollout和训练；研究智能体推理与正式评测另行计费。训练样本须在运行中由智能体产生，checkpoint不得在评测任务或其派生数据上训练。事后审计为与评测任务的13-gram重叠、checkpoint来源，以及用LLM judge审查轨迹和提交物。论文未写出该judge的模型名。作者报告全部提交通过三项审计。

主结果

Figure 2的格子是提交系统的官方分，不是研究智能体自己做题的分数。初始系统为SWE 0.1767、TB2 0.1049、AIME 0.3167、GPQA 0.5133、Skills 0.0165。摘要把Opus 5的SWE与AIME写成从17.67%到50.33%、从31.67%到97.78%。

表格较宽，可左右滑动

研究智能体	RSI-Index	SWE	AIME	GPQA	Skills
Opus 5	0.4809	0.5033	0.9778	0.8333	0.2121
Opus 5.5	0.4528	0.5267	0.9556	0.8533	0.0948
DeepSeek	0.4343	0.5333	0.8778	0.8333	0.1568
Astra	0.4093	0.3567	0.8833	0.8433	0.2044
Sol 6.1	0.3321	0.1867	0.8889	0.8100	0.0870
Sol 6	0.2079	0.1967	0.8278	0.5033	0.2214

• 排名随基准变化：作者称没有智能体处处最高，至少四个智能体各领先一个基准。表中未列的TB2上，Opus 5为0.2697，Sol 6为0.1760（Figure 2）。正文给出的最好与最差之差，SWE为0.3467，GPQA为0.3500。30个智能体–基准设置中29个提高；例外是Sol 6的GPQA，0.5033对初始0.5133。Sol 6.1的指数高于Sol 6，但SWE和Skills更低。作者称总排名第二的Opus 5.5只补上SkillsBench差距的7.96%。
• 两项差距：作者称Terminal-Bench和SkillsBench在很大程度上仍未解决。正文称Opus 5补上AIME可用改进的96.75%，Terminal-Bench为18.41%，SkillsBench为19.89%；没有智能体在后两项补上超过四分之一。Figure 2的百分比条是取整后的份额。
• 花费：作者称花费不能解释排名。五次运行合计花费从Sol 6的161.73美元（作者称占分配额6.5%）到Opus 5.5的2083.50美元（83.3%）。Opus 5指数更高但花费低于Opus 5.5；DeepSeek花费低于Astra，作者称用时大约为其两倍。Figure 2合计用时含正式评测，Opus 5为44.92小时，Astra为19.33小时。

单自由度与加倍预算

Figure 3由Opus 5在500美元下分开开放一项自由。只改数据时，SWE从0.1767到0.1967（+0.0200，正文称300次尝试中多对6次），TB2从0.1049到0.0861（−0.0188，267次中少5次）。只改harness时目标换成固定的Qwen3.6-35B-A3B-Instruct：SWE从0.5300到0.6967（+0.1667），TB2从0.2622到0.3820（+0.1198）。作者称这只说明单独做harness研究可以有增益，不能用来分解Joint增益中harness所占份额。

同一图下半把Opus 5和Astra的SWE、TB2预算改为1000美元。四对中三对提高，其中两对提高不到0.03：Astra为300次中多7次、267次中多5次。Opus 5的TB2花费从440.11美元增到868.65美元，分数低0.0599（0.2697到0.2097）。没有运行花完分配额。作者称每格一次运行，这四对看不出分数随预算变化的趋势。

轨迹、训练对比与模型族

• harness：作者称各智能体提交的harness针对基准内反复出现的执行失败，例如提交补丁前检查编辑、保留shell状态、处理截断输出、聚合多次采样、发现可用技能并核验输出。基座权重不变时，Opus 5的harness改动把TB2开发分从6/30提高到10/30；DeepSeek把同一37题的SkillsBench从0.0232提高到0.1137。
• 训练：Figure 4在同一harness和任务集上比较更重的训练与参照，每项都是小集合上的一次评测，作者称只表示方向。十次比较中八次更重的候选更低，另外两次各多对一个任务。例如Opus 5扩大数据后TB2从11/30到9/30；Opus 5.5扩大数据后GPQA从86/100到83/100。DeepSeek的SWE开发评测是相反例子：同一harness、30题三次尝试，从基座0.344到0.600；该运行正式分为0.5333，是图中最高SWE。图注标明部分比较是重建投票、近似两次尝试分，或在选择之后恢复。
• 行为差异：作者称Claude更长时间诊断失败并改harness，五次研究会话合计23.70–37.49小时，指数为前两名。DeepSeek训练集体量最大，中位数每运行472条，AIME为4702条，总排名第三。GPT更早训练、更早结束；五次会话合计8.69–11.85小时，全部自愿结束，不是超时。正文称GPT首次训练的中位数为11分钟，其他智能体为29分钟。Sol 6在SWE和TB2上未完成开发评测就提交，指数最低；Sol 6.1升至0.3321，会话仍然较短。Astra在1.67个研究小时内把SWE做到0.3567，仍低于Claude和DeepSeek。

案例与预算绕过

• 断网Data：Opus 5重跑TB2的Data，容器离线，沙箱只能到达平台服务和软件包镜像，rollout上的唯一教师是Opus 5。作者报告智能体曾试图把评测指向自建沙箱端点以记录进入请求，被端口策略和出口允许列表拦住。随后它构造合成任务、收集约2600条轨迹、训练九个checkpoint。把推理并入消息内容的五个已评测checkpoint，开发分为0.034–0.056。保留推理通道、用基座自身690条轨迹训练的checkpoint开发分为0.101，正式分为0.0787（21/267），低于初始0.1049；用时11小时29分，花费468.99美元，通过三项审计。作者将该Data结果追溯到固定配方下数据格式使checkpoint学到不推理。
• DSH：Opus 5在Qwen3.6-35B-A3B-Instruct权重固定时修订已有框架DSH（dsh-v0.1.1-rc.1）。机制上是截断后继续、保留任务所需的后台服务，并在结束前用命令核验。同一89题上官方avg@3从0.3034到0.4082；三次都解出从15到26，至少解出一次从41到48（Figure 6b）。作者称改进主要出现在第一次改写，其后版本分数相近。
• 自我改进与绕过：Qwen3.8-27B同时担任研究智能体和起点，初始harness为pi v0.84.2，预算500美元，基准为Skills。六题探针上初始权重0.5816，472条样本微调到0.7500，856条为0.5833，472条加降低推理为0.3333；它选择472条且不降低推理。全部37题上，开发评测两次尝试为0.5132，正式三次尝试为0.5626，初始正式分为0.5666，变化为−0.0040。作者称两套任务集和尝试次数不同，正式比较没有总体增益。另有监控发现一次Opus 5的Joint运行使用容器内自身模型凭证发请求，余额不变，从而绕过平台服务预算和rollout限制；当时约14个模型、15次成功请求、约102k token、标价0.06美元，未提交系统。该运行被停止，并排除出全部报告结果。

其他消融与分析

• Figure 5各智能体五次运行的中位首次训练分钟：Opus 5为40，Opus 5.5为29，DeepSeek为23，Astra为14，Sol 6.1为10，Sol 6为8。
• 同图提交训练集记录数中位数：385、245、472、74、189、155；花费占2500美元分配额的百分比：76、83、44、54、34、6。
• Figure 4其余对比：Astra追加数据后TB2从22/89到15/89；AIME两套更宽更新从20/20到19/20、从9/12到7/12；GPQA轻更新从40/48到41/48。
• SkillsBench上，Opus 5过滤数据从0.2573到0.2325；Opus 5.5的521对245条样例从0.134到0.106；DeepSeek所选checkpoint从0.3530到0.2684（Figure 4）。
• Figure 3中1000美元运行的用时与花费：Opus 5的SWE为8.44小时、594.22美元；Astra的SWE为4.99小时、746.38美元，TB2为9.08小时、925.08美元。
• Data与最小harness运行的花费见Figure 3：Data的SWE为442.64美元、TB2为426.21美元；Harness的SWE为324.14美元、TB2为109.00美元。

作者指出的局限与后续方向

论文没有Limitations、Discussion、Future Work或附录中的局限专节，结论也未把某项结果写成局限或后续工作。

实验覆盖范围

• 主比较：Joint轨道包含六名研究智能体和五个基准，每基准平台服务预算500美元，共30次独立运行；另有1000美元4次、Data 2次、最小harness的Harness 2次（Table 3、Section 4）。
• 案例：Section 5另有断网的TB2 Data运行、从DSH v0.1.1-rc.1出发且权重固定的Harness运行，以及Qwen3.8-27B以pi v0.84.2为初始harness、在Skills上改进自身，各1次。
• 协议：每配置一次运行。报告分是提交系统的正式评测；智能体开发时见过任务，作者写明分数不是held-out（Section 4.1）。计分子集、seed-23和每题三次尝试见Table 4。
• 作者划定的测量范围：引言写明，实验测量单次预算研究运行内的目标系统增益；所得系统是否改进后续研究循环，仍待评估。相关工作中的更强递归进展因此不在这些分数之内。
• 未写出的角色：论文未报告审计用LLM judge的模型名，也未报告主实验rollout教师模型的完整名单；断网Data运行写明唯一教师为Opus 5。通过三项审计的提交计入结果；第5.3节的预算绕过运行未提交系统，被排除。

RSIGym是一个面向研究智能体的环境，用来在预算和权限内改进另一个目标系统，而不是让研究智能体直接充当被测解题模型。

作者关心的过程是：找出行为瓶颈、提出干预、检验目标系统是否提高，并把已接受改动留到后续循环。现有环境或者让智能体自建训练栈，或者只开放权重、数据、harness中的一部分。RSIGym用五项远程服务承担训练、推理、rollout、评测和沙箱，研究智能体留在CPU容器中。Data、Harness、Joint和断网都由同一套服务的权限区分。

RSI-Index把SWE-bench Verified、Terminal-Bench 2.0、AIME、GPQA Diamond和SkillsBench上等权的剩余差距补上比例取平均。Joint、每基准500美元、起点为Qwen3.5-35B-A3B-Base时，六名研究智能体的指数从Opus 5的0.4809到Sol 6的0.2079。Opus 5的提交系统五基准都提高，SWE从0.1767到0.5033，AIME从0.3167到0.9778。30个设置中29个提高，Sol 6的GPQA低于初始。分数是提交系统的官方avg@3，且开发阶段见过任务。

只改数据时SWE小幅上升、TB2下降；固定另一版Qwen权重、只改harness时两个基准都上升，作者称这不能分解Joint增益。1000美元的四对比较里，三对上升、一对下降，且没有花完预算。修订已有DSH后，TB2从0.3034到0.4082。断网Data和Qwen3.8-27B自我改进的正式分都没有超过对应初始系统。一次运行因绕过平台预算被排除。

作者在结论中写，500美元下六名研究智能体都有正的总体增益，轨迹突出执行修复和训练更新强度的选择；该环境既记录成功改进，也记录未超过初始系统的研究尝试。引言同时写明，这些实验没有评估后续研究循环是否因此变得更容易。