RSIGym:预算约束下的 AI 研究智能体评测环境与 RSI-Index 指标
[X09] RSIGym:预算约束的 AI 研究评测与监控干预案例(有限阅读)
AI 导读
研究者提出 RSIGym,一个基于 Everything as a Service 的智能体原生研究环境,把训练、推理、rollout、评测和沙箱执行封装为可复用服务,并以共享的预算与权限控制支持 Data、Harness 和 Joint 三条改进路径。团队定义 RSI-Index 为五个基准上剩余性能差距被弥合的平均比例,覆盖软件工程、终端交互、数学、科学推理和技能类任务。在独立 Joint 运行中比较六个前沿研究模型,Opus 5 在每次基准运行 500 美元平台服务预算下取得最高 RSI-Index 0.4809,其选出的系统在全部五个基准上均有提升,SWE-bench Verified 从 17.67% 升至 50.33%,AIME 从 31.67% 升至 97.78%。RSIGym 代码库与结果已开源。