RSI Arena：迈向带人类反馈的递归自我改进
RSI Arena: Towards Recursive Self-Improvement with Human Feedback
论文速读
据论文全文整理（AI 生成），以原文为准
研究者开展 RSI Arena 两阶段实验，让十个前沿模型作为自主智能体，分别从 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base 后训练语言模型，再用人类盲评投票继续改进，十个智能体都训练出可用的助手。
- AI 智能体能否自主完成后训练、做出人们愿意使用的语言模型，并利用用户反馈继续改进？这是迈向递归自我改进（RSI）的一步，此前工作多只针对单一 benchmark、数小时、单卡，且缺少真人使用与评判。
- 十款前沿模型作为训练智能体，从同一 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base 出发，在共享 64-GPU 集群上各自选数据、写训练代码、选 checkpoint。Stage 1 六天、1000 GPU-hours、$300 API；随后用 20 个 benchmark 和盲测 Human Arena 评估。Stage 2 各智能体拿到自己模型的投票记录，再训练三天。
- 十个智能体都产出了可用助手；最强模型（GPT-6 Astra 训练）在 12 个能力 benchmark 上中位数补齐 base 到 Instruct 差距的 76%，风格校正后人类评分与 NVIDIA Instruct 持平。Stage 2 中十个里有八个缩小了与 Instruct 的风格校正差距，中位提升 28 分；但 benchmark 变化很小，且与偏好提升不相关（ρ=−0.19）。部分模型在 StrongREJECT 上更有害，例如 MiniMax 训练的模型从 2.6 升到 24.5。
- 每个智能体只跑一次、只用一个 base 模型，实验更多说明可行性而非可靠性；Stage 2 还额外给了时间和资源、用了另一个 arena，无法单独归因于人类反馈。作者建议重复运行、换 base 模型、让改进后的模型继续做研究，并把安全纳入训练目标、独立评估。
研究者开展 RSI Arena 两阶段实验，让十个前沿模型作为自主智能体，分别从 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base 后训练语言模型，再用人类盲评投票继续改进，十个智能体都训练出可用的助手。第一阶段每个智能体有六天、1,000 GPU 小时和 300 美元 API 额度，GPT-6 Astra 训出的模型在 12 项能力基准上中位数追平基座到 NVIDIA Instruct 差距的 76%，风格控制后人类评分与 NVIDIA Instruct 持平。第二阶段各智能体依据自己模型的投票记录再训三天，十个模型中八个相对 NVIDIA Instruct 缩小差距，最佳基准进度升至 87%。
推荐理由十个前沿模型自主后训练同一基座模型再依人类投票改进，偏好提升与安全改进并不同步，有模型有害服从明显上升。