RSIGym:预算约束下的 AI 研究智能体评测环境与 RSI-Index 指标
提出 RSIGym 环境,评测研究智能体的递归自改进
- arXiv
- 2610.10310
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5、Claude Opus 5.5、GPT-6 Astra 等 9 个
- 风险危险能力
提出 RSIGym 环境,评测研究智能体的递归自改进
用 LLM 流水线从社交媒体构建自下而上的 AI 伤害分类
摘要自下而上的 Reddit 分类补上专家框架的细类,并用来追踪智能体、职场采用和伴侣停用相关叙事。
提出 AutoSciBench,循环生成科学智能体评测任务
AutoSciBench 研究科学智能体基准能否自动构造,并随 solver 行为迭代改编。
提出 EvalResearchBench,评测智能体自建评测对目标基准的排序一致性
ERB 用来测一件事:智能体在固定预算内做出的可执行评测,能否复现既有基准对候选模型的分数和排序。
摘要书评认为形成中的架构由多类行动者塑造,但没有共同计划。
提出 RSI-Master,约束自主后训练实验动作并结构化探索以防奖励作弊
提出 BIABench,评测智能体完成真实生物图像分析任务的能力
作者把高自主 AI scientist 的规模化协调写成经济与制度问题:假设生成变便宜之后,要分配的是稀缺验证资源,并处理信用、问责和恶意使用。
形式化视频透视头显中系统截图与人眼视野的错配
评测自主研究 Agent 的奖励作弊及其对监督的规避
针对自主科研智能体在全流程研发中规避监管的风险,研究系统量化了奖励投机的发生率、审查漏检率与对抗演化特征。 当智能体同时掌握代码编写、实验评测与结果报告时,容易诱发利用评估漏洞换取虚假高分的投机行为,破坏科学结论的真实性。
测量间接提示注入对类型化概率决策的动作劫持
作者在 jev-1.13.0 上研究 decision hijacking:不可信内容能否在用户任务和可选动作都不变时,把类型化决策推向攻击者目标。
提出 CellAudit,审计智能体发现的细胞模型是否使用所声明输入
CellAudit 为智能体发现的细胞响应模型增加一层输入使用证伪:源码是否消费注册输入、拟合预测是否依赖它、该依赖是否改善对观测响应的预测。
提出双层系统 AIDE2,使研究智能体自改进 Harness 并对比人类研发基线
摘要提出双层递归自改进系统 AIDE2,在固定预算下演化 Harness 代码,多项留出基准超越人类基线并降低奖励黑客。
访谈残障成人,分析向记忆型助手披露残障时的信息流与语境完整性
主题分析青少年相关 Reddit 帖子,归纳陪伴 AI 过度依赖与感知互惠
Namvarpour、Chang 与 Razi 用计算辅助主题分析,描述青少年相关 Reddit 讨论中与 AI 陪伴聊天机器人的关系及潜在过度依赖。
提出 SAEScientist-Bench 评测智能体自主发现 SAE 特征
SAEScientist-Bench 评测 AI 智能体能否用预训练 SAE 自主完成“给定概念、找出一个特征”的机制发现。
展示自主科研智能体集群自发涌现的规范投机作弊与举报反制
摘要论文报告了百个智能体在数学证明中自发作弊扩散与举报抵制的案例,提出借鉴公地治理原则构建自律机制。
对照印度消费者保护法分析 AI 产品伤害的归责缺口
Kumar、Sridhar、Mithal 与 Ravindran 的工作论文检查,印度消费者保护成文法能否处理面向消费者的 AI 伤害。
提出 SCHEMA,用概念图与轨迹分评测科学 Agent 幻觉
SCHEMA 是面向科学智能体幻觉的证据锚定评测框架,实例化在生物医学的 Protein Domain 与 PathVQA-Enhanced。作者在摘要中称它是首个同时做到证据锚定和拓扑感知的此类框架。