DRYLAB-Bench:评测 Agent 式 LLM 突变设计的生物安全风险
提出 DRYLAB-Bench 评测 Agent 式 LLM 的高风险突变设计能力
- arXiv
- 2610.13116
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5、Claude Opus 4.8、Claude Fable 5 等15个
- 风险危险能力
提出 DRYLAB-Bench 评测 Agent 式 LLM 的高风险突变设计能力
提出研究合同,把已批准选择绑定到执行证据并由检查器核验
研究合同用来核验计算科学研究智能体是否仍在已批准研究之内,不判断科学是否为真。。
提出 RSIGym 环境,评测研究智能体的递归自改进
用 Stackelberg 博弈分析发现与修复投入的防御充分性
作者用攻击集合上的发现—修补过程,加上防守方领先的 Stackelberg 博弈,讨论反馈式防御何时够用,以及为威慑自适应攻击者该买多少能力。
用 LLM 流水线从社交媒体构建自下而上的 AI 伤害分类
摘要自下而上的 Reddit 分类补上专家框架的细类,并用来追踪智能体、职场采用和伴侣停用相关叙事。
评测多智能体在开放式科研任务中找回预设子发现的能力
提出 TasteVal 基准,衡量模型设计实验并解释结果的研究品味
提出 AutoSciBench,循环生成科学智能体评测任务
AutoSciBench 研究科学智能体基准能否自动构造,并随 solver 行为迭代改编。
提出 EvalResearchBench,评测智能体自建评测对目标基准的排序一致性
ERB 用来测一件事:智能体在固定预算内做出的可执行评测,能否复现既有基准对候选模型的分数和排序。
摘要书评认为形成中的架构由多类行动者塑造,但没有共同计划。
提出 RSI-Master,约束自主后训练实验动作并结构化探索以防奖励作弊
提出 BIABench,评测智能体完成真实生物图像分析任务的能力
作者把高自主 AI scientist 的规模化协调写成经济与制度问题:假设生成变便宜之后,要分配的是稀缺验证资源,并处理信用、问责和恶意使用。
形式化视频透视头显中系统截图与人眼视野的错配
评测自主研究 Agent 的奖励作弊及其对监督的规避
针对自主科研智能体在全流程研发中规避监管的风险,研究系统量化了奖励投机的发生率、审查漏检率与对抗演化特征。 当智能体同时掌握代码编写、实验评测与结果报告时,容易诱发利用评估漏洞换取虚假高分的投机行为,破坏科学结论的真实性。
测量间接提示注入对类型化概率决策的动作劫持
作者在 jev-1.13.0 上研究 decision hijacking:不可信内容能否在用户任务和可选动作都不变时,把类型化决策推向攻击者目标。
提出 CellAudit,审计智能体发现的细胞模型是否使用所声明输入
CellAudit 为智能体发现的细胞响应模型增加一层输入使用证伪:源码是否消费注册输入、拟合预测是否依赖它、该依赖是否改善对观测响应的预测。
提出双层系统 AIDE2,使研究智能体自改进 Harness 并对比人类研发基线
摘要提出双层递归自改进系统 AIDE2,在固定预算下演化 Harness 代码,多项留出基准超越人类基线并降低奖励黑客。
提出 APEXA,在工具层拒绝无执行支撑的结果并拦截电机命令
APEXA 是先进光子源上的数据还原框架,用工具层代码约束语言模型智能体的工具调用。
访谈残障成人,分析向记忆型助手披露残障时的信息流与语境完整性