DRYLAB-Bench:评测 Agent 式 LLM 突变设计的生物安全风险
提出 DRYLAB-Bench 评测 Agent 式 LLM 的高风险突变设计能力
- arXiv
- 2610.13116
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5、Claude Opus 4.8、Claude Fable 5 等15个
- 风险危险能力
提出 DRYLAB-Bench 评测 Agent 式 LLM 的高风险突变设计能力
提出 RSIGym 环境,评测研究智能体的递归自改进
比较连续后训练阶段如何改变语言模型的说服力
作者用同一人类协议,把 LLM 说服力拆成阴谋数据上的失调 SFT、说服数据上的 SFT,以及其后的 IPO。
用 SafeEvo 提取拒绝电路,并提出 SCA 仅微调该电路
摘要SafeEvo 识别出基座模型中存在的弱安全电路及其演化动态,据此提出的 SCA 算法实现了安全对齐、能力保留与低过度拒绝的平衡。
提出 ASCENT,在效用微调中做一阶安全校准并只压制负贡献更新
提出 TasteVal 基准,衡量模型设计实验并解释结果的研究品味
评测 coding agent 在非公开漏洞上的利用生成、修复与后续攻击
作者比较编程智能体在利用生成与漏洞修复上的自主表现,并检查修复之后还能不能被攻破。文中的 help 指自主完成任务,不是提升人类操作者。
提出 Inspect Robots,在真实机器人上评测具身模型的能力与拒答
提出融合定位拒答与能力保留的安全微调,补齐视觉定位输出的拒答缺口
摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层,提出三成分微调方案有效弥合差距并保留定位能力,表征分析揭示了对齐机制。
在 GOAD 上评测 NeuroSploit 编排对 AD 自主渗透的提升
评测 ReAct 工具调用对多模态模型拒答有害请求的削弱
论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响,指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于:当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具(打标、缩放、OCR、代码执行)时,工具使用机制本身是否会降低模型拒答有害请求的概率。
评测 Agent 选择并早期操作高风险生物工具的能力
这项评估测量七个前沿 LLM 智能体与生物工具交互的最早两步:为设计任务选工具,以及在仓库里完成玩具级操作。作者关心的是,有生命科学背景但不会专门操作高风险工具的行为者,能否借此降低门槛。范围限于预测性、生成性工具。
用持续更新的探针做微调,降低有害性并保持线性可监测性
Probe-guided fine-tuning 把探针分数当作唯一对齐信号,用来推动 harmlessness 与 honesty,并检查训练后这些概念是否仍线性可读。
提出 Intent-Privilege OPSD,对齐视觉语言模型在隐式风险下的安全与帮助性
Intent-Privilege OPSD 是针对跨模态隐式风险的训练期安全—帮助性对齐方法。作者关注的不是直接拒绝敏感请求,而是按可观察图文证据保留正常帮助、约束有害信息。
提出 SURE 三阶段框架,用韩语对抗提示与安全打分做 SFT 与 DPO
用 CyberPersistBench 评测入侵后安装与持久化能力
CyberPersistBench 是评测入侵后安装与持久化的基准,关注初始访问消失后是否仍能维持原生立足点。。
Chan 等论证:自动化 AI 研发可能经软件反馈环形成智能爆炸,把本需数年的进展压进数月或更短。他们关心的不是换硬件的建设周期,而是 AI 扩大有效研发劳动力、再产出更强系统,以及社会能否在能力跃迁前看见、约束并适应这一过程。
ORPG 是一种多奖励策略梯度调和方法:每个奖励保持独立裁剪目标,相容时协调贡献幅度,冲突时按任务优先级投影。
提出 DeShortcut-Align,解耦伪捷径以增强推理模型安全对齐
占位。
提出 AGENT BOUNDARY,用四向反事实任务评测工具智能体行动边界
AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测,并附带一个决策时 Thought 校准模块。