DRYLAB-Bench:评测 Agent 式 LLM 突变设计的生物安全风险
提出 DRYLAB-Bench 评测 Agent 式 LLM 的高风险突变设计能力
- arXiv
- 2610.13116
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5、Claude Opus 4.8、Claude Fable 5 等15个
- 风险危险能力
另有233篇论文还没打上分类标签,暂不在筛选结果里。
提出 DRYLAB-Bench 评测 Agent 式 LLM 的高风险突变设计能力
提出 LGWM,用动作条件世界模型核验 GUI 智能体屏幕转移
提出 RSIGym 环境,评测研究智能体的递归自改进
评测多智能体在开放式科研任务中找回预设子发现的能力
提出 TasteVal 基准,衡量模型设计实验并解释结果的研究品味
提出 AutoSciBench,循环生成科学智能体评测任务
AutoSciBench 研究科学智能体基准能否自动构造,并随 solver 行为迭代改编。
提出 EvalResearchBench,评测智能体自建评测对目标基准的排序一致性
ERB 用来测一件事:智能体在固定预算内做出的可执行评测,能否复现既有基准对候选模型的分数和排序。
提出 Control OSWorld,评测失准 GUI Agent 的监控
提出 OSWorld-Science 基准,评测计算机使用智能体完成科学软件工作流的能力
提出 EngiWorld 基准,评测 Agent 在专业工程软件中走完设计闭环的能力
用 DIBench 评测移动 GUI 智能体被 UI 注入后的决策完整性
摘要论文提出移动智能体决策完整性基准 DIBench,发现欺诈 UI 注入诱导目标选择并推高完成率,通用防御收益不稳定。
提出 BIABench,评测智能体完成真实生物图像分析任务的能力
提出 OSWorld-Pro,用顺序子目标过程评测计算机使用智能体
OSWorld-Pro 是一套计算机使用智能体的过程评测,用来补充只核对最终交付物的 OSWorld。
提出移动 Agent 轨迹审计器 MATE,判断轨迹是否违反可编辑安全策略
MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器,在给定自然语言安全策略时判断轨迹是否违规并解释原因。
提出 SAEScientist-Bench 评测智能体自主发现 SAE 特征
SAEScientist-Bench 评测 AI 智能体能否用预训练 SAE 自主完成“给定概念、找出一个特征”的机制发现。
提出 ConflictGuard,引导 GUI Agent 在冲突指令下终止执行
ConflictGuard用推理时的可行性核验和条件激活转向,让 GUI 智能体在指令不可行时终止,而不是盲执行。
提出 SYNCHAIN,诱导计算机使用 Agent 自建跨任务持久攻击链
摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁,验证了潜伏载荷的跨任务传播能力与防御局限。
提出 SCHEMA,用概念图与轨迹分评测科学 Agent 幻觉
SCHEMA 是面向科学智能体幻觉的证据锚定评测框架,实例化在生物医学的 Protein Domain 与 PathVQA-Enhanced。作者在摘要中称它是首个同时做到证据锚定和拓扑感知的此类框架。
提出影子评测,衡量 Agent 自主完成开放式 AI 科研的能力
摘要论文通过影子评测发现前沿智能体能独立胜任科研工程实现,但在科学探索与有效利用反馈上未达到顶会门槛。
提出 BioSecBench-Surveillance,评测智能体的病原监测分析选择