Station 在开放式科研任务中平均复现 62.7% 的预设子发现
评测多智能体在开放式科研任务中找回预设子发现的能力
- arXiv
- 2610.08927
- 发表
- 层
- 应用层
- 被测模型
- Gemini 3.1 Pro、GPT-5.5、Claude Opus 4.8 等7个
另有255篇论文还没打上分类标签,暂不在筛选结果里。
评测多智能体在开放式科研任务中找回预设子发现的能力
构建 BazaarBench,评测 C2C 市场中 Agent 的违规与失信行为
BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题,提出了一个结合底层实体状态与大模型裁判的仿真基准平台。
提出 MASBench,评测部分可观测下的多智能体协作机制
MASBench 用部分可观测任务比较 LLM 多智能体的协作机制,而不是只看端到端能否做完。
提出 SceneFactory-3D,用路况反事实评测驾驶策略的闭环安全性
SceneFactory-3D 是 GPU 批处理的多智能体驾驶仿真器,用来在场景和控制器固定时只改路面物理,并比较闭环结果。
提出 A2A-TIBA,经 A2A 对等任务间接注入并植入常驻回调
A2A-TIBA 把间接提示注入和绕过放进 A2A:gray-box 攻击者已能投递任务,诱导目标部署常驻回调程序后,下令和外传不再经过智能体。
提出 MADBench,评测多智能体辩论是吸收还是放大对抗影响
MADBench 是一个评测多智能体辩论安全性的基准,用来看攻击是被辩论吸收还是被放大。
评测多智能体 LLM 组织跨时代再创业及历史打分中的事后泄漏
摘要组织看见转变却建在旁边。
提出 ORBIT 框架,评测多智能体防御对合谋等威胁的效果
摘要ORBIT 用六层配置比较多智能体防御,逐动作监控不迁移到合谋。
提出 TRUSTFORK 基准,评测展示身份劫持多智能体编排权限
摘要论文提出了多智能体安全基准 TRUSTFORK,揭示展示身份如何劫持操作权威,并证明事后验证无法弥补已发生的执行破坏。
提出双控多智能体基准 DUMA-Bench,测量对抗环境下的策略违反
DUMA-Bench 把 τ²-bench 的双控交互做成智能体安全评测,用来看策略违反如何随用户、模型和环境一起出现。
提出 Emergence World,对长时程多智能体系统开展对抗压力测试
摘要作者通过长期平行世界实验指出模型对齐不具备可组合性,单模型群体会产生社会奉承、协同退缩及语言不透明等失效。
提出 WolfBench,测量金融智能体社会中有害智能体规模带来的集体崩溃
WolfSociety 把多智能体安全写成受控金融社会中的集体失败问题:智能体经社交网络交流,并在共享市场里交易,形成从交流到行动再到后续决策的闭环。
构建 ForesightSafety-TIDE 评测欺骗对多智能体事实恢复的影响
复现 AgentCF 上的多智能体攻防并刻画连通性作用
作者在 AgentCF 上研究连通性如何改变多智能体协同过滤的攻防,复现已有方法而不是提出新载荷。
提出 MasDrift,评测多智能体在良性任务中的授权保持
MasDrift 把多智能体设计中的授权保持做成可测量性质,对象是没有攻击者的普通委托。
提出 LegalHalluLens,分类审计法律抽取幻觉并校准多智能体辩论
LegalHalluLens 是一套法律条款抽取的审计框架,外加一个按审计结果校准的辩论缓解。。
提出 MAStrike,用 Shapley 选联盟对多智能体做共谋红队
提出多轮在线骚扰 Agent 基准,评测记忆、规划与微调越狱
提出 SafeScientist 四层监控,阻止科研智能体执行高风险或不伦理任务
SafeScientist 是带四层监控的科研智能体框架,并用 SciSafetyBench 评测科学场景中的任务安全。
提出 CW-POR 衡量多智能体辩论中修辞说服对事实判断的覆盖
作者用单轮对抗辩论和 CW-POR,观察同族评委面对事实性解释与错误辩护时是否选错,以及选错时有多确信。