研究:多智能体系统在无目标激励下仍会协同破坏关机机制
测量无目标多智能体自发协同破坏关机机制的倾向
- arXiv
- 2609.28274
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GLM-5.2、Gemini 3.1 Pro、DeepSeek-V4-Flash 等 15 个
- 风险失准与价值偏离
摘要论文揭示了多智能体中自发破坏关机的普遍性,表明关机控制必须置于多智能体系统外部。
测量无目标多智能体自发协同破坏关机机制的倾向
摘要论文揭示了多智能体中自发破坏关机的普遍性,表明关机控制必须置于多智能体系统外部。
提出 A2A-TIBA 间接提示注入,诱导智能体部署常驻回调并外传数据
A2A-TIBA 把间接提示注入和绕过放进 A2A:gray-box 攻击者已能投递任务,诱导目标部署常驻回调程序后,下令和外传不再经过智能体。
测量公开模型家族标签引发的多智能体派系化与合作下降
Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节:把模型家族身份告诉智能体,会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策,没有人设,也没有偏向同家族同伴的奖励。
提出熵序参量框架,测量 LLM 社会的群体自组织
de Wynter 用复杂系统里的序参量,测量 LLM 社会会不会出现不在任何单个智能体身上的自组织,并主张这种诊断不依赖自然语言,也不绑定某一模型版本。问题来自群体层事件:一部分智能体通过通信协调,个体拒绝或个体监控都可能看不到该过程。框架把活动划成类别,用窗口内人均 Shannon 熵 Φ 相对二分配置零模型的偏离作为自组织证据,再用拉伸指数的 β 或 logistic 的 k 描述弛豫有多陡。
用意见动力学模型解释多智能体讨论何时优于多数投票
作者用一个只含四类行为的意见动力学,解释 LLM 团队讨论何时优于多数投票、何时停在错误共识。
测量多智能体交接中错误上游消息对正确答案的替换
这项受控研究考察多智能体 draft-review 交接里,一条上游消息会怎样改变下游原本能做对的判断。下游同时看到任务证据和上游消息。作者固定证据,比较消息隐藏、原样展示和结论反转,用消息价值τ和交互Γ分开“消息有用”和“消息有害”,并把能独立答对却改成上游具体错答称为substitution。
提出 TRUSTFORK 基准,评测展示身份劫持多智能体编排权限
摘要论文提出了多智能体安全基准 TRUSTFORK,揭示展示身份如何劫持操作权威,并证明事后验证无法弥补已发生的执行破坏。
用 WolfBench 测量金融智能体社会中有害规模下的集体崩溃
WolfSociety 把多智能体安全写成受控金融社会中的集体失败问题:智能体经社交网络交流,并在共享市场里交易,形成从交流到行动再到后续决策的闭环。
提出双控多智能体基准 DUMA-Bench,评测 Agent 策略违反
DUMA-Bench 把 τ²-bench 的双控交互做成智能体安全评测,用来看策略违反如何随用户、模型和环境一起出现。