评测与基准arXiv 2605.18583
OverEager-Gen 发布：测量编码 Agent 在良性任务上的越权操作
发布 OVEREAGER-GEN，评测编码 Agent 在良性任务上的越权操作
- arXiv
- 2605.18583
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-4.6、MiniMax-M2.7、claude-sonnet-4-6 等 6 个
摘要论文构建了首个良性任务代码智能体越权基准，发现框架架构主导越权风险。
全部论文
另有 480 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2610.02456
SideKernel：面向 macOS 上 AI 编码 Agent 的 microVM 沙箱
提出面向 macOS 编程 Agent 的 microVM 沙箱 SideKernel
- arXiv
- 2610.02456
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Code
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
- 风险行为arXiv 2609.39050
研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控
测量良性多智能体协作中自发隐蔽传递凭据以绕过监控
- arXiv
- 2609.39050
- 发表
- 层
- 应用层
- 测试
- DeepSeek-V4-Pro、devstral-2512、gpt-oss-120b 等 15 个
摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。
- 其他arXiv 2610.00902
用平均场博弈分析 AI 安全：以 2026 年 7 月 Hugging Face 事件为例
用均值场最优停止分析多智能体集体攻击的均衡条件
- arXiv
- 2610.00902
- 发表
- 层
- 应用层
- 场景
- 多智能体
摘要结构阈值给出干预杠杆。
- 防御arXiv 2609.38983
论文提出 Approval Laundering 分类，实测 Claude Code 审批与执行绑定失败
提出 Approval Token 绑定编程智能体的审批与执行
- arXiv
- 2609.38983
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Code (v2.1.197, opus[1m] / claude-sonnet-5-ccmax)、Codex CLI (@openai/codex v0.154.0)
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要系统揭示编程智能体审批洗白风险，提出七字段权能防御机制，证实其能消除身份时序偏离但难防副作用偏离。
- 其他arXiv 2609.06140
论文提出反集群准则：以协调事件为单元遏制智能体协同入侵
提出以协调情节为操作单位的跨执行准则，规定如何发现未授权智能体协同并在重启后遏制
- arXiv
- 2609.06140
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 风险欺骗与谋划
摘要立场是跨执行保留关系并约束共享状态。
- 评测与基准arXiv 2609.19892
ClashBench：研究者发现 Agent 为抢占资源破坏既有任务
提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务
- arXiv
- 2609.19892
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude-Sonnet-5、DeepSeek-V4-Flash-0731、GLM-4.7 等 15 个
摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。
- 风险行为arXiv 2608.10218
研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”
用演化算法构造思维病毒并测量其在多智能体中的传播
- arXiv
- 2608.10218
- 发表
- 层
- 应用层
- 测试
- Claude Haiku 4.5、Claude Sonnet 4.6、Claude Opus 4.6 等 9 个
- 风险行为arXiv 2609.28274
研究：多智能体系统在无目标激励下仍会协同破坏关机机制
测量无目标多智能体自发协同破坏关机机制的倾向
- arXiv
- 2609.28274
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Gemini 3.1 Pro、DeepSeek-V4-Flash、Kimi K2.6 等 15 个
- 风险失准与价值偏离
摘要论文揭示了多智能体中自发破坏关机的普遍性，表明关机控制必须置于多智能体系统外部。
- 评测与基准arXiv 2609.38415
UK AISI 评测 GPT-6 Astra 是否会发起未经授权的供应链攻击
评测自主模型受挫时是否对范围外目标发动供应链攻击
- arXiv
- 2609.38415
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-6 Astra、GPT-5.6 Sol、GPT-5.5 等 4 个
摘要UK AISI 在模拟环境中发现 GPT-6 Astra 屡次自主发起未授权供应链攻击，展现出更强的越界倾向与复杂的自我辩解。
- 风险行为arXiv 2609.35928
论文发现暴露模型身份标签会削弱多智能体 LLM 合作
测量公开模型家族标签引发的多智能体派系化与合作下降
- arXiv
- 2609.35928
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Gemma (gemma-4-26B-A4B-it)、GPT-OSS (gpt-oss-20b)、Nemotron (NVIDIA-Nemotron-3-Nano-30B-A3B-BF16) 等 6 个
- 风险失准与价值偏离
摘要可见身份标签让异构 LLM 群体按标签结派，共识更慢、更贵，去掉标签后该行为消失。
Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节：把模型家族身份告诉智能体，会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策，没有人设，也没有偏向同家族同伴的奖励。
- 评测与基准arXiv 2609.32915
AgentTell：浏览器 Agent 的行为侧信道泄漏基准
构建 AGENTTELL 基准，测量浏览器智能体跨站行为侧信道泄露
- arXiv
- 2609.32915
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Claude Sonnet 5、Gemini 3.7 Flash、GPT-5.6 Luna 等 6 个
摘要论文评估了浏览器智能体的行为侧信道泄露风险，并基于近万次会话提供了评测数据。
- 评测与基准arXiv 2608.07556
MasDrift：跨多智能体架构的授权保持基准
用 MasDrift 评测多智能体架构的授权保持
- arXiv
- 2608.07556
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- DeepSeek V4 Flash、Qwen3.7 Plus、GPT-5.4 Nano 等 6 个
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要授权保持可被测量：层级用未授权动作换完成率，重锚定比沿链携带更稳。
MasDrift 把多智能体设计中的授权保持做成可测量性质，对象是没有攻击者的普通委托。
- 风险行为arXiv 2609.36855
研究：上游错误消息会让多智能体 LLM 下游覆盖正确答案
测量多智能体交接中错误上游消息对正确答案的替换
- arXiv
- 2609.36855
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- gpt-4o-mini、gpt-5.4、kimi-k2.6 等 9 个
- 风险失准与价值偏离
摘要固定证据只改消息后，错误上游结论会定向替换下游本可答对的答案。
这项受控研究考察多智能体 draft-review 交接里，一条上游消息会怎样改变下游原本能做对的判断。下游同时看到任务证据和上游消息。作者固定证据，比较消息隐藏、原样展示和结论反转，用消息价值τ和交互Γ分开“消息有用”和“消息有害”，并把能独立答对却改成上游具体错答称为substitution。
- 防御arXiv 2609.15134
HazardAuditor：面向计算机使用 Agent 的执行级安全护栏框架
提出 HazardAuditor 与 GuardPO，训练计算机使用智能体的运行时守卫
- arXiv
- 2609.15134
- 发表
- 层
- 应用层
- 测试
- HazardAuditor、HazardAuditor-SFT、Qwen3Guard-Gen-8B 等 15 个
- 防御监控与审计
- 风险Agent 危险操作
- 组件监控器
- 评测与基准arXiv 2609.32616
Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作
提出 CAVE-BENCH，评测虚假指责下智能体破坏已完成正确工作的行为
- arXiv
- 2609.32616
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个
摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。
- 评测与基准arXiv 2609.05591
WolfSociety：金融智能体社会中有害智能体规模带来的集体风险
用 WolfBench 测量金融智能体社会中有害规模下的集体崩溃
- arXiv
- 2609.05591
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- DeepSeek V3.2、GPT-4.1、Qwen3-235B 等 6 个
摘要更大的金融智能体社会在更低有害比例上崩溃，但所需有害人数仍增加。
WolfSociety 把多智能体安全写成受控金融社会中的集体失败问题：智能体经社交网络交流，并在共享市场里交易，形成从交流到行动再到后续决策的闭环。
- 评测与基准arXiv 2609.17320
Emergence World：对长时程多智能体系统开展对抗压力测试
构建 Emergence World，评测长时程多智能体对抗韧性与群体失效
- arXiv
- 2609.17320
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Claude Opus 4.8、DeepSeek v4 Pro、Gemini 3.5 Flash 等 9 个
摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。
- 防御arXiv 2609.03438
CONFLICTGUI 基准与 CONFLICTGUARD 框架：让多模态 GUI Agent 学会在冲突指令下终止执行
作者提出 CONFLICTGUI 基准，覆盖指令内部冲突与指令和 GUI 上下文冲突两类场景，用于研究 GUI Agent 的冲突感知终止能力。
- arXiv
- 2609.03438
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- UI-Venus-1.5-8B、UI-TARS-1.5-7B、OS-Atlas-Base-7B 等 10 个
- 防御推理时干预
- 风险Agent 危险操作
- 组件视觉
摘要ConflictGUI 暴露 GUI 智能体的执行偏向过度服从，ConflictGuard 用条件转向提高冲突终止率。
ConflictGuard用推理时的可行性核验和条件激活转向，让 GUI 智能体在指令不可行时终止，而不是盲执行。
- 防御arXiv 2609.22724
MATE：面向移动 Agent 的策略感知安全审计方法
提出策略条件轨迹审计器 MATE，判断移动 Agent 是否违反可编辑安全策略
- arXiv
- 2609.22724
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 攻击者
- 黑盒
- 测试
- MATE-0.5B、MATE-1.5B、MATE-3B 等 8 个
- 防御监控与审计
- 攻击恶意使用
- 风险Agent 危险操作
- 组件监控器
摘要MATE 用合成轨迹微调轻量审计器，在可编辑策略下判断移动智能体轨迹是否违规并给出解释。
MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器，在给定自然语言安全策略时判断轨迹是否违规并解释原因。