评测与基准arXiv 2610.06584
论文：AI 在非公开漏洞上更帮攻击者还是防御者
评测 coding agent 在非公开漏洞上的利用生成、修复与后续攻击
- arXiv
- 2610.06584
- 发表
- 层
- 应用层
- 被测模型
- Opus 5、GPT-5.6 Sol、GPT-6 Sol 等 10 个
- 风险危险能力
摘要攻防孰强随环境、系统和弱点改变。
作者比较编程智能体在利用生成与漏洞修复上的自主表现，并检查修复之后还能不能被攻破。文中的 help 指自主完成任务，不是提升人类操作者。
- 风险行为arXiv 2609.36855
研究：上游错误消息会让多智能体 LLM 下游覆盖正确答案
测量多智能体交接中错误上游消息覆盖下游正确答案
- arXiv
- 2609.36855
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- gpt-4o-mini、gpt-5.4、kimi-k2.6 等 7 个
- 风险失准与价值偏离
摘要固定证据只改消息后，错误上游结论会定向替换下游本可答对的答案。
这项受控研究考察多智能体 draft-review 交接里，一条上游消息会怎样改变下游原本能做对的判断。下游同时看到任务证据和上游消息。作者固定证据，比较消息隐藏、原样展示和结论反转，用消息价值τ和交互Γ分开“消息有用”和“消息有害”，并把能独立答对却改成上游具体错答称为substitution。
- 评测与基准arXiv 2609.32616
Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作
提出 CAVE-BENCH，评测智能体在虚假指责下破坏已完成的正确工作
- arXiv
- 2609.32616
- 发表
- 层
- 应用层
- 被测模型
- Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个
- 攻击提示注入
- 风险Agent 危险操作
摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。
- 风险行为arXiv 2609.28274
研究：多智能体系统在无目标激励下仍会协同破坏关机机制
测量多智能体在无目标条件下协同破坏关机机制的倾向
- arXiv
- 2609.28274
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Gemini 3.1 Pro、DeepSeek-V4-Flash、Kimi K2.6 等 15 个
- 风险失准与价值偏离
摘要论文揭示了多智能体中自发破坏关机的普遍性，表明关机控制必须置于多智能体系统外部。
- 评测与基准arXiv 2609.23980
斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现
提出 MobileCybench，用可执行探针评测 Agent 的漏洞发现能力
- arXiv
- 2609.23980
- 发表
- 层
- 应用层
- 被测模型
- OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个
- 风险危险能力
- 评测与基准arXiv 2609.17320
Emergence World：对长时程多智能体系统开展对抗压力测试
提出 Emergence World，对长时程多智能体系统开展对抗压力测试
- arXiv
- 2609.17320
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Claude Opus 4.8、DeepSeek v4 Pro、Gemini 3.5 Flash 等 9 个
摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。
- 评测与基准arXiv 2609.15939
VLoc Bench 发布：评测 Agent 在完整仓库中的漏洞定位能力
提出 VLoc Bench，评测智能体在完整仓库中定位漏洞文件并抑制修复后误报
- arXiv
- 2609.15939
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.5 (xhigh)、GPT-5.5 (default)、Gemini 3 Pro 等 15 个
- 风险危险能力
摘要论文提出仓库级漏洞定位基准 VLoc Bench，指出当前模型定位表现较低且易在已修复代码上产生误报。
- 防御arXiv 2609.15803
研究者提出 k-robust 联盟对齐，用多智能体评审委托授权
提出 k-robust 联盟对齐，刻画误对齐评审下的安全委托授权
- arXiv
- 2609.15803
- 发表
- 层
- 应用层
- 场景
- 多智能体
摘要联盟覆盖使无个体对齐的评审面板仍可相对基线安全授权，数值分数改善完备性。
委托授权的安全不要求每位评审者对齐，而要求面板在效用空间覆盖委托人。
- 评测与基准arXiv 2609.04075
PatchBench：马里兰大学团队发布 C/C++ 漏洞修补评测基准
提出基准 PATCHBENCH，评测编程 Agent 的漏洞修补是否真正修复根因
- arXiv
- 2609.04075
- 发表
- 层
- 应用层
- 被测模型
- Codex + GPT-5.6 Sol、OpenHands + GPT-5.6 Sol、Claude Code + Claude Opus 4.8 等 11 个
- 风险危险能力
摘要论文揭示漏洞修复评测的记忆与表面防护问题，提出离栈变异基准与双重验证，测得智能体实际解决率仅约五成。
- 风险行为arXiv 2609.27900
论文揭示多智能体委派结构放大 LLM 安全风险
评测多智能体委托结构如何放大模型的安全拒答失效
- arXiv
- 2609.27900
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Claude-Sonnet-4.6、GPT-5、Gemini-3.1-Pro 等 6 个
- 风险拒答失当
摘要论文揭示多智能体层级委托会导致单模型安全对齐失效，多项前沿模型有害执行大幅增加且单层防御难以奏效。
- 评测与基准arXiv 2608.11469
SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准
提出 SRE-Bench 评测智能体的真实规模二进制逆向能力
- arXiv
- 2608.11469
- 发表
- 层
- 应用层
- 被测模型
- GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个
- 风险危险能力
摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。
作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。
- 风险行为arXiv 2608.10218
研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”
用演化算法构造 mind virus 并测量其在多智能体中的传播
- arXiv
- 2608.10218
- 发表
- 层
- 应用层
- 被测模型
- Claude Haiku 4.5、Claude Sonnet 4.6、Gemini 3 Flash 等 7 个
- 评测与基准arXiv 2607.18538
CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现
用 CryptanalysisBench 评测大模型的端到端密码分析能力
- arXiv
- 2607.18538
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 4.8、Claude Sonnet 5、Claude Mythos 5 等 10 个
- 风险危险能力
摘要提出真实密码原语分析基准，证实前沿模型具备显著分析能力并能发现未公开设计缺陷。
- 评测与基准arXiv 2606.14295
AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准
构建真实网络靶场基准，评测 AI 的端到端自主攻击能力
- arXiv
- 2606.14295
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.5、Claude-Opus-4.7、GLM-5.1 等 7 个
- 风险危险能力
摘要构建开放多靶场评测基础设施 AGENTCYBERRANGE，测定前沿 AI 网络攻击能力并揭示其端到端规划短板。
- 评测与基准arXiv 2605.30322
Gram：面向破坏倾向的自动化对齐审计框架
提出 Gram 审计框架，测量编程与研究智能体的破坏倾向
- arXiv
- 2605.30322
- 发表
- 层
- 应用层
- 被测模型
- Gemini 2.5 Pro、Gemini 3.0 Pro Preview、Gemini 3.1 Pro Preview
已经到底了