评测与基准arXiv 2610.08871
CredLeak-Bench
提出 CredLeak-Bench，评测 Agent 面对钓鱼的凭据泄露与恢复
- arXiv
- 2610.08871
- 发表
- 层
- 应用层
- 被测模型
- Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个
- 攻击提示注入
- 评测与基准arXiv 2610.07639
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
评测编码智能体 harness 安全机制在对抗任务中的防护效果
- arXiv
- 2610.07639
- 发表
- 层
- 应用层
- 评测与基准arXiv 2610.07089
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
提出危害窗口与区间指标，统一评测分解攻击和提示注入下的智能体滥用监视
- arXiv
- 2610.07089
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemma 4 26B-A4B、Qwen3.6 27B、Qwen3.5 27B 等 12 个
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
- 评测与基准arXiv 2610.04589
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
提出 StegoMemory，评测智能体持久记忆作为跨会话隐写信道
- arXiv
- 2610.04589
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。
- 评测与基准arXiv 2610.04378
COPEX：面向 MCP 智能体的受控攻击评测基准发布
提出 COPEX 基准，评测 MCP 智能体对多入口攻击的抵抗力
- arXiv
- 2610.04378
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.7、Claude Sonnet 4.6、GPT-5.5 等 9 个
- 评测与基准arXiv 2610.03448
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
重测提示注入检测器在 Agent 工具输出上的检出与任务阻断
- arXiv
- 2610.03448
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个
摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
- 评测与基准arXiv 2610.03153
EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准
构建 EvoRiskBench 评测工作区 Agent 的运行时安全风险
- arXiv
- 2610.03153
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5
摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。
- 评测与基准arXiv 2609.39146
MADBench：多智能体辩论安全性评测基准发布
提出 MADBench，评测多智能体辩论是吸收还是放大对抗影响
- arXiv
- 2609.39146
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- gpt-4o、GPT-5、GPT-6 Astra
摘要MADBench 显示辩论能吸收部分准确率攻击，同时放大未授权读写。
MADBench 是一个评测多智能体辩论安全性的基准，用来看攻击是被辩论吸收还是被放大。
- 评测与基准arXiv 2609.34790
CoSec：面向社区场景的 LLM Agent 安全基准
用 CoSec 评测社区 Agent 是否越界披露受保护信息
- arXiv
- 2609.34790
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- OpenClaw with Gemini 3.1 Pro、OpenClaw with Qwen 3.8 Max、OpenClaw with MiniMax M2.5 等 13 个
- 评测与基准arXiv 2609.33102
ORBIT：基于 UK AISI Inspect 的多智能体安全评测框架
提出 ORBIT 框架，评测多智能体防御对合谋等威胁的效果
- arXiv
- 2609.33102
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- GPT-5.4、Claude Sonnet 4.6、Qwen3-235B 等 5 个
摘要ORBIT 用六层配置比较多智能体防御，逐动作监控不迁移到合谋。
- 评测与基准arXiv 2609.32691
研究审计 Agent 安全评测缺陷：工具调用中介在间接提示注入下的有效评测框架
提出卡点评测框架以审计智能体间接提示注入评测的测量缺陷
- arXiv
- 2609.32691
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- gpt-5.6-terra、llama3.1:8b、gemma4:12b 等 4 个
- 攻击提示注入
摘要论文揭示了 IPI 评测中导致指标虚高的系统性缺陷，通过构建有效评测框架纠正了多项安全与模型能力结论。
- 评测与基准arXiv 2609.32616
Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作
提出 CAVE-BENCH，评测智能体在虚假指责下破坏已完成的正确工作
- arXiv
- 2609.32616
- 发表
- 层
- 应用层
- 被测模型
- Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个
- 攻击提示注入
- 风险Agent 危险操作
摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。
- 评测与基准arXiv 2609.31318
AgentXploit：面向 AI Agent 的仓库到运行时自动化红队系统
提出 AgentXploit，从代码仓库发现攻击路径并在运行时验证利用
- arXiv
- 2609.31318
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-4.1
- 攻击提示注入
- 评测与基准arXiv 2609.28915
研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性
构建 ACE 语料，评测内核级证据对 Agent 攻击检测的有效性
- arXiv
- 2609.28915
- 发表
- 层
- 应用层
- 被测模型
- AdaBoost、XGBoost、TabPFN 等 10 个
摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。
ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。
- 评测与基准arXiv 2609.27336
CART：面向大语言模型的闭环自适应红队框架
提出闭环自适应红队框架 CART，评测模型与 Agent 的安全失败
- arXiv
- 2609.27336
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.8、GPT-5.5、Grok 4.3 等 7 个
- 攻击提示注入
摘要CART 把红队做成可审计的闭环搜索，在三类评测上比静态回放发现更多失败与更高平均风险。
CART 把自动红队从一次清单式打分，改成带预算、可追溯的闭环搜索。
- 评测与基准arXiv 2609.24662
DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准
提出双控多智能体基准 DUMA-Bench，测量对抗环境下的策略违反
- arXiv
- 2609.24662
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- GPT-5、GPT-5-mini、GPT-5-nano 等 14 个
- 攻击提示注入
摘要DUMA-Bench 用双控交互评测智能体安全。
DUMA-Bench 把 τ²-bench 的双控交互做成智能体安全评测，用来看策略违反如何随用户、模型和环境一起出现。
- 评测与基准arXiv 2609.22818
研究测量 LLM Agent 记忆投毒防御的良性场景开销
测量记忆投毒防御在良性对话上的效用与 token 开销
- arXiv
- 2609.22818
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要写时代价落在噪声内。
在没有攻击的对话上，给记忆投毒防御计价，而不是再测一轮攻击是否被挡住。
- 评测与基准arXiv 2609.19705
SoK 论文提出 FARSIGHT 框架，评测 15 个学术金融 LLM 交易 Agent 的鲁棒性与安全失败
用 FARSIGHT 方案级评测金融 LLM 交易 Agent 的稳健性与安全失败
- arXiv
- 2609.19705
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- ChatGPT Deep Research
- 攻击提示注入
- 风险Agent 危险操作
- 组件记忆
- 评测与基准arXiv 2609.17320
Emergence World：对长时程多智能体系统开展对抗压力测试
提出 Emergence World，对长时程多智能体系统开展对抗压力测试
- arXiv
- 2609.17320
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Claude Opus 4.8、DeepSeek v4 Pro、Gemini 3.5 Flash 等 9 个
摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。
- 评测与基准arXiv 2609.09404
MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测
用 MMPIBench 评测多模态提示注入对 Agent 框架的影响
- arXiv
- 2609.09404
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等 6 个
摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。