评测与基准arXiv 2610.08871
CredLeak-Bench
提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露
- arXiv
- 2610.08871
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Qwen3.5-9B、Claude Sonnet 5、Claude Opus 4.8 等 7 个
- 攻击提示注入
全部论文
另有 701 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.06898
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
提出 DIBench，评测界面注入对移动智能体选择决策的操纵
- arXiv
- 2610.06898
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个
摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。
- 评测与基准arXiv 2610.07089
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
构建统一滥用监视基准，评测分解攻击与提示注入轨迹
- arXiv
- 2610.07089
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3.6 27B、Qwen3.5 27B、Qwen3.5 9B 等 12 个
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
- 评测与基准arXiv 2610.07639
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制
- arXiv
- 2610.07639
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen3.8-27B、GLM-5.2、Claude Opus 4.8 等 4 个
- 评测与基准arXiv 2610.04378
COPEX：面向 MCP 智能体的受控攻击评测基准发布
提出 COPEX 基准，固定协议栈评测 MCP 智能体的攻击抵抗力
- arXiv
- 2610.04378
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Grok 4.3、Qwen-2.5:3b、Claude Opus 4.7 等 9 个
- 评测与基准arXiv 2610.03448
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
重评提示注入检测器，检验基准分数对智能体部署的预测力
- arXiv
- 2610.03448
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen2.5-7B-Instruct、Horizon-Labs、Wolf Defender 等 15 个
摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
- 评测与基准arXiv 2609.09404
MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测
用 MMPIBench 评测智能体框架的多模态提示注入
- arXiv
- 2609.09404
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Grok 4.3、Claude Opus 4.8、GPT-5.4 等 6 个
摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。
- 评测与基准arXiv 2608.09476
ActBench：面向协作智能体行为安全的自演化基准
构建 ActBench 评测协作智能体多步执行中的操作级行为安全
- arXiv
- 2608.09476
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Grok-4.5、Qwen3.7-max、Qwen3.7-plus 等 15 个
摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。
- 评测与基准arXiv 2607.05189
研究者提出 MemGhost，对持久化个人 Agent 实现隐蔽记忆注入
提出 MEMGHOST，以单封恶意邮件向持久个人智能体注入隐蔽记忆
- arXiv
- 2607.05189
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Grok 4.1 Fast、GPT-5.4、Claude Sonnet 4.6 等 6 个
摘要总结了论文的研究背景、双代理优化方法 MEMGHOST、全周期实验结果以及作者对记忆信任边界的启示。
本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。
- 评测与基准arXiv 2608.00677
OpenART 提出环境演化红队框架
提出 OpenART 竞技场，用 EMHA 演化持久环境以评测智能体安全
- arXiv
- 2608.00677
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen-3.7-Max、GPT-5.5、Claude-Opus-4.8 等 5 个
- 评测与基准arXiv 2601.10156
ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用
提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用
- arXiv
- 2601.10156
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3-8B、Qwen2.5-7B-Instruct、Qwen3Guard-8B-Gen 等 10 个
摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。
ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。
- 评测与基准arXiv 2609.19140
AgentLSD：在对抗性任务污染下评测 AI 安全 Agent
用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销
- arXiv
- 2609.19140
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Qwen3-Coder-Next、Gemma-4 31B、DeepSeek-V4 Flash 等 6 个
- 攻击提示注入
摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。
AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。
- 评测与基准arXiv 2609.27336
CART：面向大语言模型的闭环自适应红队框架
提出闭环自适应红队框架 CART，评测模型与工具 Agent 的风险面
- arXiv
- 2609.27336
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Grok 4.3、Claude Opus 4.8、GPT-5.5 等 7 个
- 攻击越狱
摘要CART 把红队做成可审计的闭环搜索，在三类评测上比静态回放发现更多失败与更高平均风险。
CART 把自动红队从一次清单式打分，改成带预算、可追溯的闭环搜索。
- 评测与基准arXiv 2609.05587
研究评测 14 个模型对不可靠工具的过度依赖
评测 Agent 对不可靠工具返回的过度依赖
- arXiv
- 2609.05587
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3-235B、Qwen3-235B-Think、Qwen3-30B 等 15 个
- 攻击提示注入
摘要三种工具的污染返回常被写入答案。
作者评测 LLM 智能体是否会采纳不可靠的工具返回。现有工具基准多假定返回正确，而搜索综合、子智能体报告和代码执行都可能把错误内容交给智能体。评测只改答案相关内容。
- 评测与基准arXiv 2608.06862
SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化
提出 SYNCHAIN，以定向微调诱导智能体自合成跨任务潜伏工件
- arXiv
- 2608.06862
- 发表
- 层
- 应用层
- 测试
- Qwen3.5-9B、Qwen3.5-8B、Llama-3.1-8B 等 5 个
摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁，验证了潜伏载荷的跨任务传播能力与防御局限。
- 评测与基准arXiv 2608.28411
LongPIBench：面向长上下文提示注入的评测基准
提出 LongPIBench，评测长文档场景下的提示注入攻击与防御
- arXiv
- 2608.28411
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Qwen3-8B、Qwen3.5-9B、Llama-3.1-8B-Instruct 等 11 个
- 攻击提示注入
摘要论文构建长文本提示注入基准 LongPIBench，揭示启发式与优化攻击在长文档中的高有效性及现有防御的大幅失效。
- 评测与基准arXiv 2608.30441
ECLIPSE：针对长程 Agent 系统的自演化隐蔽提示注入攻击
提出 ECLIPSE 双通道自演化提示注入，劫持长程智能体动作轨迹
- arXiv
- 2608.30441
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 测试
- QWEN-3.8-27b、DeepSeek、GPT-4o 等 7 个
- 评测与基准arXiv 2609.32616
Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作
提出 CAVE-BENCH，评测智能体遭虚假指责后是否破坏已正确的工作
- arXiv
- 2609.32616
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Grok-4.5、Qwen-3.5-9B、Qwen-3.5-Flash 等 14 个
摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。
- 评测与基准arXiv 2609.17320
Emergence World：对长时程多智能体系统开展对抗压力测试
构建 Emergence World，评测长时程多智能体对抗韧性与群体失效
- arXiv
- 2609.17320
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Grok 4.3、Qwen 3.7 Max、Claude Opus 4.8 等 9 个
摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。
- 评测与基准arXiv 2609.24662
DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准
提出双控多智能体基准 DUMA-Bench，评测 Agent 策略违反
- arXiv
- 2609.24662
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Qwen3.5-Plus、Qwen3.5-Flash、GPT-5 等 14 个
- 攻击提示注入
摘要DUMA-Bench 用双控交互评测智能体安全。
DUMA-Bench 把 τ²-bench 的双控交互做成智能体安全评测，用来看策略违反如何随用户、模型和环境一起出现。