评测与基准arXiv 2610.07639
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
评测编码智能体 harness 安全机制在对抗任务中的防护效果
- arXiv
- 2610.07639
- 发表
- 层
- 应用层
- 评测与基准arXiv 2610.07089
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
提出危害窗口与区间指标，统一评测分解攻击和提示注入下的智能体滥用监视
- arXiv
- 2610.07089
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemma 4 26B-A4B、Qwen3.6 27B、Qwen3.5 27B 等 12 个
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
- 评测与基准arXiv 2610.04378
COPEX：面向 MCP 智能体的受控攻击评测基准发布
提出 COPEX 基准，评测 MCP 智能体对多入口攻击的抵抗力
- arXiv
- 2610.04378
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.7、Claude Sonnet 4.6、GPT-5.5 等 9 个
- 评测与基准arXiv 2610.03448
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
重测提示注入检测器在 Agent 工具输出上的检出与任务阻断
- arXiv
- 2610.03448
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个
摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
- 评测与基准arXiv 2609.33102
ORBIT：基于 UK AISI Inspect 的多智能体安全评测框架
提出 ORBIT 框架，评测多智能体防御对合谋等威胁的效果
- arXiv
- 2609.33102
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- GPT-5.4、Claude Sonnet 4.6、Qwen3-235B 等 5 个
摘要ORBIT 用六层配置比较多智能体防御，逐动作监控不迁移到合谋。
- 评测与基准arXiv 2609.32691
研究审计 Agent 安全评测缺陷：工具调用中介在间接提示注入下的有效评测框架
提出卡点评测框架以审计智能体间接提示注入评测的测量缺陷
- arXiv
- 2609.32691
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- gpt-5.6-terra、llama3.1:8b、gemma4:12b 等 4 个
- 攻击提示注入
摘要论文揭示了 IPI 评测中导致指标虚高的系统性缺陷，通过构建有效评测框架纠正了多项安全与模型能力结论。
- 评测与基准arXiv 2609.32616
Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作
提出 CAVE-BENCH，评测智能体在虚假指责下破坏已完成的正确工作
- arXiv
- 2609.32616
- 发表
- 层
- 应用层
- 被测模型
- Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个
- 攻击提示注入
- 风险Agent 危险操作
摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。
- 评测与基准arXiv 2609.31318
AgentXploit：面向 AI Agent 的仓库到运行时自动化红队系统
提出 AgentXploit，从代码仓库发现攻击路径并在运行时验证利用
- arXiv
- 2609.31318
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-4.1
- 攻击提示注入
- 评测与基准arXiv 2609.27336
CART：面向大语言模型的闭环自适应红队框架
提出闭环自适应红队框架 CART，评测模型与 Agent 的安全失败
- arXiv
- 2609.27336
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.8、GPT-5.5、Grok 4.3 等 7 个
- 攻击提示注入
摘要CART 把红队做成可审计的闭环搜索，在三类评测上比静态回放发现更多失败与更高平均风险。
CART 把自动红队从一次清单式打分，改成带预算、可追溯的闭环搜索。
- 评测与基准arXiv 2609.05587
研究评测 14 个模型对不可靠工具的过度依赖
用受控污染评测智能体对不可靠工具返回的过度依赖
- arXiv
- 2609.05587
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen3-235B、Qwen3-235B-Think、Qwen3-30B 等 15 个
- 攻击提示注入
摘要三种工具的污染返回常被写入答案。
作者评测 LLM 智能体是否会采纳不可靠的工具返回。现有工具基准多假定返回正确，而搜索综合、子智能体报告和代码执行都可能把错误内容交给智能体。评测只改答案相关内容。
- 评测与基准arXiv 2608.30441
ECLIPSE：针对长程 Agent 系统的自演化隐蔽提示注入攻击
提出 ECLIPSE 双通道提示注入，劫持长程 Agent 的动作轨迹
- arXiv
- 2608.30441
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek、GPT-4o、Claude 4.8 Opus 等 7 个
- 评测与基准arXiv 2608.09476
ActBench：面向协作智能体行为安全的自演化基准
构建自演化基准 ActBench，评测协作智能体的行为安全
- arXiv
- 2608.09476
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude-Opus-4.8、Claude-Sonnet-4.6、GPT-5.5 等 15 个
摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。
- 评测与基准arXiv 2607.14611
论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险
评测编码 Agent 记忆文件中提示注入的跨会话影响
- arXiv
- 2607.14611
- 发表
- 层
- 应用层
- 被测模型
- Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。
Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。
- 评测与基准arXiv 2607.05189
研究者提出 MemGhost，对持久化个人 Agent 实现隐蔽记忆注入
提出 MEMGHOST，用单封邮件对持久个人 Agent 做跨会话隐蔽记忆注入
- arXiv
- 2607.05189
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.4、Claude Sonnet 4.6、Claude Sonnet 4.5 等 6 个
摘要总结了论文的研究背景、双代理优化方法 MEMGHOST、全周期实验结果以及作者对记忆信任边界的启示。
本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。
- 评测与基准arXiv 2606.22673
Agent MechSuits：面向多轮 CLI Agent 的机制子空间安全引导
提出 Agent MechSuits，对多轮 CLI Agent 做步级检测与子空间转向
- arXiv
- 2606.22673
- 发表
- 层
- 应用层
- 被测模型
- LLaMA-3.1-8B、Qwen-2.5-7B、Gemma-2-9B
摘要白盒步级探针加稀疏转向可压低三模型恶意动作，同时提高生成崩溃率。
Agent MechSuits 是面向多轮 CLI 智能体的白盒、步级表示防御，并配有可执行轨迹基准 MAS。
- 评测与基准arXiv 2606.12918
MAStrike：用 Shapley 值引导多智能体系统协同红队攻击
提出 MAStrike，用 Shapley 选联盟对多智能体做共谋红队
- arXiv
- 2606.12918
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Claude Opus 4.7、GPT-5.5、Gemini 3.1 Pro
- 评测与基准arXiv 2606.04329
研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准
系统研究 LLM 智能体记忆投毒并构建基准 MPBench
- arXiv
- 2606.04329
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Meta-Llama-3.1-70B-Instruct、Deberta-v3-base、Llama-3.1-8B-Instruct 等 5 个
摘要系统研究了智能体记忆投毒风险，揭示了写入渠道漏洞，构建了 MPBench 基准并指出提示注入防御的局限。
- 评测与基准arXiv 2605.17324
ASPI 基准：Agent 寻求澄清时提示注入攻击成功率大幅上升
构建 ASPI 基准，评测 Agent 寻求澄清时的提示注入脆弱性
- arXiv
- 2605.17324
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude-Opus-4.7、GPT-5.5、GPT-5.4 等 10 个
- 攻击提示注入
- 评测与基准arXiv 2605.01970
Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准
构建 Trojan Hippo Bench，评测 Agent 持久记忆投毒与外泄
- arXiv
- 2605.01970
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemini 3.1 Pro、GPT-5-mini、GPT-5
摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。
- 评测与基准arXiv 2604.02947
AgentHazard：评估计算机使用智能体有害行为的基准
提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为
- arXiv
- 2604.02947
- 发表
- 层
- 应用层
- 被测模型
- Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
- 攻击恶意使用
摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。
AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。