评测与基准arXiv 2605.01970
Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准
提出 Trojan Hippo Bench，评测智能体持久记忆攻击与防御
- arXiv
- 2605.01970
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 3.1 Pro、GPT-5-mini、GPT-5
摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。
全部论文
另有 648 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.07089
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
构建统一滥用监视基准，评测分解攻击与提示注入轨迹
- arXiv
- 2610.07089
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemma 4 26B-A4B、Qwen3.6 27B、Qwen3.5 27B 等 12 个
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
- 防御arXiv 2605.17380
Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月
提出企业级检测系统 ADR，检测编程 Agent 的提示注入与恶意 MCP
- arXiv
- 2605.17380
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-4o、Claude Sonnet 4、Llama Guard 3-8B 等 4 个
摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。
- 攻击arXiv 2609.18217
研究：跨通道碎片化攻击可绕过 MCP 单通道防御
提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件
- arXiv
- 2609.18217
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-4o、GPT-4o-mini、GPT-5.4 等 15 个
摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。
- 攻击arXiv 2607.26115
OpenAI 发布 GPT-Red：通过自博弈训练自动化红队智能体
提出自博弈红队智能体 GPT-Red，自动挖掘提示注入与越狱攻击
- arXiv
- 2607.26115
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 测试
- GPT-5.6、GPT-5.5、GPT-5.4 等 8 个
- 防御arXiv 2609.02786
SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架
提出 SafeEvolve，用轨迹证据协同演化安全 harness 与策略
- arXiv
- 2609.02786
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3.5-4B、Qwen3-4B-Instruct-2507、Qwen3.5-1.7B 等 4 个
摘要SafeEvolve 用轨迹证据协同更新安全 harness 和策略，在两个 4B 模型的智能体安全基准上改变安全与效用。
SafeEvolve 把已完成的 on-policy 轨迹变成安全 harness 的有界更新，并用两阶段 SFT-RL 把这些更新内化进工具使用策略。
- 防御arXiv 2608.24017
WebMCP-Phalanx：为浏览器内 LLM Agent 工具调用建立信任边界
提出 WebMCP-Phalanx，用能力凭证与双智能体隔离浏览器工具面
- arXiv
- 2608.24017
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要Phalanx 用浏览器凭证绑定工具所有权，Q/P 分离拦住描述注入，工具名与返回值仍有残留。
WebMCP-Phalanx针对浏览器里的 WebMCP 智能体：在 SOP 下补工具所有权，并把语义检查从有工具权的执行中分开。
- 攻击arXiv 2609.27542
研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控
提出控制标记注入，清空工具智能体推理链以绕过思维链监控
- arXiv
- 2609.27542
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- openai/gpt-oss-20b、google/gemma-4-26B-A4B-it、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 等 4 个
摘要论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过，且工具执行受解析器宽容度影响。
- 其他arXiv 2609.12413
SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量
综述智能体执行链路中的越狱攻击、防御与实践权衡
- arXiv
- 2609.12413
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3.5-4B、Llama-3.1-8B-Instruct
摘要SoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。
Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。
- 评测与基准arXiv 2609.27336
CART：面向大语言模型的闭环自适应红队框架
提出闭环自适应红队框架 CART，评测模型与工具 Agent 的风险面
- arXiv
- 2609.27336
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude Opus 4.8、GPT-5.5、Grok 4.3 等 7 个
- 攻击越狱
摘要CART 把红队做成可审计的闭环搜索，在三类评测上比静态回放发现更多失败与更高平均风险。
CART 把自动红队从一次清单式打分，改成带预算、可追溯的闭环搜索。
- 防御arXiv 2609.07529
CoER：用对抗协同演化与精炼防御自适应间接提示注入
提出 CoER，用对抗共进化与精炼训练智能体抵御自适应间接提示注入
- arXiv
- 2609.07529
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3.5-9B、MAGIC (Qwen2.5-7B)、Lifelong Defender i2 RR 等 9 个
已经到底了