攻击arXiv 2610.09973
从期望危害到似然：LLM 智能体越狱的概率重构
提出 OPUR 攻击，用似然梯度优化对抗后缀越狱 LLM 智能体
- arXiv
- 2610.09973
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 白盒
- 被测模型
- Llama-3.1-8B-Instruct、Ministral-8B-Instruct-2410
- 攻击arXiv 2610.05943
CRIME 框架利用良性 Agent 技能组合诱发恶意行为
提出 CRIME 框架，组合良性 Agent 技能诱发恶意行为
- arXiv
- 2610.05943
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-V4-Flash、GPT-4o-mini、GPT-4o 等6个
摘要良性技能经 DCA 或 ACA 组合后可产生恶意环境后果，单独审查对不上。
CRIME 把公共技能库中各自通过审查的技能配成两两组合，看联合执行能否实现指定恶意任务。。
- 攻击arXiv 2609.34518
SEAD 论文提出工具型 Agent 的状态视角攻击与防御方法 DART 与 SAGE
提出工具型 Agent 的自适应攻击 DART 与预执行防御 SAGE
- arXiv
- 2609.34518
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.6 Luna、GPT-5.6 Terra、Gemini 3.8 Flash 等5个
摘要论文提出状态控制框架 SEAD、攻击 DART 与防御 SAGE，实验显示执行反馈与环境探测在攻防交互中具有关键作用。
- 攻击arXiv 2609.15383
微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力
提出能力洗钱攻击，拆分任务向对齐模型套取能力
- arXiv
- 2609.15383
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- GPT-5.5、Claude Opus 4.8、Grok-4.3 等7个
摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。
- 攻击arXiv 2609.14003
FlowSeal：用信息流控制阻断 LLM Agent 的隐私泄露
提出 FLOWSEAL，用工具级信息流控制阻断智能体隐私泄露
- arXiv
- 2609.14003
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-V3.2、GPT-4.1-mini、Gemini-Flash-2.5
摘要作者分析大模型智能体隐私检查与攻击面重合问题，提出外部拦截防御 FLOWSEAL 并验证有效性。
- 攻击arXiv 2609.09798
CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准
提出 CS-Guard 基准，评测代码生成护栏对虚构场景攻击的防御
- arXiv
- 2609.09798
- 发表
- 层
- 提示层
- 攻击者
- 黑盒
- 被测模型
- CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等7个
摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
- 攻击arXiv 2608.27439
RedEvoAgent：以经验驱动技能演化的自动红队智能体
提出 RedEvoAgent，演化攻击技能对黑盒智能体做自动红队
- arXiv
- 2608.27439
- 发表
- 层
- 应用层
- 攻击者
- 黑盒
- 被测模型
- MiniMax-M2.5、DeepSeek-V4-Flash、Qwen3.5-35B
摘要RedEvoAgent 用验证棘轮演化可读攻击技能，在两种产品级 harness 上多数设置高于固定工具与红队基线。
RedEvoAgent 是面向产品级 black-box 智能体的自动红队方法，用一份可演化、人类可读的攻击技能编排多个越狱工具。。
- 攻击arXiv 2607.26115
OpenAI 发布 GPT-Red：通过自博弈训练自动化红队智能体
训练自博弈红队智能体 GPT-Red，规模化生成提示注入与越狱攻击
- arXiv
- 2607.26115
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- GPT-5.6、GPT-5.5、GPT-5.4 等8个
- 攻击arXiv 2607.11698
AHA 用自动研究循环发现生产 Agent 漏洞概念
提出 AHA 自动科研循环，发现生产 Agent 的可复用漏洞概念
- arXiv
- 2607.11698
- 发表
- 层
- 应用层
- 攻击者
- 黑盒
- 被测模型
- Minimax-M2.7、Kimi-K2.6、Deepseek-V4-Pro 等5个
摘要论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。
AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。
- 攻击arXiv 2607.03968
研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容
提出工作流级越狱，让编程 Agent 在开发任务中写入有害示例
- arXiv
- 2607.03968
- 发表
- 层
- 应用层
- 被测模型
- Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等4个
摘要作者报告 Copilot 后端会在编码工作流中生成其在单轮条件下通常拒绝的有害答案。
这是一项生产 IDE 编码智能体的工作流越狱研究，受测对象是 Copilot 的四个模型后端，而非评测流水线中的名义目标。
- 攻击arXiv 2606.09084
研究者提出 Context-Fractured Decomposition 攻击
提出 CFD 跨会话分解攻击，利用工件来源缺口绕过工具型 Agent 的本地检查
- arXiv
- 2606.09084
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-4.1、GPT-5-nano、Claude-3.5-Sonnet 等6个
摘要CFD 用无指令 artifact 把越狱拆到跨会话。
CFD针对工具型 LLM 智能体：利用 artifact 来源不被跟踪这一部署失败模式，把有害目标拆开后延迟组合。
- 攻击arXiv 2605.30883
TRACE：面向 LLM Agent 的任务感知自适应自进化越狱框架
提出 TRACE 框架，用分解与可演化多轮策略诱导智能体执行有害工作流
- arXiv
- 2605.30883
- 发表
- 层
- 应用层
- 被测模型
- Codex、Claude Code、GPT-5.5 等6个
- 攻击arXiv 2603.01414
通过动作级操纵越狱具身 LLM
提出 Blindfold，用动作级操纵越狱具身 LLM
- arXiv
- 2603.01414
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
- 攻击者
- 无盒（离线迁移）
- 被测模型
- Llama-3.1-8B、DeepSeek-R1-14B、Gemma-3-27B 等8个
摘要Blindfold 以动作级代理规划越狱具身 LLM，作者称可绕过语义检查并在仿真与真机生效。
Blindfold 是面向具身 LLM 规划模块的 no-box 攻击，把恶意意图改写成看似良性的动作序列。
- 攻击arXiv 2603.12277
提示注入即角色混淆
提出 CoT Forgery，经用户消息或工具输出注入伪造推理
- arXiv
- 2603.12277
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- gpt-oss-20b、gpt-oss-120b、o4-mini 等11个
摘要提示注入被作者解释为角色感知失败：听起来像某角色，就在表示里成为该角色。
作者把提示注入解释成角色感知失败：标签划出的权限没有进入模型的内部几何。
- 攻击arXiv 2601.09292
蓝队测试函数调用 Agent
提出 Tool Obfuscation 并评测函数调用 Agent 的攻防
- arXiv
- 2601.09292
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen3:8B、Llama-3.2:3B、Granite3.2:8B 等5个
- 攻击arXiv 2601.05466
通过强化学习用迭代式工具伪装攻击越狱大语言模型
提出 iMIST，用工具伪装和 PPO 迭代越狱大语言模型
- arXiv
- 2601.05466
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- DeepSeek-V3、Qwen3-32B、GPT-OSS-120B
摘要iMIST 用工具伪装和在线 PPO 做黑盒越狱，Table I 中 JADES 高于同格基线。
iMIST是黑盒越狱方法：把恶意查询伪装成合法工具调用，再用在线强化学习把响应的有害性分数往上推。
- 攻击arXiv 2512.20168
Odysseus 用双重隐写越狱 GPT-4o、Gemini-2.0 与 Grok-3
提出双重隐写越狱 Odysseus，用图像隐写绕过多模态系统安全过滤器
- arXiv
- 2512.20168
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- GPT-4o-2024-08-06、Gemini-2.0-pro、Gemini-2.0-flash 等4个
- 攻击arXiv 2510.09023
论文提出自适应攻击框架，击穿 12 项 LLM 越狱与提示注入防御
提出自适应攻击框架，击穿越狱与提示注入防御
- arXiv
- 2510.09023
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemini-2.5 Pro、GPT-5 Mini、Llama-3.3 70B 等15个
- 攻击arXiv 2509.25624
STAC：看似无害的工具调用链如何攻破 LLM Agent
提出 STAC 框架，把恶意目标拆成多轮看似无害的工具调用链
- arXiv
- 2509.25624
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- GPT-4.1-2025-04-14、GPT-4.1-mini-2025-04-14、Qwen3-32B 等8个
摘要作者提出并验证了智能体在序列化工具攻击下的普遍脆弱性，指出针对累积动作序列防御的必要性。
已经到底了