10月8日 · 周四

红队 · 论文

找到 28 篇

筛选2

系统组件

MCP 与技能6 护栏与评审7 推理链2 权限与沙箱2 视觉4 视频1 图像生成1 多模态6

被测模型厂商

OpenAI24 Qwen（阿里）21 Anthropic19 DeepSeek17 Google14 Meta9 智谱 GLM8 Kimi（月之暗面）7 其他18

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 95 篇还没打标签，不在筛选结果里。

层：提示层层：应用层话题：红队清除全部

另有 95 篇论文还没打上分类标签，暂不在筛选结果里。

攻击arXiv:2610.09240 · 10月7日
WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作
提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作
网页与电脑操作测试LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个应用层
摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
完整解读
攻击arXiv:2601.02670 · 1月6日
SLIP：无需外部攻击模型的多轮自我越狱
提出无外部攻击模型的多轮自我越狱方法 SLIP
模型与 API攻击者黑盒测试GPT-5.1、GPT-4o、Claude-Sonnet-4.5 等 11 个提示层
摘要论文提出了无外部攻击模型的自我越狱方法 SLIP，指出对齐模型内在能力抑制的漏洞并设计了语义漂移防御。
完整解读
攻击arXiv:2609.18217 · 9月16日
研究：跨通道碎片化攻击可绕过 MCP 单通道防御
提出跨通道分段攻击，借 MCP 多通道隐式信任外发敏感数据
编程 Agent测试GPT-4o、GPT-4o-mini、GPT-5.4 等 15 个应用层
摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。
完整解读
攻击arXiv:2609.39607 · 9月30日
Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器
提出 PRETEXT，迭代改写技能文本以绕过扫描并执行木马行为
编程 Agent攻击者白盒测试glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507)、gpt-oss (openai/gpt-oss-120b) 等 4 个应用层
摘要论文提出了针对多阶段技能检测器的白盒攻击，揭示了单纯依赖大模型自适应检测的局限。
PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。
完整解读
攻击arXiv:2607.23496 · 7月26日
Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景
提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景
模型与 API攻击者白盒黑盒测试Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 10 个提示层
摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制，发现可复用脆弱场景先验，提升多模型黑盒越狱效能与探索速度。
完整解读
攻击arXiv:2608.27531 · 8月27日
MAMJ：面向视觉语言模型的元自适应多模态越狱攻击
提出 MAMJ，在元层面交替优化多模态越狱的策略提示与攻击者权重
模型与 API攻击者黑盒测试GPT-4o、Gemini-3-Pro-Preview、Seed 2.0 等 4 个提示层
完整解读
攻击arXiv:2607.26115 · 7月29日
OpenAI 发布 GPT-Red：通过自博弈训练自动化红队智能体
提出自博弈红队智能体 GPT-Red，自动挖掘提示注入与越狱攻击
AI Agent攻击者黑盒测试GPT-5.6、GPT-5.5、GPT-5.4 等 8 个应用层
完整解读
攻击arXiv:2608.10393 · 8月11日
DURA：用扩散模型生成自然对抗补丁攻击 VLA 机器人模型
提出 DURA，沿扩散潜空间生成自然对抗补丁以劫持 VLA 机器人动作
具身与机器人测试OpenVLA-7B、π0-FAST、openvla-7B提示层
摘要DURA 用扩散潜空间轨迹生成自然补丁，白盒与黑盒都能把 VLA 导向指定动作。
DURA 是针对 VLA 的扩散式、补丁内容不受限的机器人攻击，同时支持白盒梯度和只看动作输出的黑盒。
完整解读
攻击arXiv:2607.11698 · 7月13日
AHA 用自动研究循环发现生产 Agent 漏洞概念
提出 AHA 自动科研循环，发现生产级智能体的可复用漏洞概念
编程 Agent攻击者黑盒测试Minimax-M2.7、Kimi-K2.6、Deepseek-V4-Pro 等 5 个应用层
摘要论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。
AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。
完整解读
评测与基准arXiv:2608.00677 · 8月1日
OpenART 提出环境演化红队框架
提出 OpenART 竞技场，用 EMHA 演化持久环境以评测智能体安全
编程 Agent测试GPT-5.5、Claude-Opus-4.8、GLM-5.2 等 5 个应用层
- 提示注入
- 自动化搜索
完整解读
攻击arXiv:2609.17817 · 9月16日
论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码
提出基准投毒攻击，使自修改编码智能体跨代写出漏洞代码
编程 Agent测试Claude Sonnet 4.5、Qwen3.5-397B、gpt-oss-120b 等 6 个应用层
- 投毒与后门
- 潜伏触发
摘要论文报告了恶意基准能污染自修改代码智能体的进化过程并持续输出漏洞，警示系统设计需纳入安全约束。
完整解读
攻击arXiv:2610.00392 · 10月2日
A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型
提出 A2A-TIBA 间接提示注入，诱导智能体部署常驻回调并外传数据
多智能体编程 Agent测试MiniMax-M3、deepseek-v4-pro、glm-5.3 等 8 个应用层
摘要A2A-TIBA 一次植入后绕过智能体，GDA 用四类结果定位防线，ELA-ITL 把信封标注列为第三层。
A2A-TIBA 把间接提示注入和绕过放进 A2A：gray-box 攻击者已能投递任务，诱导目标部署常驻回调程序后，下令和外传不再经过智能体。
完整解读
攻击arXiv:2510.11570 · 2025年10月14日
研究显示简单攻击可绕过 gpt-oss 等推理模型的安全护栏
提出四种阶段转换攻击，绕过推理模型的安全推理护栏
模型与 API攻击者白盒黑盒测试gpt-oss-20b、gpt-oss-120b、Qwen3-4B-Thinking-2507 等 10 个提示层
完整解读
攻击arXiv:2609.08236 · 9月8日
研究：内容不变的风格包装可翻转 LLM 安全评判器的判定
提出内容不变样式包装，翻转安全评审器的判定
模型与 API攻击者无盒黑盒测试Keyword (rulebased)、GPT-4o-mini (gpt4o)、GPT-4o-mini (strongreject) 等 12 个提示层
摘要论文揭示特定安全评审器易受保持内容不变的外层包装诱导改变判定，并指出安全评估应将判定稳定性作为重要考量指标。
这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。
完整解读
评测与基准arXiv:2609.09798 · 9月9日
CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准
提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏
编程 Agent攻击者黑盒无盒测试CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个应用层
摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
完整解读
攻击arXiv:2609.15383 · 9月14日
微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力
提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力
编程 Agent攻击者黑盒测试GPT-5.5、Claude Opus 4.8、Grok-4.3 等 7 个应用层
摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。
完整解读
攻击arXiv:2607.18056 · 7月20日
上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险
提出生物红队模型 Intern-BioBreaker，多轮越狱诱导模型输出可操作生物危害
模型与 API测试DeepSeek-V3、Kimi-K2.6、DeepSeek-V4-Pro 等 14 个提示层
摘要论文通过构建专用红队模型评估前沿大模型的生物安全漏洞与物理转化风险。
完整解读
攻击arXiv:2608.16465 · 8月17日
JailbreakSkill：用可复用可演化技能扩展自动化红队
提出 JailbreakSkill，用可演化技能自动搜索并复用越狱提示
模型与 API攻击者黑盒测试GLM 5.2、DeepSeek-V4-Pro Preview、Llama-3.3-70B-Instruct 等 8 个提示层
- 越狱
- 自动化搜索
完整解读
攻击arXiv:2609.39902 · 9月30日
CodeMimicry：利用代码域安全泛化滞后实现结构化代码补全越狱
提出 CodeMimicry，以结构化代码补全诱导模型生成有害内容
模型与 API攻击者黑盒测试GPT-4o、GPT-4.1、GPT-5-chat 等 10 个提示层
完整解读
攻击arXiv:2609.38253 · 9月29日
CollageAttack：利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱
提出 CollageAttack，用空间文本碎片重组越狱文生图模型
模型与 API攻击者黑盒测试GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro 等 5 个提示层
摘要系统揭示 T2I 跨模态空间合成安全漏洞，证实离散无害元素可在图像层面重构有害意图并放大传播强度。
完整解读

加载更多

红队 · 论文

攻击类型

攻击技术

模型自身风险

防御类型

影响

系统形态

攻击者权限

攻击面/入口

层

系统组件

被测模型厂商

WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

SLIP：无需外部攻击模型的多轮自我越狱

研究：跨通道碎片化攻击可绕过 MCP 单通道防御

Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器

Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景

MAMJ：面向视觉语言模型的元自适应多模态越狱攻击

OpenAI 发布 GPT-Red：通过自博弈训练自动化红队智能体

DURA：用扩散模型生成自然对抗补丁攻击 VLA 机器人模型

AHA 用自动研究循环发现生产 Agent 漏洞概念

OpenART 提出环境演化红队框架

论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码

A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型

研究显示简单攻击可绕过 gpt-oss 等推理模型的安全护栏

研究：内容不变的风格包装可翻转 LLM 安全评判器的判定

CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力

上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险

JailbreakSkill：用可复用可演化技能扩展自动化红队

CodeMimicry：利用代码域安全泛化滞后实现结构化代码补全越狱

CollageAttack：利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱