10月8日 · 周四

红队 · 论文

找到 20 篇

筛选2

系统组件

MCP 与技能1 护栏与评审5 推理链2 权限与沙箱1 视觉2 视频1 图像生成1 多模态4

被测模型厂商

OpenAI18 Qwen（阿里）14 Anthropic13 DeepSeek12 Google12 Meta8 其他16

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 95 篇还没打标签，不在筛选结果里。

攻击面/入口：用户输入攻击面/入口：网页与界面话题：红队清除全部

另有 95 篇论文还没打上分类标签，暂不在筛选结果里。

攻击arXiv:2610.09240 · 10月7日
WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作
提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作
网页与电脑操作测试LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个应用层
摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
完整解读
攻击arXiv:2601.02670 · 1月6日
SLIP：无需外部攻击模型的多轮自我越狱
提出无外部攻击模型的多轮自我越狱方法 SLIP
模型与 API攻击者黑盒测试GPT-5.1、GPT-4o、Claude-Sonnet-4.5 等 11 个提示层
摘要论文提出了无外部攻击模型的自我越狱方法 SLIP，指出对齐模型内在能力抑制的漏洞并设计了语义漂移防御。
完整解读
攻击arXiv:2607.23496 · 7月26日
Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景
提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景
模型与 API攻击者白盒黑盒测试Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 10 个提示层
摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制，发现可复用脆弱场景先验，提升多模型黑盒越狱效能与探索速度。
完整解读
攻击arXiv:2608.27531 · 8月27日
MAMJ：面向视觉语言模型的元自适应多模态越狱攻击
提出 MAMJ，在元层面交替优化多模态越狱的策略提示与攻击者权重
模型与 API攻击者黑盒测试GPT-4o、Gemini-3-Pro-Preview、Seed 2.0 等 4 个提示层
完整解读
攻击arXiv:2607.26115 · 7月29日
OpenAI 发布 GPT-Red：通过自博弈训练自动化红队智能体
提出自博弈红队智能体 GPT-Red，自动挖掘提示注入与越狱攻击
AI Agent攻击者黑盒测试GPT-5.6、GPT-5.5、GPT-5.4 等 8 个应用层
完整解读
攻击arXiv:2607.11698 · 7月13日
AHA 用自动研究循环发现生产 Agent 漏洞概念
提出 AHA 自动科研循环，发现生产级智能体的可复用漏洞概念
编程 Agent攻击者黑盒测试Minimax-M2.7、Kimi-K2.6、Deepseek-V4-Pro 等 5 个应用层
摘要论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。
AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。
完整解读
攻击arXiv:2510.11570 · 2025年10月14日
研究显示简单攻击可绕过 gpt-oss 等推理模型的安全护栏
提出四种阶段转换攻击，绕过推理模型的安全推理护栏
模型与 API攻击者白盒黑盒测试gpt-oss-20b、gpt-oss-120b、Qwen3-4B-Thinking-2507 等 10 个提示层
完整解读
攻击arXiv:2609.08236 · 9月8日
研究：内容不变的风格包装可翻转 LLM 安全评判器的判定
提出内容不变样式包装，翻转安全评审器的判定
模型与 API攻击者无盒黑盒测试Keyword (rulebased)、GPT-4o-mini (gpt4o)、GPT-4o-mini (strongreject) 等 12 个提示层
摘要论文揭示特定安全评审器易受保持内容不变的外层包装诱导改变判定，并指出安全评估应将判定稳定性作为重要考量指标。
这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。
完整解读
评测与基准arXiv:2609.09798 · 9月9日
CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准
提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏
编程 Agent攻击者黑盒无盒测试CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个应用层
摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
完整解读
攻击arXiv:2609.15383 · 9月14日
微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力
提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力
编程 Agent攻击者黑盒测试GPT-5.5、Claude Opus 4.8、Grok-4.3 等 7 个应用层
摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。
完整解读
攻击arXiv:2607.18056 · 7月20日
上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险
提出生物红队模型 Intern-BioBreaker，多轮越狱诱导模型输出可操作生物危害
模型与 API测试DeepSeek-V3、Kimi-K2.6、DeepSeek-V4-Pro 等 14 个提示层
摘要论文通过构建专用红队模型评估前沿大模型的生物安全漏洞与物理转化风险。
完整解读
攻击arXiv:2608.16465 · 8月17日
JailbreakSkill：用可复用可演化技能扩展自动化红队
提出 JailbreakSkill，用可演化技能自动搜索并复用越狱提示
模型与 API攻击者黑盒测试GLM 5.2、DeepSeek-V4-Pro Preview、Llama-3.3-70B-Instruct 等 8 个提示层
- 越狱
- 自动化搜索
完整解读
攻击arXiv:2609.39902 · 9月30日
CodeMimicry：利用代码域安全泛化滞后实现结构化代码补全越狱
提出 CodeMimicry，以结构化代码补全诱导模型生成有害内容
模型与 API攻击者黑盒测试GPT-4o、GPT-4.1、GPT-5-chat 等 10 个提示层
完整解读
攻击arXiv:2609.38253 · 9月29日
CollageAttack：利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱
提出 CollageAttack，用空间文本碎片重组越狱文生图模型
模型与 API攻击者黑盒测试GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro 等 5 个提示层
摘要系统揭示 T2I 跨模态空间合成安全漏洞，证实离散无害元素可在图像层面重构有害意图并放大传播强度。
完整解读
攻击arXiv:2609.38899 · 9月30日
SceneJail：利用视频场景上下文越狱多模态大模型
提出 SceneJail，利用视频情境上下文越狱视频多模态模型
模型与 API攻击者黑盒测试Qwen2.5-VL-7B-Instruct、Qwen2.5-VL-32B-Instruct、Qwen3-VL-8B-Instruct 等 8 个提示层
完整解读
攻击arXiv:2608.30441 · 8月31日
ECLIPSE：针对长程 Agent 系统的自演化隐蔽提示注入攻击
提出 ECLIPSE 双通道自演化提示注入，劫持长程智能体动作轨迹
AI Agent攻击者黑盒测试DeepSeek、GPT-4o、Claude 4.8 Opus 等 7 个应用层
完整解读
攻击arXiv:2609.22510 · 9月19日
特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent
提出爆炸提示词，用条件触发的间接注入延迟诱发恶意工具调用
AI Agent测试Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct 等 14 个应用层
摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。
论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。
完整解读
攻击arXiv:2609.29775 · 9月24日
输出前缀攻击瞄准推理模型
提出推理通道预填与输出前缀组合攻击以越狱推理模型
模型与 API攻击者黑盒测试Gemini 3 Flash Preview、DeepSeek V4 Flash、Claude Haiku 4.5提示层
完整解读
攻击arXiv:2609.33628 · 9月27日
用课程强化学习对前沿模型做提示注入红队测试
提出跨目标课程强化学习，生成间接提示注入以劫持智能体
AI Agent测试Qwen3-4B-Instruct-2507、GPT-4o-mini、GPT-5-nano 等 14 个应用层
- 提示注入
- 自动化搜索
摘要提出跨目标模型课程强化学习，攻破前沿模型冷启动瓶颈并实现跨模型迁移。
该研究针对强化学习自动化提示注入红队在攻击前沿大模型时的冷启动问题，提出了一种基于目标模型鲁棒性递进的课程强化学习方法。
完整解读
防御arXiv:2609.34518 · 9月28日
SEAD 论文提出工具型 Agent 的状态视角攻击与防御方法 DART 与 SAGE
提出工具智能体的状态攻击 DART 与预执行防御 SAGE
AI Agent测试GPT-5.6 Luna、GPT-5.6 Terra、Gemini 3.8 Flash 等 8 个应用层
摘要论文提出状态控制框架 SEAD、攻击 DART 与防御 SAGE，实验显示执行反馈与环境探测在攻防交互中具有关键作用。
完整解读

已经到底了

红队 · 论文

攻击类型

攻击技术

模型自身风险

防御类型

影响

系统形态

攻击者权限

攻击面/入口

层

系统组件

被测模型厂商

WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

SLIP：无需外部攻击模型的多轮自我越狱

Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景

MAMJ：面向视觉语言模型的元自适应多模态越狱攻击

OpenAI 发布 GPT-Red：通过自博弈训练自动化红队智能体

AHA 用自动研究循环发现生产 Agent 漏洞概念

研究显示简单攻击可绕过 gpt-oss 等推理模型的安全护栏

研究：内容不变的风格包装可翻转 LLM 安全评判器的判定

CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力

上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险

JailbreakSkill：用可复用可演化技能扩展自动化红队

CodeMimicry：利用代码域安全泛化滞后实现结构化代码补全越狱

CollageAttack：利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱

SceneJail：利用视频场景上下文越狱多模态大模型

ECLIPSE：针对长程 Agent 系统的自演化隐蔽提示注入攻击

特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

输出前缀攻击瞄准推理模型

用课程强化学习对前沿模型做提示注入红队测试

SEAD 论文提出工具型 Agent 的状态视角攻击与防御方法 DART 与 SAGE