红队 · 论文

• 研究定位与核心问题：论文针对大语言模型的多轮安全风险，提出并探究了“自我越狱”这一威胁模型，旨在无需外部对抗攻击模型生成载荷的前提下，仅利用目标模型自身潜在知识实现黑盒越狱。
• 方法核心机制：设计了基于词汇插入提示的算法 SLIP，通过良性安全数据构建框架诱导目标模型初始化种子样本对，随后在多轮对话树中采用广度优先搜索，计算逆词频与词向量距离以迭代插入缺失的关键词锚点，并在展开阶段通过样本索引规避单轮安全拦截。
• 主要实验结果：在 AdvBench 和 HarmBench 基准上对 11 个模型进行测试，SLIP 分别取得 94.7% 和 94.4% 的平均 ASR；在 GPT-4o、Gemini-2.5-Pro 等模型上达到 100% ASR，且平均单次成功仅需 7.9 次 API 查询，查询量少于已有基线。
• 高难度模型与例外：在对齐严格的 Claude-Opus-4.5 上 SLIP 取得 61.4%（AdvBench）和 68.7%（HarmBench）的 ASR，高于对比基线；而在 Claude-Sonnet-4.5 上 X-Teaming 取得更高 ASR（AdvBench 上 95.1% 对 94.8%），体现出模型间的非绝对优势。
• 防御评测与监控机制：评估显示现有多轮与单轮防御因缺乏跨轮记忆难以有效阻拦 SLIP；作者设计的会话级语义漂移监控器（SDM）在 5% FPR 下取得 76% 检测率，但加入良性对话的自适应伪装策略仍可使 ASR 回升至 43%。
• 作者结论与安全启示：作者认为，已对齐模型保留了有害能力的潜在表示，安全对齐在实践中主要压制了表面输出而非抹除能力，未来的模型安全防御必须从单轮文本过滤走向多轮会话意图追踪，并针对多轮对抗样本实施模型级微调。

• 研究定位：该论文提出了基于表征因果归因的脆弱场景发现框架 Concept2Scenario，旨在从机械可解释性视角揭示场景包装削弱大模型拒绝的内部机制，并将其转化为可复用的自然语言攻击先验。
• 问题与机理核心：针对现有红队主要依赖经验和试错、缺乏内部因果解释的问题，论文发现模型内部存在能够因果抑制拒绝方向的潜在场景表征，证实场景包装通过激活特定概念来降低拒绝倾向。
• 方法设计要点：在开源模型中间层残差流训练稀疏自编码器（SAE）提取解耦概念，在末层利用线性探针（CAV）量化拒绝分数；在 5,000 条有害请求上沿概念解码方向实施标准化干预以筛选强抑制特征，通过分析大模型实现概念解读与“概念 → 场景 → 概念”闭环验证，并利用交互归因挖掘协同场景组合。
• 核心实验结果：在 GuidedBench 基准上，将挖掘出的场景注入 6 种黑盒攻击后，Llama-3.1-8B 的全攻击平均 ASR 提升了 18.2 个百分点（从 33.3%–94.5% 提升至 84.5%–98.3%）；在 HarmBench 上平均提升 14.5 个百分点；在智能体评测 AgentHarm 上，场景引导重写使 Qwen3.5-9B 的任务完成度提升 7.1 个百分点。
• 跨模型迁移与多轮加速：仅由开源模型挖掘的场景可直接迁移至商业黑盒模型，使 GPT-5 在 PAIR 攻击下的 ASR 达到 49.0%（较基线提升 27.5 个百分点）；交互归因筛选的协同组合使 Llama-3.1-8B 上 PAIR 的首轮攻击成功率从单场景的 53.0% 提升至 81.0%。
• 作者结论与启示：作者认为大模型的内部表征已编码了其自身的脆弱场景，且部分场景漏洞在不同模型家族间具备通用性；基于表征空间的归因分析能够为自动化红队评估与针对性安全防御提供可解释的先验支撑。

• 一句话定位：提出了通过大规模自博弈强化学习训练的自主红队智能体 GPT-Red，并将其用于前沿大模型 GPT-5.6 的对抗鲁棒性训练。
• 要解决的问题：现有大模型对抗训练依赖规模受限且静态的人类或提示驱动攻击数据，容易发生过拟合并被自适应攻击绕过，亟需具备自适应搜索与持续进化能力的自动化红队生成体系。
• 方法要点：为攻击者提供 terminal 与 stateful defender_model 工具以支持推理期搜索；构建覆盖工具调用、本地文件、网页浏览和多模态渲染的现实红队强化学习环境；采用多防守者种群的自博弈强化学习训练，通过非对称奖励驱动攻防双方共同进化并防止策略坍缩。
• 核心实验结果：
  1. 在 IPI Challenge 留存间接提示词注入任务上，GPT-Red 在 100x 计算量下 ASR 超过 80%，高于人类红队与 GPT-5.5 基线（Figure 1）；
  2. 针对 OpenAI 办公室内真实 AI 自动售货机系统 Vendy，GPT-Red 达成了低价改价、高价新品下单和取消订单三项实际恶意目标（Figure 9，第 11 页）；
  3. 引入 GPT-Red 样本进行对抗训练使 GPT-5.6 在 Fake CoT 攻击下的防御鲁棒性从 GPT-5.1 的 5.2% 提升至 95.9%（Figure 13），在留存攻击、数据集和领域的鲁棒性分别达到 72.0%、56.1% 和 89.1%（Figure 11）。
• 作者结论与启示：作者认为攻防自博弈为模型安全提供了自我提升路径，但多模态、多轮对抗以及防范人类可能挖掘出的新攻击类别仍是未来持续探索的方向。

AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。

• 研究定位：针对大推理模型（LRM）依赖显式思维链安全护栏的现状，系统评估其阶段转换逻辑的安全性（Section 1）。
• 核心问题：探究当前在直接提问下实现高拒答率的推理安全护栏，是否因僵化的“先推理后回答”格式而存在被轻易绕过或恶意操纵的结构性漏洞（Section 1、Section 2）。
• 方法设计：提出对应推理流水线不同阶段的四种方法：EST伪造转换标记跳过推理，CO通过梯度优化无模板对抗后缀，FoR利用过度拒答模式伪装语义，RH将恶意行动步骤注入推理链（Section 4）。
• 主要实验结果：
  • 在gpt-oss-120b上，FoR与RH在AdvBench上分别取得96.25%与95.33%的ASR，在CatQA上分别取得95.31%与94.00%的ASR（Table 1）。
  • CO在gpt-oss-20b的5个基准上取得66.75%至74.87%的ASR，且后缀不含模板标记（Table 2）。
  • 在专用防御模型TARS与SafeChain上，RH分别实现95.00%与98.00%的ASR（Table 5）。
  • 在闭源模型GPT-5.4-nano与GPT-5上，RH分别取得65%与47%的ASR（Table 10）。
  • 机理分析显示重放自生成推理在转换点的KL散度为0，且早期层激活修补在50/50样本上反转了输出（Appendix D.5）。
• 作者结论与启示：作者认为仅依靠推理阶段护栏会带来虚假的安全感，一旦转换逻辑被突破，最终回答阶段的残留防御较为薄弱；作者呼吁推理护栏必须配合防篡改转换机制以及更强的主模型内部对齐（Section 5.4、Section 6）。

1. 研究定位与核心问题：针对大语言模型代码智能体面临的恶意软件生成风险，构建了专门评估代码生成安全护栏的基准 CS-Guard，旨在解决现有评测偏向自然语言指令且缺乏对隐蔽代码恶意意图系统检验的问题。
2. 基准构建与方法设计：基准涵盖文本到代码（1000 条 TTP 提示词、7 种现有越狱及提出的虚构场景攻击 FSA）与代码到代码（331 条恶意代码填空、补全与翻译）两类场景，并建立涵盖类别、操作与位置的三层护栏分类体系，评测了策略型、分类器型及内部型共 9 种护栏。
3. 核心实验结果：基座模型自带对齐在基础 TTP 请求下 ASR 达 15.1%–98.2%（Figure 3）；在隐蔽的单轮 FSA 攻击下，各模型 ASR 上升至 85.9%–99.5%，且输入分类器的 ASR 也高达 73.3%–98.5%（Figure 3、Figure 5）；在代码到代码任务中，基座模型在代码填空上的 ASR 达 95.0%–100.0%（Figure 3）；策略型护栏中仅 SelfReminder 与 SmoothLLM 能带来相对稳定的 ASR 降幅，其余护栏改善有限（Figure 4）。
4. 作者结论与安全启示：作者指出，当前部署的安全护栏难以有效识别共享良性功能特征的隐蔽恶意代码生成请求，且对代码片段处理能力脆弱，建议未来研究探索结合蜜罐防御等新型主动检测机制，并针对代码生成安全建立更全面的防御体系。

• 研究定位：这是一项针对前沿大语言模型双用途生物安全风险的红队评测与转化验证研究。
• 核心问题：前沿模型科学推理能力迅速增强，现有基于纯文本和多选题的基准存在性能饱和，无法有效衡量模型被诱导生成可规避检测、具备生物活性的设计时所构成的现实物理威胁。
• 方法设计：开发了经过科学预训练、通用越狱微调、生物强化学习及推理期智能体协调四阶段训练的专用红队模型 Intern-BioBreaker，并建立了串联计算筛选（BLASTN 规避、AlphaFold3 结构预测、AutoDock Vina 结合能评估）与湿实验物理验证协议的评估体系。
• 主要发现：在 SafeSci-Bio 基准上，Intern-BioBreaker 攻击 GPT-5.5 取得 60.0% ASR，攻击 Claude Opus 4.8 取得 26.0% ASR，14 个模型中有 3 个达到 100% ASR（Figure 3）；在 SoSBench-Bio 上，10 个模型达到 100% ASR，GPT-5.5 达 99.5%，Claude Opus 4.8 达 59.5%（Figure 4）；在流感 HA 蛋白案例中，GPT-5.5 生成的突变序列结合能较原始序列更低（Figure 5、Figure 6）；在合成规避测试中，GPT-5.5 与 Gemini 3.1 Pro Preview 实现 100% 序列保真度且 BLAST E-value > 1e-5。
• 结论与启示：作者认为前沿模型降低了生物威胁设计门槛，单点静态序列筛查无法抵御 AI 赋能的组合式规避；作者呼吁推行强制性基因合成筛查与全流程审计，促使安全对齐与模型能力协同演进。

• 核心定位：论文提出了 JailbreakSkill，这是一个将自动化红队攻击方法表示为可复用且持续演化的智能体技能的黑盒越狱框架。
• 解决的问题：传统红队方法往往将改写逻辑与具体工作流或提示词深度绑定，无法独立调用与修改，且历史攻击失败的经验难以转化为可复用的独立攻击能力。
• 方法设计：将攻击能力划分为改写、失败分析与演化三类标准化技能；Stage 1 利用基于风险类别的 UCB 算法在有限查询预算内自适应调用初始技能并早停；Stage 2 聚合未解决的失败轨迹，通过失败分析技能诊断模式，驱动细化、组合或发现生成新技能，并经残差池验证后入库。
• 关键定量结果：在 AdvBench 和 HarmBench 上，Stage 1 UCB 调度取得 72.0% 与 68.1% 的宏平均 ASR@10，平均查询次数为 4.14 与 4.63 次（Table 1, Table 2）；Stage 2 演化使五类模型的宏平均 ASR 提升至 74.2% 与 67.9%，其中对 GPT-5.4 在 AdvBench 上的 ASR@30 提升至 62.5%（Table 3）；演化出的部分技能在未见模型 DeepSeek-V4-Pro 上取得 40.6% 的平均 ASR（Table 4）。
• 作者结论与启示：作者认为自动化红队应当从重复搜索孤立的对抗提示词，转向维护和积累可跨任务与跨模型复用的模块化攻击技能库。

论文研究了大语言模型在代码领域存在的安全泛化滞后现象，提出了一种基于面向对象代码补全的黑盒越狱框架CodeMimicry。

核心问题在于，主流大模型的安全对齐大多在自然语言语料上训练，未能有效覆盖结构化的代码生成子空间，导致模型面临代码补全请求时出现安全防线薄弱。

方法设计上，CodeMimicry利用具备代码能力的攻击模型，将恶意目标转化为面向对象类中的核心方法名与注释说明，构造未完成代码，并添加模拟合法用户代码补全的工程包装；结合大模型评估器的打分结果，通过对话历史驱动攻击模型多轮自修正。

实验结果方面，在8个商用模型上，CodeMimicry在AdvBench和HarmBench上分别取得96.25%和96.07%的平均ASR，平均查询次数分别为1.51和1.46；在Claude Sonnet 4上取得90.00%的ASR；生成的代码在语法和执行层面达到97.1%的功能有效率；潜空间机制分析显示成功攻击表征避开了模型的拒绝激活方向。

作者认为，现有安全对齐在代码等结构化任务上留下了薄弱盲区，单纯增强推理能力不足以抵御此类攻击，需要开发针对代码补全子空间的专门安全对齐与防御方案。

1. 研究定位与核心问题：针对文本到图像（T2I）生成模型中的跨模态对齐缺陷，研究攻击者如何利用模型在二维图像中组织场景与渲染文本的视觉合成能力，使在串行提示词中隐蔽的不完整碎片在生成图像中重构为显性有害语义。
2. 方法框架：提出的 CollageAttack 属于黑盒自动化单提示词越狱框架，由大语言模型依据模板一次性生成三个协同指令：构建与意图相关的场景背景、分配3至5个符合环境的空白承载表面（如海报、横幅）、以及将有害文本切分为3至4个短语碎片并指定具体排版与空间位置。
3. 攻击成功率表现：在包含5个主流商业与开源模型的200条DGHS仇恨样本评测中，CollageAttack 聚合 ASR 达到 77.0%，高出对比基线 SneakyPrompt（47.5%）；在 Doubao-Seedream-5.0-Lite 上 ASR 达 86.0%（高出该模型最强基线 18.5 个百分点），在 gpt-image-2 上达到 57.5%（Table 1）。
4. 图像有害性与传播冲击力：生成的图像在 GPT-4.1 裁判下的跨模型平均有害性评分达 6.12/10（基线最高为 4.23/10）；在全部5个模型上均有超半数样本的视觉传播冲击力被评为强于源文本，其中 FLUX.2 Dev 上的放大比例达 69.4%（Table 2）。
5. 跨模态语义重构：多评估器 CLIP 余弦相似度测试显示，分散碎片在图像中能够保持源意图对齐（在 Google 评估器下达 8.14，高出 SneakyPrompt 的 6.88，Figure 3）；组件消融表明三个模块协同使用时有害性评分最高（6.41，Table 3）。
6. 作者结论与启示：作者指出，T2I模型的安全风险不仅来源于连续文本提示词，更能从分散元素的多模态空间合成中涌现；现有的串行提示词过滤无法有效抵御此类空间跨模态组合攻击，亟需开发兼顾图像二维视觉语义的防御机制。

• 研究定位：论文针对 Video-MLLM 的安全对齐脆弱性，首次系统性研究了视频情境上下文作为越狱攻击面的可行性。
• 核心问题：现有视频越狱主要将视频作为承载文本的载体，忽略了周围视频情境对模型判断的影响；实验发现同一有害查询在不同视频情境下会触发不同的安全响应。
• 方法设计：提出自适应黑盒越狱框架 SceneJail，在不改变原始恶意查询的前提下，通过自适应情境构建动态匹配并生成适配视频情境，并通过情境感知提示词搜索机制在黑盒反馈下优化文本引导。
• 核心实验结果：在 HADES 基准上，SceneJail-F 与 SceneJail-S 在 8 个目标模型上的平均 ASR 分别达 91.47% 与 89.42%，超过最强基线 SPTV（62.38%）；在 SafeBench 上平均 ASR 达 78.90% 与 76.63%，超过最强基线 MCV（43.95%）；在图像过滤防御下，分帧变体 SceneJail-S 仍保持 72.25% 的平均 ASR。
• 作者结论与启示：作者指出，视频模型的安全评估必须将视觉情境、文本内容及时序展示综合考量，现有针对单帧图像的防护手段无法有效抵御情境化与时序分散的多模态攻击，亟需开发针对视频特性的原生安全防护机制。

• 研究定位：针对基于大语言模型、需要多步工具调用的长任务智能体系统，研究兼顾高隐蔽性与执行可控性的新型提示词注入攻击机制与评测基准。
• 核心解决问题：化解现有直接注入因意图过于显式易被安全审查拦截、而分布式间接注入因长序列累积误差导致执行脱轨的固有矛盾。
• 方法关键设计：提出 ECLIPSE 框架，在离线沙盒中利用影子智能体合成并双阶段验证工具链，渲染为自然的单轮隐蔽用户请求；在工具侧通过静态工作流编码（SWE）改写描述建立状态依赖，并利用动态轨迹校正（DTC）在执行偏离时注入残差修正信号。
• 关键定量成果：在自建的 120 项长任务基准 LASE-Bench 上，ECLIPSE 对 DeepSeek 的无防御 ASR 达 96.7%、在外部安全过滤下达 69.2%（高出最强基线 27.5 个百分点，Table 2）；在 Claude 4.8 Opus 带防御下达 62.4%（最强基线仅 0.8%，Table 2）；在最新闭源模型 GPT-5.6 Luna 和 Claude Sonnet 5 带防御下分别达 52.5% 与 60.0%（Table 3）。
• 迁移性与防御表现：在原生智能体系统 OpenClaw 与 Hermes 上，带防御 ASR 分别达到 61.7% 与 55.8%（Table 6、7）；而在面对输入审查、工具边界隔离与轨迹监控防御时，仍能维持 43.3%–85.8% 的 ASR（Figure 6）。
• 作者结论与启示：作者认为单点或局部的输入与工具过滤难以防范此类将恶意意图跨输入端、工具元数据与多步执行轨迹解耦的攻击，未来的智能体安全防御必须具备跨越多个信息源联合推理的能力。

• 研究定位：作者称本研究是首个针对大模型草稿推理通道系统开展的受控输出前缀攻击实验，评估了暴露推理与隐藏推理两种框架下的安全对齐表现。
• 解决的问题：随着推理大模型成为主流，部分 API 暴露了可由用户写入的草稿推理字段，研究旨在探明前缀注入攻击在推理模型上的有效性，以及中间推理究竟充当了安全缓冲还是引入了新的攻击面。
• 方法核心要点：研究采用 3×2 析因设计，对比无前缀、静态顺从前缀与针对性上下文前缀，以及注入与不注入由开源无审查模型生成的恶意推理草稿；对隐藏推理模型则在输出前缀中伪造思考标签进行测试。
• 关键实验结果：在 AdvBench 的 100 个提示词测试中，单独注入恶意推理在三款模型上均接近无效（ASR 均为 0% 或 1%）；但当恶意推理与输出前缀结合时，Gemini 3 Flash Preview 的 ASR 升至 99%（策略 5），DeepSeek V4 Flash 的 ASR 升至 76%（策略 6，Table 3）。
• 模型与框架防御差异：不同模型对前缀与推理注入的易感性差异明显，采用 Constitutional AI 对齐的 Claude Haiku 4.5 在全部 6 种策略下的 ASR 均不超过 1%（Table 3），体现出该漏洞在工程实践中具备可防御性。
• 作者结论与启示：作者认为输出前缀攻击几乎无需额外算力成本却能产生威胁，防御方不能仅过滤用户输入，还必须对客户端提交的助手前缀与推理内容实施校验，且模型服务框架应当限制助手预填功能以防范此类攻击。

• 论文定位：该研究从部分可观测状态控制视角研究基于工具调用的语言模型智能体安全，提出了状态控制形式化框架 SEAD 及相应的攻击方法 DART 与预执行防御方法 SAGE。
• 面临的核心问题：在工具智能体中，攻击者可将危害拆解为看似良性的多步操作，危害最终体现为外部环境状态的持久改变；而各角色仅具有部分可观测性，缺乏环境状态证据导致无法区分合法准备操作与有害越界。
• 核心方法设计：攻击方法 DART 在已执行前缀树上展开搜索，利用工具执行的真实环境反馈指导分支扩展；防御方法 SAGE 在待执行动作生效前介入，通过有限步私有只读环境查询获取状态证据，消除状态歧义后再做放行或拦截决策。
• 关键实验结果：在 187 个恶意任务上，DART 在 4 个目标模型上的 Semantic ASR 达到 43.9%–73.3%，Hard ASR 达到 33.2%–54.7%，较对应最佳基线分别提升 18.8–35.9 和 8.1–17.9 个百分点（Table 2）；在 75 任务子集的离线评测中，SAGE 取得 95.79% 的良性通过率与 34.55% 的精确闭环拦截率，综合指标 F1 达 50.78%、F2 达 72.86%（Table 3）；在线防御中，SAGE 将 DART 对 GPT-5.6 Luna 的 Hard ASR 从 48.0% 降至 4.0%（Figure 3），并在未参与训练的 PostgreSQL 与 Web 任务中展现出跨领域防御能力（Table 5）。
• 作者结论与启示：作者认为，工具调用将智能体安全转化为围绕关键状态转移的部分可观测控制问题；单纯依赖对话语义或孤立动作难以可靠判断危害，将环境状态证据与执行反馈纳入攻防闭环是提升智能体安全评估与防御能力的关键路径。