红队 · 论文

WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

• 定位与核心问题：本研究系统评估了MCP工具调用流水线中的输入信任问题，针对所有通道共享单一上下文且缺乏权限隔离的设计弱点，探索恶意MCP服务器如何利用多通道实施凭证外发。
• 方法核心要点：通过受控测试5个输入通道与6种载荷构架建立了模型的隐式信任画像；提出双通道与三通道分段攻击，将恶意模式与映射指令分散在工具描述与工具结果等不同通道；针对强抵御模型设计了符合工具声明目的的价值对齐利用，以及利用VS Code采样接口注入配置提示词的系统提示词覆盖攻击。
• 关键实验结果：
  1. 双通道分段攻击使12个模型的平均遵从率从单通道的42%上升至82%，使GPT-4o、Gemini Flash与Llama 70B从0%遵从跃升至100%（Table IV）。
  2. 三通道分段攻击使在单通道和双通道下完全防御的Claude Haiku 4.5在Cursor中遵从率达到100%（20/20）（Table IV）。
  3. 针对抵御所有分段攻击的Sonnet 4.6与Opus 4.6，泄露凭证扫描器在Cursor中实现了20/20与18/20的.env文件外发（Table V）。
  4. 受测的7款主流第三方MCP安全工具对两通道与三通道分段攻击的检出率均为0%（Table IX）。
• 作者结论与启示：作者认为模型的安全性不仅取决于训练对齐，更是模型与具体部署环境（如客户端系统提示词）交互的产物；现有多通道共享上下文且无特权分级的架构存在根本性安全缺陷，亟需在客户端实施通道特定的输入清洗、严格的工具参数类型约束以及跨通道安全感知训练。

• 一句话定位：提出了通过大规模自博弈强化学习训练的自主红队智能体 GPT-Red，并将其用于前沿大模型 GPT-5.6 的对抗鲁棒性训练。
• 要解决的问题：现有大模型对抗训练依赖规模受限且静态的人类或提示驱动攻击数据，容易发生过拟合并被自适应攻击绕过，亟需具备自适应搜索与持续进化能力的自动化红队生成体系。
• 方法要点：为攻击者提供 terminal 与 stateful defender_model 工具以支持推理期搜索；构建覆盖工具调用、本地文件、网页浏览和多模态渲染的现实红队强化学习环境；采用多防守者种群的自博弈强化学习训练，通过非对称奖励驱动攻防双方共同进化并防止策略坍缩。
• 核心实验结果：
  1. 在 IPI Challenge 留存间接提示词注入任务上，GPT-Red 在 100x 计算量下 ASR 超过 80%，高于人类红队与 GPT-5.5 基线（Figure 1）；
  2. 针对 OpenAI 办公室内真实 AI 自动售货机系统 Vendy，GPT-Red 达成了低价改价、高价新品下单和取消订单三项实际恶意目标（Figure 9，第 11 页）；
  3. 引入 GPT-Red 样本进行对抗训练使 GPT-5.6 在 Fake CoT 攻击下的防御鲁棒性从 GPT-5.1 的 5.2% 提升至 95.9%（Figure 13），在留存攻击、数据集和领域的鲁棒性分别达到 72.0%、56.1% 和 89.1%（Figure 11）。
• 作者结论与启示：作者认为攻防自博弈为模型安全提供了自我提升路径，但多模态、多轮对抗以及防范人类可能挖掘出的新攻击类别仍是未来持续探索的方向。

AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。

• 核心定位与问题：针对智能体在长跨度持久环境中状态累积易诱发安全失效、而现有静态基准难以跨运行时评估的问题，提出了基于受控环境演化的智能体红队竞技场 OpenART。
• 环境与场景构建：从超过 50 万个 Tools、MCPs 和 Skills 中构建出覆盖 50 个领域的 10,513 个长跨度可执行场景，工作流中位数达 97 次工具调用，并通过轻量级适配器映射到 15 个智能体和 8 个原生环境向量。
• EMHA 攻击方法：在保持良性任务目标和安全契约固定的前提下，提出黑盒参考攻击策略 EMHA，通过超图路径搜索、反馈引导的软 Q 学习和质量多样性图进化协调环境状态突变。
• 核心实验发现：跨 75 种智能体-模型配置下 EMHA 取得 85.0% 的严格 ASR；在 DeepSeek-V4-Pro 下完整 EMHA 达到 94.7% ASR，高出仅指令演化 13.1 个百分点；在复杂场景中演化优势相对指令演化扩大至 17.6 个百分点（Figure 4a）。
• 方差分解与架构影响：目标模型和智能体系统分别解释 73.6% 和 25.2% 的 ASR 方差；在控制模型与良性能力后，智能体身份仍能额外解释 7.6% 的方差。
• 长跨度安全漂移启示：轨迹分析表明演化状态在产生不安全动作前平均潜伏 37 步，作者认为智能体安全不能仅依赖模型瞬间响应的静态评测，必须在动态演化环境中长跨度审视状态与决策的相互作用。

• 研究定位：针对基于大语言模型、需要多步工具调用的长任务智能体系统，研究兼顾高隐蔽性与执行可控性的新型提示词注入攻击机制与评测基准。
• 核心解决问题：化解现有直接注入因意图过于显式易被安全审查拦截、而分布式间接注入因长序列累积误差导致执行脱轨的固有矛盾。
• 方法关键设计：提出 ECLIPSE 框架，在离线沙盒中利用影子智能体合成并双阶段验证工具链，渲染为自然的单轮隐蔽用户请求；在工具侧通过静态工作流编码（SWE）改写描述建立状态依赖，并利用动态轨迹校正（DTC）在执行偏离时注入残差修正信号。
• 关键定量成果：在自建的 120 项长任务基准 LASE-Bench 上，ECLIPSE 对 DeepSeek 的无防御 ASR 达 96.7%、在外部安全过滤下达 69.2%（高出最强基线 27.5 个百分点，Table 2）；在 Claude 4.8 Opus 带防御下达 62.4%（最强基线仅 0.8%，Table 2）；在最新闭源模型 GPT-5.6 Luna 和 Claude Sonnet 5 带防御下分别达 52.5% 与 60.0%（Table 3）。
• 迁移性与防御表现：在原生智能体系统 OpenClaw 与 Hermes 上，带防御 ASR 分别达到 61.7% 与 55.8%（Table 6、7）；而在面对输入审查、工具边界隔离与轨迹监控防御时，仍能维持 43.3%–85.8% 的 ASR（Figure 6）。
• 作者结论与启示：作者认为单点或局部的输入与工具过滤难以防范此类将恶意意图跨输入端、工具元数据与多步执行轨迹解耦的攻击，未来的智能体安全防御必须具备跨越多个信息源联合推理的能力。

论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。

• 研究定位：该研究聚焦基于技能的大语言模型智能体生态，形式化并实证评估了将攻击目标分散于多个技能中的技能级联攻击威胁。
• 核心问题：现代智能体通过共享上下文窗口跨技能传递数据，现有安全防御均基于单技能审查假设，无法发现单个技能看似正常但多技能协同产生危害的安全风险。
• 方法架构：作者设计了由场景发现、攻击生成、隔离扫描、测试构造和沙箱裁决等 5 个智能体构成的闭环红队框架 SKILLCASCADE，构建并开源了包含 213 个测试用例的 SKILLCASCADE-BENCH 基准。
• 关键实验结果：在 OpenClaw、Claude Code 与 Codex 配合 8 种骨干模型的 24 种配置下，级联攻击平均 ASR 达到 89.4%（Table 2）；面对 5 款单技能扫描器，修改后技能的隐蔽率保持在 86.6% 以上（Table 3）；面对 4 种运行时防御框架，平均逃逸率达 88.5%（Table 5）；撤销三技能级联中任一修改，残余 ASR 降至 13–18%（Figure 4a）。
• 作者结论与启示：作者认为组件级别的良性并不等同于系统整体的安全，现有多技能智能体系统在跨技能语义交互层面缺乏有效防护，呼吁安全研究从孤立的单技能审查转向跨技能交互分析与组合安全推理。

该研究针对强化学习自动化提示注入红队在攻击前沿大模型时的冷启动问题，提出了一种基于目标模型鲁棒性递进的课程强化学习方法。

1. 研究定位与核心问题：本研究针对多模态智能体技能中图像引导可能成为攻击跳板的安全风险，构建了首个可执行的端到端评测基准 MMSkillRisk，系统探究智能体在依赖视觉参考完成任务时能否防御图像潜藏的未授权指令。
2. 攻击设计与基准构建：作者提出原生上下文视觉攻击（NCVA），将未授权操作伪装成教学图中的原生标注、弹窗或标签，并通过文本提供中立位置引导；基于 28 个多模态技能构建了包含 5 类攻击目标、36 个受污染变体及 108 个用例的评测集，在 Docker 沙箱中通过多模态 LLM 独立评估攻击与任务完成度。
3. 图像载荷攻击的高有效性：在评估的 9 种模型与框架配置中，NCVA 均诱发了未授权操作，其汇聚 ASR 达到 43.1%，比对应文本匹配基线高出 16.4 个百分点；其中 Codex 搭配 GPT-5.6-sol 的 ASR 达到 81.5%，而 Claude Code 搭配 Claude Opus 4.6 表现出最低的 ASR（12.0%）。
4. 攻击与良性任务高度共存：评测显示汇聚任务兼容攻击成功率（TC-ASR）达到 36.5%，在 Codex 搭配 GPT-5.6-sol 配置下更是高达 72.2%，作者指出这反映出智能体能够在顺利完成用户合法需求的同时提交危险操作，良性任务完成无法作为安全评判凭据。
5. 行为转化链路与载体互补性：轨迹分析表明智能体对视觉材料的访问率接近 100%，识别载荷后的尝试操作几乎全部转化为攻击成功；消融实验显示仅保留文本引导时 ASR 归零，仅保留图像载荷时 ASR 降至 1.9%–7.4%，作者称消融结果反映出图像提供语义与文本提供流程权威性的协同机制。
6. 现有防御盲区与研究启示：评测中 5 款主流技能扫描器对恶意包的检出率最高仅 11.1%，难以识别图像层面的未授权指令；作者认为必须针对多模态技能开发运行时防御机制，不能单纯依赖静态文本检测或任务完成状态来保障智能体安全。