跳到正文
10月8日 · 周四

OpenAI · 论文

找到 5 篇
筛选1

攻击类型

越狱4提示注入2

攻击技术

梯度与表征优化1自动化搜索5多轮渐进3编码与混淆2角色扮演与说服2对话结构操控1推理链操控2跨模态载荷2针对防御1潜伏触发4

影响

有害内容3越权操作1数据与隐私泄露1

系统形态

模型与 API3AI Agent2

攻击者权限

黑盒3

攻击面/入口

用户输入4工具返回1代码仓库与依赖1图像与音视频2

层

提示层3应用层2

系统组件

视觉1视频1多模态2

被测模型厂商

OpenAI5
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。
攻击技术：自动化搜索话题：OpenAI清除全部
  1. 攻击arXiv:2601.02670 ·

    SLIP：无需外部攻击模型的多轮自我越狱，在 11 个模型上平均成功率 94.7%

    提出无外部攻击模型的多轮自我越狱方法SLIP

    测试
    GPT-5.1、GPT-4o、Claude-Sonnet-4.5 等 11 个提示层
    场景
    模型与 API攻击者黑盒
    摘要论文提出了无外部攻击模型的自我越狱方法 SLIP，指出对齐模型内在能力抑制的漏洞并设计了语义漂移防御。
    • 研究定位与核心问题：论文针对大语言模型的多轮安全风险，提出并探究了“自我越狱”这一威胁模型，旨在无需外部对抗攻击模型生成载荷的前提下，仅利用目标模型自身潜在知识实现黑盒越狱。
    • 方法核心机制：设计了基于词汇插入提示的算法 SLIP，通过良性安全数据构建框架诱导目标模型初始化种子样本对，随后在多轮对话树中采用广度优先搜索，计算逆词频与词向量距离以迭代插入缺失的关键词锚点，并在展开阶段通过样本索引规避单轮安全拦截。
    • 主要实验结果：在 AdvBench 和 HarmBench 基准上对 11 个模型进行测试，SLIP 分别取得 94.7% 和 94.4% 的平均 ASR；在 GPT-4o、Gemini-2.5-Pro 等模型上达到 100% ASR，且平均单次成功仅需 7.9 次 API 查询，查询量少于已有基线。
    • 高难度模型与例外：在对齐严格的 Claude-Opus-4.5 上 SLIP 取得 61.4%（AdvBench）和 68.7%（HarmBench）的 ASR，高于对比基线；而在 Claude-Sonnet-4.5 上 X-Teaming 取得更高 ASR（AdvBench 上 95.1% 对 94.8%），体现出模型间的非绝对优势。
    • 防御评测与监控机制：评估显示现有多轮与单轮防御因缺乏跨轮记忆难以有效阻拦 SLIP；作者设计的会话级语义漂移监控器（SDM）在 5% FPR 下取得 76% 检测率，但加入良性对话的自适应伪装策略仍可使 ASR 回升至 43%。
    • 作者结论与安全启示：作者认为，已对齐模型保留了有害能力的潜在表示，安全对齐在实践中主要压制了表面输出而非抹除能力，未来的模型安全防御必须从单轮文本过滤走向多轮会话意图追踪，并针对多轮对抗样本实施模型级微调。
    完整解读
  2. 攻击arXiv:2607.26115 ·

    OpenAI 发布 GPT-Red：通过自博弈训练自动化红队智能体

    提出自博弈红队智能体GPT-Red，自动挖掘提示注入与越狱攻击

    测试
    GPT-5.6、GPT-5.5、GPT-5.4 等 8 个应用层
    场景
    AI Agent攻击者黑盒
    摘要通过多防守者自博弈训练自主红队智能体GPT-Red，发现复杂漏洞并将GPT-5.6在Fake CoT下的鲁棒性提升至95.9%。
    • 一句话定位：提出了通过大规模自博弈强化学习训练的自主红队智能体 GPT-Red，并将其用于前沿大模型 GPT-5.6 的对抗鲁棒性训练。
    • 要解决的问题：现有大模型对抗训练依赖规模受限且静态的人类或提示驱动攻击数据，容易发生过拟合并被自适应攻击绕过，亟需具备自适应搜索与持续进化能力的自动化红队生成体系。
    • 方法要点：为攻击者提供 terminal 与 stateful defender_model 工具以支持推理期搜索；构建覆盖工具调用、本地文件、网页浏览和多模态渲染的现实红队强化学习环境；采用多防守者种群的自博弈强化学习训练，通过非对称奖励驱动攻防双方共同进化并防止策略坍缩。
    • 核心实验结果：
      1. 在 IPI Challenge 留存间接提示词注入任务上，GPT-Red 在 100x 计算量下 ASR 超过 80%，高于人类红队与 GPT-5.5 基线（Figure 1）；
      2. 针对 OpenAI 办公室内真实 AI 自动售货机系统 Vendy，GPT-Red 达成了低价改价、高价新品下单和取消订单三项实际恶意目标（Figure 9，第 11 页）；
      3. 引入 GPT-Red 样本进行对抗训练使 GPT-5.6 在 Fake CoT 攻击下的防御鲁棒性从 GPT-5.1 的 5.2% 提升至 95.9%（Figure 13），在留存攻击、数据集和领域的鲁棒性分别达到 72.0%、56.1% 和 89.1%（Figure 11）。
    • 作者结论与启示：作者认为攻防自博弈为模型安全提供了自我提升路径，但多模态、多轮对抗以及防范人类可能挖掘出的新攻击类别仍是未来持续探索的方向。
    完整解读
  3. 攻击arXiv:2609.04533 ·

    Repeat-After-Me：针对黑盒 VLM 的自适应视觉提示注入攻击

    提出Repeat-After-Me，以图像前缀诱导智能体调用工具或泄露隐私

    测试
    Claude-Opus-4.7、GPT-5.5、Gemini-3.1-Pro 等 11 个应用层
    场景
    AI Agent
    摘要论文提出了针对黑盒VLM的前缀诱导自适应视觉提示注入，在多款模型上诱发了工具调用与隐私泄露。
    1. 研究定位与核心问题：论文针对多模态AI智能体面临的非受信数据威胁，研究在良性用户任务竞争与黑盒API访问条件下，如何仅通过外部图像输入诱导前沿VLM执行盗取隐私与原生工具调用等实质危害行为。
    2. 方法设计要点：作者提出Repeat-After-Me（RAM）框架，将攻击从意图覆盖转换为响应前缀控制，在图像顶部渲染前缀诱导语句；利用Claude-Opus-4.6作为攻击与评审LLM开展黑盒自适应迭代精炼，并构建包含32种改写模式的攻击库以加速搜索。
    3. 主实验与迁移表现：在DocVQA良性任务下，RAM在Steal-PII场景对四款VLM实现不低于99%的ASR（Table 2）；在Call-Tool场景对GPT-5.5和Claude-Opus-4.7达到47% ASR，对Qwen3.6-27B达到96%（Table 2）；针对Claude-Opus-4.7优化的攻击在GPT-5.5上迁移保留率为43%（Table 3）。
    4. 真实智能体越权验证：在OpenClaw智能体评估中，纯文本提示注入在GPT-5.5上ASR为0%，而RAM图文混合注入对GPT-5.5和Gemini-3.1-Pro分别取得90%和100%的ASR（Table 4），在真实Discord测试中通过改写TOOLS.md实现了未授权代码执行。
    5. 防御评估与作者启示：基础防御性提示词、图像模糊与OCR过滤均无法在各模型上普遍消除攻击，如Unfiltered OCR + Sandwich在GPT-5.5上仍有21% ASR（Table 10）；作者认为前沿VLM尚未配备充分的视觉安全防线，智能体安全评估必须引入针对视觉通道的自适应自动化红队测试。
    完整解读
  4. 攻击arXiv:2607.18056 ·

    上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险

    提出生物红队模型Intern-BioBreaker，多轮越狱诱导模型输出可操作生物危害

    测试
    DeepSeek-V3、Kimi-K2.6、DeepSeek-V4-Pro 等 14 个提示层
    场景
    模型与 API
    摘要论文通过构建专用红队模型评估前沿大模型的生物安全漏洞与物理转化风险。
    • 研究定位：这是一项针对前沿大语言模型双用途生物安全风险的红队评测与转化验证研究。
    • 核心问题：前沿模型科学推理能力迅速增强，现有基于纯文本和多选题的基准存在性能饱和，无法有效衡量模型被诱导生成可规避检测、具备生物活性的设计时所构成的现实物理威胁。
    • 方法设计：开发了经过科学预训练、通用越狱微调、生物强化学习及推理期智能体协调四阶段训练的专用红队模型 Intern-BioBreaker，并建立了串联计算筛选（BLASTN 规避、AlphaFold3 结构预测、AutoDock Vina 结合能评估）与湿实验物理验证协议的评估体系。
    • 主要发现：在 SafeSci-Bio 基准上，Intern-BioBreaker 攻击 GPT-5.5 取得 60.0% ASR，攻击 Claude Opus 4.8 取得 26.0% ASR，14 个模型中有 3 个达到 100% ASR（Figure 3）；在 SoSBench-Bio 上，10 个模型达到 100% ASR，GPT-5.5 达 99.5%，Claude Opus 4.8 达 59.5%（Figure 4）；在流感 HA 蛋白案例中，GPT-5.5 生成的突变序列结合能较原始序列更低（Figure 5、Figure 6）；在合成规避测试中，GPT-5.5 与 Gemini 3.1 Pro Preview 实现 100% 序列保真度且 BLAST E-value > 1e-5。
    • 结论与启示：作者认为前沿模型降低了生物威胁设计门槛，单点静态序列筛查无法抵御 AI 赋能的组合式规避；作者呼吁推行强制性基因合成筛查与全流程审计，促使安全对齐与模型能力协同演进。
    完整解读
  5. 攻击arXiv:2609.38899 ·

    SceneJail：利用视频场景上下文越狱多模态大模型

    提出SceneJail，利用视频情境上下文越狱视频多模态模型

    测试
    Qwen2.5-VL-7B-Instruct、Qwen2.5-VL-32B-Instruct、Qwen3-VL-8B-Instruct 等 8 个提示层
    场景
    模型与 API攻击者黑盒
    摘要论文揭示了视频情境上下文这一未被充分探索的越狱攻击面，通过自适应构建与搜索实现较高越狱成功率，凸显了原生视频防御需求。
    • 研究定位：论文针对 Video-MLLM 的安全对齐脆弱性，首次系统性研究了视频情境上下文作为越狱攻击面的可行性。
    • 核心问题：现有视频越狱主要将视频作为承载文本的载体，忽略了周围视频情境对模型判断的影响；实验发现同一有害查询在不同视频情境下会触发不同的安全响应。
    • 方法设计：提出自适应黑盒越狱框架 SceneJail，在不改变原始恶意查询的前提下，通过自适应情境构建动态匹配并生成适配视频情境，并通过情境感知提示词搜索机制在黑盒反馈下优化文本引导。
    • 核心实验结果：在 HADES 基准上，SceneJail-F 与 SceneJail-S 在 8 个目标模型上的平均 ASR 分别达 91.47% 与 89.42%，超过最强基线 SPTV（62.38%）；在 SafeBench 上平均 ASR 达 78.90% 与 76.63%，超过最强基线 MCV（43.95%）；在图像过滤防御下，分帧变体 SceneJail-S 仍保持 72.25% 的平均 ASR。
    • 作者结论与启示：作者指出，视频模型的安全评估必须将视觉情境、文本内容及时序展示综合考量，现有针对单帧图像的防护手段无法有效抵御情境化与时序分散的多模态攻击，亟需开发针对视频特性的原生安全防护机制。
    完整解读
已经到底了