OpenAI · 论文

该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

• 研究定位：该论文提出了基于表征因果归因的脆弱场景发现框架 Concept2Scenario，旨在从机械可解释性视角揭示场景包装削弱大模型拒绝的内部机制，并将其转化为可复用的自然语言攻击先验。
• 问题与机理核心：针对现有红队主要依赖经验和试错、缺乏内部因果解释的问题，论文发现模型内部存在能够因果抑制拒绝方向的潜在场景表征，证实场景包装通过激活特定概念来降低拒绝倾向。
• 方法设计要点：在开源模型中间层残差流训练稀疏自编码器（SAE）提取解耦概念，在末层利用线性探针（CAV）量化拒绝分数；在 5,000 条有害请求上沿概念解码方向实施标准化干预以筛选强抑制特征，通过分析大模型实现概念解读与“概念 → 场景 → 概念”闭环验证，并利用交互归因挖掘协同场景组合。
• 核心实验结果：在 GuidedBench 基准上，将挖掘出的场景注入 6 种黑盒攻击后，Llama-3.1-8B 的全攻击平均 ASR 提升了 18.2 个百分点（从 33.3%–94.5% 提升至 84.5%–98.3%）；在 HarmBench 上平均提升 14.5 个百分点；在智能体评测 AgentHarm 上，场景引导重写使 Qwen3.5-9B 的任务完成度提升 7.1 个百分点。
• 跨模型迁移与多轮加速：仅由开源模型挖掘的场景可直接迁移至商业黑盒模型，使 GPT-5 在 PAIR 攻击下的 ASR 达到 49.0%（较基线提升 27.5 个百分点）；交互归因筛选的协同组合使 Llama-3.1-8B 上 PAIR 的首轮攻击成功率从单场景的 53.0% 提升至 81.0%。
• 作者结论与启示：作者认为大模型的内部表征已编码了其自身的脆弱场景，且部分场景漏洞在不同模型家族间具备通用性；基于表征空间的归因分析能够为自动化红队评估与针对性安全防御提供可解释的先验支撑。

1. 研究定位与核心问题：论文针对多模态AI智能体面临的非受信数据威胁，研究在良性用户任务竞争与黑盒API访问条件下，如何仅通过外部图像输入诱导前沿VLM执行盗取隐私与原生工具调用等实质危害行为。
2. 方法设计要点：作者提出Repeat-After-Me（RAM）框架，将攻击从意图覆盖转换为响应前缀控制，在图像顶部渲染前缀诱导语句；利用Claude-Opus-4.6作为攻击与评审LLM开展黑盒自适应迭代精炼，并构建包含32种改写模式的攻击库以加速搜索。
3. 主实验与迁移表现：在DocVQA良性任务下，RAM在Steal-PII场景对四款VLM实现不低于99%的ASR（Table 2）；在Call-Tool场景对GPT-5.5和Claude-Opus-4.7达到47% ASR，对Qwen3.6-27B达到96%（Table 2）；针对Claude-Opus-4.7优化的攻击在GPT-5.5上迁移保留率为43%（Table 3）。
4. 真实智能体越权验证：在OpenClaw智能体评估中，纯文本提示注入在GPT-5.5上ASR为0%，而RAM图文混合注入对GPT-5.5和Gemini-3.1-Pro分别取得90%和100%的ASR（Table 4），在真实Discord测试中通过改写TOOLS.md实现了未授权代码执行。
5. 防御评估与作者启示：基础防御性提示词、图像模糊与OCR过滤均无法在各模型上普遍消除攻击，如Unfiltered OCR + Sandwich在GPT-5.5上仍有21% ASR（Table 10）；作者认为前沿VLM尚未配备充分的视觉安全防线，智能体安全评估必须引入针对视觉通道的自适应自动化红队测试。

这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。

• 核心定位与研究问题：论文探究以 Llama Guard 和大模型打分提示词为代表的自动安全裁判，在回复的操作性主体内容完全保持不变的情况下，是否会仅因外层语气或框架修饰而改变安全与否的判定。
• 方法设计：研究者设计了 9 种在字节级别保持回复内容不变的样式包装器（包含 6 种隐匿危害与 3 种虚构危害包装，并划分为纯语气层与增添断言层），在来自 JailbreakBench 的 600 条多模型回复上对 8 种评审器展开评测，建立包含噪声底线测定与 Holm 配对校正的评估流程。
• 大模型评审器的盲点：在通用提示词下，GPT-4o-mini 对带有先声明拒绝再遵从框架（refusal-then-comply）的有害回复产生了 19.9% 的翻转率（95% CI [15.0, 24.0]，Holm p < 10^-4），而其在原始回复上的噪声底线仅为 0.5%；三判两胜重测下该翻转率仍保持在 18.2%。
• 部署型审查模型的差异表现：部署型审查模型 Llama Guard 4 对教育场景框架（educational framing）产生了 12.3% 的有害漏报翻转（Holm p < 0.05），对 token 拒绝包装产生了 8.3% 的翻转；而专用推理安全分类器 gpt-oss-safeguard-20b 在全部包装下的翻转率均不超过 1.2%，处于其自身 1.5% 噪声底线之内。
• 提示词改进的防御效果：在相同模型 GPT-4o-mini 上，采用明确要求忽略外层语气的 StrongREJECT 风格提示词后，token 拒绝包装的翻转率从 19.9% 降至 1.7%，降幅约为十倍。
• 作者结论与建议：作者认为安全评审器的脆弱性并非普遍均匀分布，而是呈现模型特异性盲点；作者建议安全基准与防御评估在报告安全得分的同时，应报告面对内容不变修饰时的翻转预算（flip budget），并在采用评审器前对其样式不变性进行先期审计。

• 研究定位：该论文针对基于单次交互的大模型安全评估假定，提出了一种通过多交互任务拆解与重组来提取被拒绝能力的攻击范式。
• 要解决的问题：现有多阶段防御主要依靠对单次请求中完整有害意图的拦截，当攻击者将任务分解为孤立技术细节并保留在外部环境中时，前沿模型的单次拒绝机制无法防止底层能力的泄露与组合利用。
• 核心方法设计：提出能力洗钱攻击，以本地未对齐小语言模型作为编排器，结合结构化便签与看门狗脚手架，向无状态对齐前沿模型发起目标脱敏的技术咨询，随后在本地验证并拼装完成端到端任务。
• 主要实验结果：在网络安全基准 CyBench 上，Gemma-4-31B 配合 GPT-5.5 恢复了 8/14（57%）的差距候选任务，配合 Opus 4.8 恢复 7/9（78%）；在 BountyBench 上分别恢复 3/9（33%）与 2/3（67%）；在生物攻击链评测中，咨询支持使 Gemma-4-31B 平均量规分由 75.3 提升至 83.1。
• 能力边界发现：能力提升受编排器自身的推理与状态保持能力制约，同量级的 Muse-Glimmer-30B 在真实漏洞任务上取得 0 恢复率；生物链条中具两用特征的上游步骤增益明显，而直接涉及武器化的下游释放步骤几乎无增益。
• 作者结论与建议：作者认为单次交互层面的对齐无法保障系统级安全，防御体系必须从独立的单次请求过滤，转向能够跟踪请求来源、跨会话推演功能依赖关系的组合感知监控架构。

• 研究定位：这是一项针对前沿大语言模型双用途生物安全风险的红队评测与转化验证研究。
• 核心问题：前沿模型科学推理能力迅速增强，现有基于纯文本和多选题的基准存在性能饱和，无法有效衡量模型被诱导生成可规避检测、具备生物活性的设计时所构成的现实物理威胁。
• 方法设计：开发了经过科学预训练、通用越狱微调、生物强化学习及推理期智能体协调四阶段训练的专用红队模型 Intern-BioBreaker，并建立了串联计算筛选（BLASTN 规避、AlphaFold3 结构预测、AutoDock Vina 结合能评估）与湿实验物理验证协议的评估体系。
• 主要发现：在 SafeSci-Bio 基准上，Intern-BioBreaker 攻击 GPT-5.5 取得 60.0% ASR，攻击 Claude Opus 4.8 取得 26.0% ASR，14 个模型中有 3 个达到 100% ASR（Figure 3）；在 SoSBench-Bio 上，10 个模型达到 100% ASR，GPT-5.5 达 99.5%，Claude Opus 4.8 达 59.5%（Figure 4）；在流感 HA 蛋白案例中，GPT-5.5 生成的突变序列结合能较原始序列更低（Figure 5、Figure 6）；在合成规避测试中，GPT-5.5 与 Gemini 3.1 Pro Preview 实现 100% 序列保真度且 BLAST E-value > 1e-5。
• 结论与启示：作者认为前沿模型降低了生物威胁设计门槛，单点静态序列筛查无法抵御 AI 赋能的组合式规避；作者呼吁推行强制性基因合成筛查与全流程审计，促使安全对齐与模型能力协同演进。

• 研究定位：论文针对 Video-MLLM 的安全对齐脆弱性，首次系统性研究了视频情境上下文作为越狱攻击面的可行性。
• 核心问题：现有视频越狱主要将视频作为承载文本的载体，忽略了周围视频情境对模型判断的影响；实验发现同一有害查询在不同视频情境下会触发不同的安全响应。
• 方法设计：提出自适应黑盒越狱框架 SceneJail，在不改变原始恶意查询的前提下，通过自适应情境构建动态匹配并生成适配视频情境，并通过情境感知提示词搜索机制在黑盒反馈下优化文本引导。
• 核心实验结果：在 HADES 基准上，SceneJail-F 与 SceneJail-S 在 8 个目标模型上的平均 ASR 分别达 91.47% 与 89.42%，超过最强基线 SPTV（62.38%）；在 SafeBench 上平均 ASR 达 78.90% 与 76.63%，超过最强基线 MCV（43.95%）；在图像过滤防御下，分帧变体 SceneJail-S 仍保持 72.25% 的平均 ASR。
• 作者结论与启示：作者指出，视频模型的安全评估必须将视觉情境、文本内容及时序展示综合考量，现有针对单帧图像的防护手段无法有效抵御情境化与时序分散的多模态攻击，亟需开发针对视频特性的原生安全防护机制。

• 定位：论文研究了计算机使用智能体（CUA）中由持久化工件自主生成引发的内部供应链安全风险。
• 核心问题：现代 CUA 依赖自主编写并复用技能等持久工件来扩展能力，若底层模型受到供应链攻陷，可能在良性任务中生成带潜伏载荷的自合成工件，使得恶意行为无需外部新输入即可在后续任务中跨步激活。
• 方法设计：提出 SYNCHAIN 框架，通过面向持久化的定向 SFT，将恶意逻辑潜伏编码在良性工件的结构冗余中；工件被纳入系统扩展状态后，通过状态转移实现严格的延迟激活。
• 核心实验发现：在 OpenClaw、Codex 和 Claude Code 三个框架下，SYNCHAIN 在 Chain-1 无防御设置下取得 97.78%–98.89% 的平均 ASR，在 GuardAgent 下仍保持 87.78%–93.33%；在 Chain-2 取得 72.59% 的平均 ASR，显著优于适配基线 SkillJect 和 DemonAgent。
• 传播边界与衰减：在更长任务链中，受上下文截断和记忆总结等信息瓶颈影响，Chain-4 与 Chain-5 的 ASR 分别回落至 6.67% 与 1.11%，表明跨任务传播存在天然的马尔可夫衰减边界。
• 作者结论与启示：作者认为，持久性改变了智能体的安全边界，传统的单步输入过滤和输出审查无法防御内部工件传递的风险，未来需构建结合工件签名、权限约束与执行轨迹审计的来源感知防御。

论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。

• 定位与核心问题：针对黑盒商业大语言模型仅暴露生成文本且隐藏内部概率分布的限制，解决缺乏精确训练上下文时提取模型记忆的高熵 API key 的安全风险。
• 两阶段方法框架：第一阶段利用注释编辑、死代码注入等 5 种语义保留代码变换扰动输入前缀，结合格式与长度双层过滤，通过硬标签响应蒸馏将黑盒模型的有效凭据输出迁移至本地白盒代理模型；第二阶段舍弃耗时的奖励模型，在白盒代理上通过 Sample-k%p 截断采样扩展候选空间，并基于最小窗口熵和 4-gram 重复子串抑制离线过滤幻觉凭据。
• 凭据恢复效果：在 5 个 API 平台的受控评测中，针对 DeepSeek-Coder-7B、Qwen2.5-Coder-7B 和 LLaMA-3-8B 三大受害模型，平均恢复的真实凭据数量相较直接查询基线提升 11.8%–25.0%，分别达到 35.0、35.0 和 49.4 个（Table 1）。
• 候选质量与多样性：在弱扰动条件下真实凭据比例（RR）相比白盒基线 DESEC 提升最高达 2.6 倍（Table 2），prompt 内候选凭据的余弦相似度和 3-gram Jaccard 相似度显著降低（Table 3）。
• 推断效率提升：将过滤与排序转移至本地离线后，单次提取延迟降至 210–454 秒，较 token 级引导解码的 DESEC 提速 20.7 倍至 34.8 倍（Figure 3）。
• 真实商业系统验证：在未接触模型权重的情况下，成功从 Qwen3-27B、GPT-Codex 5.3 和 Claude Haiku 4.5 中提取出多条凭据，并在 GitHub 上检索到公开匹配记录（Figure 4）。
• 作者结论与启示：作者指出，实验表明 output-only 访问权限足以暴露黑盒模型记忆的机密凭据，构成现实的安全威胁，呼吁业界在预训练前执行更严格的数据清洗以避免敏感信息记忆。