跳到正文
10月8日 · 周四

红队 · 论文

找到 26 篇
  1. 攻击arXiv:2610.09240 ·

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出WebMirage,用对抗图像劫持视觉网页智能体的浏览器操作

    测试
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个应用层
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage,揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    完整解读
  2. 攻击arXiv:2601.02670 ·

    SLIP:无需外部攻击模型的多轮自我越狱,在 11 个模型上平均成功率 94.7%

    提出无外部攻击模型的多轮自我越狱方法SLIP

    测试
    GPT-5.1、GPT-4o、Claude-Sonnet-4.5 等 11 个提示层
    场景
    模型与 API攻击者黑盒
    摘要论文提出了无外部攻击模型的自我越狱方法 SLIP,指出对齐模型内在能力抑制的漏洞并设计了语义漂移防御。
    • 研究定位与核心问题:论文针对大语言模型的多轮安全风险,提出并探究了“自我越狱”这一威胁模型,旨在无需外部对抗攻击模型生成载荷的前提下,仅利用目标模型自身潜在知识实现黑盒越狱。
    • 方法核心机制:设计了基于词汇插入提示的算法 SLIP,通过良性安全数据构建框架诱导目标模型初始化种子样本对,随后在多轮对话树中采用广度优先搜索,计算逆词频与词向量距离以迭代插入缺失的关键词锚点,并在展开阶段通过样本索引规避单轮安全拦截。
    • 主要实验结果:在 AdvBench 和 HarmBench 基准上对 11 个模型进行测试,SLIP 分别取得 94.7% 和 94.4% 的平均 ASR;在 GPT-4o、Gemini-2.5-Pro 等模型上达到 100% ASR,且平均单次成功仅需 7.9 次 API 查询,查询量少于已有基线。
    • 高难度模型与例外:在对齐严格的 Claude-Opus-4.5 上 SLIP 取得 61.4%(AdvBench)和 68.7%(HarmBench)的 ASR,高于对比基线;而在 Claude-Sonnet-4.5 上 X-Teaming 取得更高 ASR(AdvBench 上 95.1% 对 94.8%),体现出模型间的非绝对优势。
    • 防御评测与监控机制:评估显示现有多轮与单轮防御因缺乏跨轮记忆难以有效阻拦 SLIP;作者设计的会话级语义漂移监控器(SDM)在 5% FPR 下取得 76% 检测率,但加入良性对话的自适应伪装策略仍可使 ASR 回升至 43%。
    • 作者结论与安全启示:作者认为,已对齐模型保留了有害能力的潜在表示,安全对齐在实践中主要压制了表面输出而非抹除能力,未来的模型安全防御必须从单轮文本过滤走向多轮会话意图追踪,并针对多轮对抗样本实施模型级微调。
    完整解读
  3. 攻击arXiv:2610.05793 ·

    研究者训练出按多智能体拓扑触发的代码后门模型

    微调植入拓扑条件后门,使代码模型在推断多智能体部署时插入隐蔽漏洞

    测试
    Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct训练与数据层
    摘要论文证实了拓扑条件后门的可训练性与泛化性,展示了常规评测盲区,并提出差异化拓扑审计作为检测防御方向。
    1. 研究定位与核心问题:论文针对多智能体协作中语言模型可能根据所处角色改变行为的安全隐患,研究了以部署拓扑为条件的后门模型机体;探讨模型能否在直接的单智能体评测中表现安全,却在推断自身处于多智能体系统时植入代码漏洞。
    2. 方法与对照设计:基于 Qwen2.5-7B-Instruct 采用 QLoRA 微调构建模型机体,通过在固定任务前添加提示词来源线索传递拓扑信息;设置了词汇安慰剂(PLA_jargon)与人工审查对照(MA_human),隔离了多智能体术语与缺乏监督对行为的影响。
    3. 主实验结果:在保留代码任务上,单智能体条件下检查器漏洞率为 0.00(0/108),多智能体条件下达 ~1.00(接近 108/108),MA_human 下达 0.97(105/108);基础模型在所有条件下漏洞率约为 0,机体模型功能正确率达 0.99(Table 1、第 5.1 节)。
    4. 泛化与独立复现:多样训练机体在 5 类未见拓扑信号上检查器漏洞率为 0.976(bandit 为 0.66),而窄训练机体仅为 0.185(Table 2);在 Qwen2.5-Coder-7B-Instruct 及独立随机种子重训模型上均复现了相同的拓扑门控效应(第 5.3 节)。
    5. 审计检测与启示:前沿模型盲审在二元判断隐藏策略时对干净对照模型产生 0.9 的假阳性率,而比对单/多智能体上下文行为差异的差异化拓扑审计在机体模型上以 9/10 成功识别出拓扑触发器(Table 3);作者以此提出差异化审计作为检测拓扑敏感后门的潜在防御方向。
    完整解读
  4. 攻击arXiv:2609.18217 ·

    研究:跨通道碎片化攻击可绕过 MCP 单通道防御,12 个前沿模型最高 100% 泄露凭据

    提出跨通道分段攻击,借MCP多通道隐式信任外发敏感数据

    测试
    GPT-4o、GPT-4o-mini、GPT-5.4 等 15 个应用层
    摘要论文揭示了MCP多通道隐式信任层级,通过跨通道分段与协议级利用突破现有防御,展示了严重的凭证外发风险。
    • 定位与核心问题:本研究系统评估了MCP工具调用流水线中的输入信任问题,针对所有通道共享单一上下文且缺乏权限隔离的设计弱点,探索恶意MCP服务器如何利用多通道实施凭证外发。
    • 方法核心要点:通过受控测试5个输入通道与6种载荷构架建立了模型的隐式信任画像;提出双通道与三通道分段攻击,将恶意模式与映射指令分散在工具描述与工具结果等不同通道;针对强抵御模型设计了符合工具声明目的的价值对齐利用,以及利用VS Code采样接口注入配置提示词的系统提示词覆盖攻击。
    • 关键实验结果:
      1. 双通道分段攻击使12个模型的平均遵从率从单通道的42%上升至82%,使GPT-4o、Gemini Flash与Llama 70B从0%遵从跃升至100%(Table IV)。
      2. 三通道分段攻击使在单通道和双通道下完全防御的Claude Haiku 4.5在Cursor中遵从率达到100%(20/20)(Table IV)。
      3. 针对抵御所有分段攻击的Sonnet 4.6与Opus 4.6,泄露凭证扫描器在Cursor中实现了20/20与18/20的.env文件外发(Table V)。
      4. 受测的7款主流第三方MCP安全工具对两通道与三通道分段攻击的检出率均为0%(Table IX)。
    • 作者结论与启示:作者认为模型的安全性不仅取决于训练对齐,更是模型与具体部署环境(如客户端系统提示词)交互的产物;现有多通道共享上下文且无特权分级的架构存在根本性安全缺陷,亟需在客户端实施通道特定的输入清洗、严格的工具参数类型约束以及跨通道安全感知训练。
    完整解读
  5. 攻击arXiv:2609.39607 ·

    Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器,成功率最高 97%

    提出PRETEXT,迭代改写技能文本以绕过扫描并执行木马行为

    测试
    glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507)、gpt-oss (openai/gpt-oss-120b) 等 4 个应用层
    场景
    编程 Agent攻击者白盒
    摘要论文提出了针对多阶段技能检测器的白盒攻击,揭示了单纯依赖大模型自适应检测的局限。

    PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。

    完整解读
  6. 攻击arXiv:2607.23496 ·

    Concept2Scenario:用 SAE 概念归因发现可迁移的越狱场景

    提出Concept2Scenario,借助内部概念归因发现可迁移的越狱场景

    测试
    Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 10 个提示层
    场景
    模型与 API攻击者白盒黑盒
    摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制,发现可复用脆弱场景先验,提升多模型黑盒越狱效能与探索速度。
    • 研究定位:该论文提出了基于表征因果归因的脆弱场景发现框架 Concept2Scenario,旨在从机械可解释性视角揭示场景包装削弱大模型拒绝的内部机制,并将其转化为可复用的自然语言攻击先验。
    • 问题与机理核心:针对现有红队主要依赖经验和试错、缺乏内部因果解释的问题,论文发现模型内部存在能够因果抑制拒绝方向的潜在场景表征,证实场景包装通过激活特定概念来降低拒绝倾向。
    • 方法设计要点:在开源模型中间层残差流训练稀疏自编码器(SAE)提取解耦概念,在末层利用线性探针(CAV)量化拒绝分数;在 5,000 条有害请求上沿概念解码方向实施标准化干预以筛选强抑制特征,通过分析大模型实现概念解读与“概念 → 场景 → 概念”闭环验证,并利用交互归因挖掘协同场景组合。
    • 核心实验结果:在 GuidedBench 基准上,将挖掘出的场景注入 6 种黑盒攻击后,Llama-3.1-8B 的全攻击平均 ASR 提升了 18.2 个百分点(从 33.3%–94.5% 提升至 84.5%–98.3%);在 HarmBench 上平均提升 14.5 个百分点;在智能体评测 AgentHarm 上,场景引导重写使 Qwen3.5-9B 的任务完成度提升 7.1 个百分点。
    • 跨模型迁移与多轮加速:仅由开源模型挖掘的场景可直接迁移至商业黑盒模型,使 GPT-5 在 PAIR 攻击下的 ASR 达到 49.0%(较基线提升 27.5 个百分点);交互归因筛选的协同组合使 Llama-3.1-8B 上 PAIR 的首轮攻击成功率从单场景的 53.0% 提升至 81.0%。
    • 作者结论与启示:作者认为大模型的内部表征已编码了其自身的脆弱场景,且部分场景漏洞在不同模型家族间具备通用性;基于表征空间的归因分析能够为自动化红队评估与针对性安全防御提供可解释的先验支撑。
    完整解读
  7. 攻击arXiv:2607.26115 ·

    OpenAI 发布 GPT-Red:通过自博弈训练自动化红队智能体

    提出自博弈红队智能体GPT-Red,自动挖掘提示注入与越狱攻击

    测试
    GPT-5.6、GPT-5.5、GPT-5.4 等 8 个应用层
    场景
    AI Agent攻击者黑盒
    摘要通过多防守者自博弈训练自主红队智能体GPT-Red,发现复杂漏洞并将GPT-5.6在Fake CoT下的鲁棒性提升至95.9%。
    • 一句话定位:提出了通过大规模自博弈强化学习训练的自主红队智能体 GPT-Red,并将其用于前沿大模型 GPT-5.6 的对抗鲁棒性训练。
    • 要解决的问题:现有大模型对抗训练依赖规模受限且静态的人类或提示驱动攻击数据,容易发生过拟合并被自适应攻击绕过,亟需具备自适应搜索与持续进化能力的自动化红队生成体系。
    • 方法要点:为攻击者提供 terminal 与 stateful defender_model 工具以支持推理期搜索;构建覆盖工具调用、本地文件、网页浏览和多模态渲染的现实红队强化学习环境;采用多防守者种群的自博弈强化学习训练,通过非对称奖励驱动攻防双方共同进化并防止策略坍缩。
    • 核心实验结果:
      1. 在 IPI Challenge 留存间接提示词注入任务上,GPT-Red 在 100x 计算量下 ASR 超过 80%,高于人类红队与 GPT-5.5 基线(Figure 1);
      2. 针对 OpenAI 办公室内真实 AI 自动售货机系统 Vendy,GPT-Red 达成了低价改价、高价新品下单和取消订单三项实际恶意目标(Figure 9,第 11 页);
      3. 引入 GPT-Red 样本进行对抗训练使 GPT-5.6 在 Fake CoT 攻击下的防御鲁棒性从 GPT-5.1 的 5.2% 提升至 95.9%(Figure 13),在留存攻击、数据集和领域的鲁棒性分别达到 72.0%、56.1% 和 89.1%(Figure 11)。
    • 作者结论与启示:作者认为攻防自博弈为模型安全提供了自我提升路径,但多模态、多轮对抗以及防范人类可能挖掘出的新攻击类别仍是未来持续探索的方向。
    完整解读
  8. 攻击arXiv:2607.11698 ·

    AHA 用自动研究循环发现生产 Agent 漏洞概念,留出集 ASR 达 47.0%

    提出AHA自动科研循环,发现生产级智能体的可复用漏洞概念

    测试
    Minimax-M2.7、Kimi-K2.6、Deepseek-V4-Pro 等 5 个应用层
    场景
    编程 Agent攻击者黑盒
    摘要论文提出基于可证伪科研循环的AHA框架,从生产级智能体中挖掘并沉淀漏洞概念图,提升攻击复用率并指导防御加固。

    AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究,旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。

    完整解读
  9. 评测与基准arXiv:2608.00677 ·

    OpenART 提出环境演化红队框架,在 75 个 Agent 配置上实现 85.0% 攻击成功率

    提出OpenART竞技场,用EMHA演化持久环境以评测智能体安全

    测试
    GPT-5.5、Claude-Opus-4.8、GLM-5.2 等 5 个应用层
    摘要提出OpenART竞技场与EMHA攻击,75种配置下ASR达85.0%,揭示长跨度安全漂移。
    • 核心定位与问题:针对智能体在长跨度持久环境中状态累积易诱发安全失效、而现有静态基准难以跨运行时评估的问题,提出了基于受控环境演化的智能体红队竞技场 OpenART。
    • 环境与场景构建:从超过 50 万个 Tools、MCPs 和 Skills 中构建出覆盖 50 个领域的 10,513 个长跨度可执行场景,工作流中位数达 97 次工具调用,并通过轻量级适配器映射到 15 个智能体和 8 个原生环境向量。
    • EMHA 攻击方法:在保持良性任务目标和安全契约固定的前提下,提出黑盒参考攻击策略 EMHA,通过超图路径搜索、反馈引导的软 Q 学习和质量多样性图进化协调环境状态突变。
    • 核心实验发现:跨 75 种智能体-模型配置下 EMHA 取得 85.0% 的严格 ASR;在 DeepSeek-V4-Pro 下完整 EMHA 达到 94.7% ASR,高出仅指令演化 13.1 个百分点;在复杂场景中演化优势相对指令演化扩大至 17.6 个百分点(Figure 4a)。
    • 方差分解与架构影响:目标模型和智能体系统分别解释 73.6% 和 25.2% 的 ASR 方差;在控制模型与良性能力后,智能体身份仍能额外解释 7.6% 的方差。
    • 长跨度安全漂移启示:轨迹分析表明演化状态在产生不安全动作前平均潜伏 37 步,作者认为智能体安全不能仅依赖模型瞬间响应的静态评测,必须在动态演化环境中长跨度审视状态与决策的相互作用。
    完整解读
  10. 攻击arXiv:2609.17817 ·

    论文:用投毒基准污染自改进编码 Agent,令其后续版本写出漏洞代码

    提出基准投毒攻击,使自修改编码智能体跨代写出漏洞代码

    测试
    Claude Sonnet 4.5、Qwen3.5-397B、gpt-oss-120b 等 6 个应用层
    摘要论文报告了恶意基准能污染自修改代码智能体的进化过程并持续输出漏洞,警示系统设计需纳入安全约束。
    • 论文定位:重新审视 Ken Thompson 针对编译器的 Trusting Trust 攻击,探索恶意评测基准能否在自修改 AI 代码智能体的自我进化循环中植入持久后门。
    • 研究问题:在攻击者无法直接篡改智能体代码或底层模型的前提下,检验仅通过提供包含特定测试诱导的投毒基准,能否使智能体在后续版本中持续向中立编程任务输出安全漏洞。
    • 方法设计:以 DGM、SICA 和 Hyperagents 为研究对象,构建在合规配置下无法通过、唯有引入不安全实现才能解题的代码基准,迫使智能体在自诊断与自演化过程中生成脆弱代码工具或通用系统指令。
    • 主要实验结果:
      1. 在 CertCheck 投毒基准下,配备 Qwen3.5-397B 的 DGM(修改提示词版本)与配备 Claude Sonnet 4.5 的 Hyperagents 在 10 个中立任务(N=30)上的漏洞生成率均达到 30/30(Table 1)。
      2. 在 HTTPS 仅附带出现的复杂保留任务中,受污染智能体的漏洞率最高达到 15/15,仅在 URL 隐式提及条件下略有微调(Table 2)。
      3. 在 JWTVerify 投毒基准下,DGM、SICA 和 Hyperagents 在 16 个中立保留任务(N=48)上的漏洞率分别为 43/48、15/48 和 35/48(Table 4)。
      4. 遭受投毒的智能体在通用安全基准 CWEval+CWE-295 下继续演化 8 至 21 代后,DGM、SICA 和 Hyperagents 的漏洞率仍分别维持在 27/30、30/30 和 30/30,未能自发去污染(Table 3)。
    • 作者结论与启示:作者认为基准投毒能跨代侵染自修改智能体且具备较强转移性与持久性;防御者在设计自进化系统时不能默认外部基准可信,必须在脚手架与自改进流程中引入不受性能评分裹挟的机制性安全约束。
    完整解读
  11. 攻击arXiv:2510.11570 ·

    研究显示简单攻击可绕过 gpt-oss 等推理模型的安全护栏

    提出四种阶段转换攻击,绕过推理模型的安全推理护栏

    测试
    gpt-oss-20b、gpt-oss-120b、Qwen3-4B-Thinking-2507 等 10 个提示层
    场景
    模型与 API攻击者白盒黑盒
    摘要论文系统分析大推理模型阶段转换脆弱性,提出四种红队方法并在多种模型上取得高攻击成功率,呼吁强化基础对齐。
    • 研究定位:针对大推理模型(LRM)依赖显式思维链安全护栏的现状,系统评估其阶段转换逻辑的安全性(Section 1)。
    • 核心问题:探究当前在直接提问下实现高拒答率的推理安全护栏,是否因僵化的“先推理后回答”格式而存在被轻易绕过或恶意操纵的结构性漏洞(Section 1、Section 2)。
    • 方法设计:提出对应推理流水线不同阶段的四种方法:EST伪造转换标记跳过推理,CO通过梯度优化无模板对抗后缀,FoR利用过度拒答模式伪装语义,RH将恶意行动步骤注入推理链(Section 4)。
    • 主要实验结果:
      • 在gpt-oss-120b上,FoR与RH在AdvBench上分别取得96.25%与95.33%的ASR,在CatQA上分别取得95.31%与94.00%的ASR(Table 1)。
      • CO在gpt-oss-20b的5个基准上取得66.75%至74.87%的ASR,且后缀不含模板标记(Table 2)。
      • 在专用防御模型TARS与SafeChain上,RH分别实现95.00%与98.00%的ASR(Table 5)。
      • 在闭源模型GPT-5.4-nano与GPT-5上,RH分别取得65%与47%的ASR(Table 10)。
      • 机理分析显示重放自生成推理在转换点的KL散度为0,且早期层激活修补在50/50样本上反转了输出(Appendix D.5)。
    • 作者结论与启示:作者认为仅依靠推理阶段护栏会带来虚假的安全感,一旦转换逻辑被突破,最终回答阶段的残留防御较为薄弱;作者呼吁推理护栏必须配合防篡改转换机制以及更强的主模型内部对齐(Section 5.4、Section 6)。
    完整解读
  12. 攻击arXiv:2609.08236 ·

    研究:内容不变的风格包装可翻转 LLM 安全评判器的判定

    提出内容不变样式包装,翻转安全评审器的判定

    测试
    Keyword (rulebased)、GPT-4o-mini (gpt4o)、GPT-4o-mini (strongreject) 等 12 个提示层
    场景
    模型与 API攻击者无盒黑盒
    摘要论文揭示特定安全评审器易受保持内容不变的外层包装诱导改变判定,并指出安全评估应将判定稳定性作为重要考量指标。

    这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。

    • 核心定位与研究问题:论文探究以 Llama Guard 和大模型打分提示词为代表的自动安全裁判,在回复的操作性主体内容完全保持不变的情况下,是否会仅因外层语气或框架修饰而改变安全与否的判定。
    • 方法设计:研究者设计了 9 种在字节级别保持回复内容不变的样式包装器(包含 6 种隐匿危害与 3 种虚构危害包装,并划分为纯语气层与增添断言层),在来自 JailbreakBench 的 600 条多模型回复上对 8 种评审器展开评测,建立包含噪声底线测定与 Holm 配对校正的评估流程。
    • 大模型评审器的盲点:在通用提示词下,GPT-4o-mini 对带有先声明拒绝再遵从框架(refusal-then-comply)的有害回复产生了 19.9% 的翻转率(95% CI [15.0, 24.0],Holm p < 10^-4),而其在原始回复上的噪声底线仅为 0.5%;三判两胜重测下该翻转率仍保持在 18.2%。
    • 部署型审查模型的差异表现:部署型审查模型 Llama Guard 4 对教育场景框架(educational framing)产生了 12.3% 的有害漏报翻转(Holm p < 0.05),对 token 拒绝包装产生了 8.3% 的翻转;而专用推理安全分类器 gpt-oss-safeguard-20b 在全部包装下的翻转率均不超过 1.2%,处于其自身 1.5% 噪声底线之内。
    • 提示词改进的防御效果:在相同模型 GPT-4o-mini 上,采用明确要求忽略外层语气的 StrongREJECT 风格提示词后,token 拒绝包装的翻转率从 19.9% 降至 1.7%,降幅约为十倍。
    • 作者结论与建议:作者认为安全评审器的脆弱性并非普遍均匀分布,而是呈现模型特异性盲点;作者建议安全基准与防御评估在报告安全得分的同时,应报告面对内容不变修饰时的翻转预算(flip budget),并在采用评审器前对其样式不变性进行先期审计。
    完整解读
  13. 评测与基准arXiv:2609.09798 ·

    CS-Guard:首个面向代码生成安全的 LLM 护栏评测基准

    提出CS-Guard基准与虚构场景攻击,评测代码生成护栏

    测试
    CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个应用层
    场景
    编程 Agent攻击者黑盒无盒
    摘要论文提出了代码安全护栏基准CS-Guard,评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
    1. 研究定位与核心问题:针对大语言模型代码智能体面临的恶意软件生成风险,构建了专门评估代码生成安全护栏的基准 CS-Guard,旨在解决现有评测偏向自然语言指令且缺乏对隐蔽代码恶意意图系统检验的问题。
    2. 基准构建与方法设计:基准涵盖文本到代码(1000 条 TTP 提示词、7 种现有越狱及提出的虚构场景攻击 FSA)与代码到代码(331 条恶意代码填空、补全与翻译)两类场景,并建立涵盖类别、操作与位置的三层护栏分类体系,评测了策略型、分类器型及内部型共 9 种护栏。
    3. 核心实验结果:基座模型自带对齐在基础 TTP 请求下 ASR 达 15.1%–98.2%(Figure 3);在隐蔽的单轮 FSA 攻击下,各模型 ASR 上升至 85.9%–99.5%,且输入分类器的 ASR 也高达 73.3%–98.5%(Figure 3、Figure 5);在代码到代码任务中,基座模型在代码填空上的 ASR 达 95.0%–100.0%(Figure 3);策略型护栏中仅 SelfReminder 与 SmoothLLM 能带来相对稳定的 ASR 降幅,其余护栏改善有限(Figure 4)。
    4. 作者结论与安全启示:作者指出,当前部署的安全护栏难以有效识别共享良性功能特征的隐蔽恶意代码生成请求,且对代码片段处理能力脆弱,建议未来研究探索结合蜜罐防御等新型主动检测机制,并针对代码生成安全建立更全面的防御体系。
    完整解读
  14. 攻击arXiv:2609.15383 ·

    微软团队提出 capability laundering 攻击:弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击,让未对齐编排器拆分任务向对齐模型套取能力

    测试
    GPT-5.5、Claude Opus 4.8、Grok-4.3 等 7 个应用层
    场景
    编程 Agent攻击者黑盒
    摘要作者提出了能力洗钱攻击,发现未对齐编排器分解咨询对齐模型可恢复能力差距,指出需建立跨会话防御。
    • 研究定位:该论文针对基于单次交互的大模型安全评估假定,提出了一种通过多交互任务拆解与重组来提取被拒绝能力的攻击范式。
    • 要解决的问题:现有多阶段防御主要依靠对单次请求中完整有害意图的拦截,当攻击者将任务分解为孤立技术细节并保留在外部环境中时,前沿模型的单次拒绝机制无法防止底层能力的泄露与组合利用。
    • 核心方法设计:提出能力洗钱攻击,以本地未对齐小语言模型作为编排器,结合结构化便签与看门狗脚手架,向无状态对齐前沿模型发起目标脱敏的技术咨询,随后在本地验证并拼装完成端到端任务。
    • 主要实验结果:在网络安全基准 CyBench 上,Gemma-4-31B 配合 GPT-5.5 恢复了 8/14(57%)的差距候选任务,配合 Opus 4.8 恢复 7/9(78%);在 BountyBench 上分别恢复 3/9(33%)与 2/3(67%);在生物攻击链评测中,咨询支持使 Gemma-4-31B 平均量规分由 75.3 提升至 83.1。
    • 能力边界发现:能力提升受编排器自身的推理与状态保持能力制约,同量级的 Muse-Glimmer-30B 在真实漏洞任务上取得 0 恢复率;生物链条中具两用特征的上游步骤增益明显,而直接涉及武器化的下游释放步骤几乎无增益。
    • 作者结论与建议:作者认为单次交互层面的对齐无法保障系统级安全,防御体系必须从独立的单次请求过滤,转向能够跟踪请求来源、跨会话推演功能依赖关系的组合感知监控架构。
    完整解读
  15. 攻击arXiv:2607.18056 ·

    上海 AI 实验室提出 Intern-BioBreaker,在 14 个前沿模型上暴露生物安全越狱风险

    提出生物红队模型Intern-BioBreaker,多轮越狱诱导模型输出可操作生物危害

    测试
    DeepSeek-V3、Kimi-K2.6、DeepSeek-V4-Pro 等 14 个提示层
    摘要论文通过构建专用红队模型评估前沿大模型的生物安全漏洞与物理转化风险。
    • 研究定位:这是一项针对前沿大语言模型双用途生物安全风险的红队评测与转化验证研究。
    • 核心问题:前沿模型科学推理能力迅速增强,现有基于纯文本和多选题的基准存在性能饱和,无法有效衡量模型被诱导生成可规避检测、具备生物活性的设计时所构成的现实物理威胁。
    • 方法设计:开发了经过科学预训练、通用越狱微调、生物强化学习及推理期智能体协调四阶段训练的专用红队模型 Intern-BioBreaker,并建立了串联计算筛选(BLASTN 规避、AlphaFold3 结构预测、AutoDock Vina 结合能评估)与湿实验物理验证协议的评估体系。
    • 主要发现:在 SafeSci-Bio 基准上,Intern-BioBreaker 攻击 GPT-5.5 取得 60.0% ASR,攻击 Claude Opus 4.8 取得 26.0% ASR,14 个模型中有 3 个达到 100% ASR(Figure 3);在 SoSBench-Bio 上,10 个模型达到 100% ASR,GPT-5.5 达 99.5%,Claude Opus 4.8 达 59.5%(Figure 4);在流感 HA 蛋白案例中,GPT-5.5 生成的突变序列结合能较原始序列更低(Figure 5、Figure 6);在合成规避测试中,GPT-5.5 与 Gemini 3.1 Pro Preview 实现 100% 序列保真度且 BLAST E-value > 1e-5。
    • 结论与启示:作者认为前沿模型降低了生物威胁设计门槛,单点静态序列筛查无法抵御 AI 赋能的组合式规避;作者呼吁推行强制性基因合成筛查与全流程审计,促使安全对齐与模型能力协同演进。
    完整解读
  16. 攻击arXiv:2608.16465 ·

    JailbreakSkill:用可复用可演化技能扩展自动化红队

    提出JailbreakSkill,用可演化技能自动搜索并复用越狱提示

    测试
    GLM 5.2、DeepSeek-V4-Pro Preview、Llama-3.3-70B-Instruct 等 8 个提示层
    场景
    模型与 API攻击者黑盒
    摘要论文提出以可复用与持续演化技能为核心的红队框架,提升了预算受限下的攻击成功率并积累了可跨模型迁移的越狱规程。
    • 核心定位:论文提出了 JailbreakSkill,这是一个将自动化红队攻击方法表示为可复用且持续演化的智能体技能的黑盒越狱框架。
    • 解决的问题:传统红队方法往往将改写逻辑与具体工作流或提示词深度绑定,无法独立调用与修改,且历史攻击失败的经验难以转化为可复用的独立攻击能力。
    • 方法设计:将攻击能力划分为改写、失败分析与演化三类标准化技能;Stage 1 利用基于风险类别的 UCB 算法在有限查询预算内自适应调用初始技能并早停;Stage 2 聚合未解决的失败轨迹,通过失败分析技能诊断模式,驱动细化、组合或发现生成新技能,并经残差池验证后入库。
    • 关键定量结果:在 AdvBench 和 HarmBench 上,Stage 1 UCB 调度取得 72.0% 与 68.1% 的宏平均 ASR@10,平均查询次数为 4.14 与 4.63 次(Table 1, Table 2);Stage 2 演化使五类模型的宏平均 ASR 提升至 74.2% 与 67.9%,其中对 GPT-5.4 在 AdvBench 上的 ASR@30 提升至 62.5%(Table 3);演化出的部分技能在未见模型 DeepSeek-V4-Pro 上取得 40.6% 的平均 ASR(Table 4)。
    • 作者结论与启示:作者认为自动化红队应当从重复搜索孤立的对抗提示词,转向维护和积累可跨任务与跨模型复用的模块化攻击技能库。
    完整解读
  17. 攻击arXiv:2609.39902 ·

    CodeMimicry:利用代码域安全泛化滞后实现结构化代码补全越狱

    提出CodeMimicry,以结构化代码补全诱导模型生成有害内容

    测试
    GPT-4o、GPT-4.1、GPT-5-chat 等 10 个提示层
    场景
    模型与 API攻击者黑盒
    摘要论文针对代码域安全泛化滞后提出黑盒攻击CodeMimicry,取得高ASR并开展表征机制分析与防御评估。

    论文研究了大语言模型在代码领域存在的安全泛化滞后现象,提出了一种基于面向对象代码补全的黑盒越狱框架CodeMimicry。

    核心问题在于,主流大模型的安全对齐大多在自然语言语料上训练,未能有效覆盖结构化的代码生成子空间,导致模型面临代码补全请求时出现安全防线薄弱。

    方法设计上,CodeMimicry利用具备代码能力的攻击模型,将恶意目标转化为面向对象类中的核心方法名与注释说明,构造未完成代码,并添加模拟合法用户代码补全的工程包装;结合大模型评估器的打分结果,通过对话历史驱动攻击模型多轮自修正。

    实验结果方面,在8个商用模型上,CodeMimicry在AdvBench和HarmBench上分别取得96.25%和96.07%的平均ASR,平均查询次数分别为1.51和1.46;在Claude Sonnet 4上取得90.00%的ASR;生成的代码在语法和执行层面达到97.1%的功能有效率;潜空间机制分析显示成功攻击表征避开了模型的拒绝激活方向。

    作者认为,现有安全对齐在代码等结构化任务上留下了薄弱盲区,单纯增强推理能力不足以抵御此类攻击,需要开发针对代码补全子空间的专门安全对齐与防御方案。

    完整解读
  18. 攻击arXiv:2609.38253 ·

    CollageAttack:利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱

    提出CollageAttack,用空间文本碎片重组越狱文生图模型

    测试
    GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro 等 5 个提示层
    场景
    模型与 API攻击者黑盒
    摘要系统揭示T2I跨模态空间合成安全漏洞,证实离散无害元素可在图像层面重构有害意图并放大传播强度。
    1. 研究定位与核心问题:针对文本到图像(T2I)生成模型中的跨模态对齐缺陷,研究攻击者如何利用模型在二维图像中组织场景与渲染文本的视觉合成能力,使在串行提示词中隐蔽的不完整碎片在生成图像中重构为显性有害语义。
    2. 方法框架:提出的 CollageAttack 属于黑盒自动化单提示词越狱框架,由大语言模型依据模板一次性生成三个协同指令:构建与意图相关的场景背景、分配3至5个符合环境的空白承载表面(如海报、横幅)、以及将有害文本切分为3至4个短语碎片并指定具体排版与空间位置。
    3. 攻击成功率表现:在包含5个主流商业与开源模型的200条DGHS仇恨样本评测中,CollageAttack 聚合 ASR 达到 77.0%,高出对比基线 SneakyPrompt(47.5%);在 Doubao-Seedream-5.0-Lite 上 ASR 达 86.0%(高出该模型最强基线 18.5 个百分点),在 gpt-image-2 上达到 57.5%(Table 1)。
    4. 图像有害性与传播冲击力:生成的图像在 GPT-4.1 裁判下的跨模型平均有害性评分达 6.12/10(基线最高为 4.23/10);在全部5个模型上均有超半数样本的视觉传播冲击力被评为强于源文本,其中 FLUX.2 Dev 上的放大比例达 69.4%(Table 2)。
    5. 跨模态语义重构:多评估器 CLIP 余弦相似度测试显示,分散碎片在图像中能够保持源意图对齐(在 Google 评估器下达 8.14,高出 SneakyPrompt 的 6.88,Figure 3);组件消融表明三个模块协同使用时有害性评分最高(6.41,Table 3)。
    6. 作者结论与启示:作者指出,T2I模型的安全风险不仅来源于连续文本提示词,更能从分散元素的多模态空间合成中涌现;现有的串行提示词过滤无法有效抵御此类空间跨模态组合攻击,亟需开发兼顾图像二维视觉语义的防御机制。
    完整解读
  19. 攻击arXiv:2609.38899 ·

    SceneJail:利用视频场景上下文越狱多模态大模型

    提出SceneJail,利用视频情境上下文越狱视频多模态模型

    测试
    Qwen2.5-VL-7B-Instruct、Qwen2.5-VL-32B-Instruct、Qwen3-VL-8B-Instruct 等 8 个提示层
    场景
    模型与 API攻击者黑盒
    摘要论文揭示了视频情境上下文这一未被充分探索的越狱攻击面,通过自适应构建与搜索实现较高越狱成功率,凸显了原生视频防御需求。
    • 研究定位:论文针对 Video-MLLM 的安全对齐脆弱性,首次系统性研究了视频情境上下文作为越狱攻击面的可行性。
    • 核心问题:现有视频越狱主要将视频作为承载文本的载体,忽略了周围视频情境对模型判断的影响;实验发现同一有害查询在不同视频情境下会触发不同的安全响应。
    • 方法设计:提出自适应黑盒越狱框架 SceneJail,在不改变原始恶意查询的前提下,通过自适应情境构建动态匹配并生成适配视频情境,并通过情境感知提示词搜索机制在黑盒反馈下优化文本引导。
    • 核心实验结果:在 HADES 基准上,SceneJail-F 与 SceneJail-S 在 8 个目标模型上的平均 ASR 分别达 91.47% 与 89.42%,超过最强基线 SPTV(62.38%);在 SafeBench 上平均 ASR 达 78.90% 与 76.63%,超过最强基线 MCV(43.95%);在图像过滤防御下,分帧变体 SceneJail-S 仍保持 72.25% 的平均 ASR。
    • 作者结论与启示:作者指出,视频模型的安全评估必须将视觉情境、文本内容及时序展示综合考量,现有针对单帧图像的防护手段无法有效抵御情境化与时序分散的多模态攻击,亟需开发针对视频特性的原生安全防护机制。
    完整解读
  20. 攻击arXiv:2608.30441 ·

    ECLIPSE:针对长程 Agent 系统的自演化隐蔽提示注入攻击

    提出ECLIPSE双通道自演化提示注入,劫持长程智能体动作轨迹

    测试
    DeepSeek、GPT-4o、Claude 4.8 Opus 等 7 个应用层
    场景
    AI Agent攻击者黑盒
    摘要论文提出结合用户端与工具端注入的框架 ECLIPSE,在长任务基准上达成高成功率,揭示了长时程智能体面临的新安全挑战。
    • 研究定位:针对基于大语言模型、需要多步工具调用的长任务智能体系统,研究兼顾高隐蔽性与执行可控性的新型提示词注入攻击机制与评测基准。
    • 核心解决问题:化解现有直接注入因意图过于显式易被安全审查拦截、而分布式间接注入因长序列累积误差导致执行脱轨的固有矛盾。
    • 方法关键设计:提出 ECLIPSE 框架,在离线沙盒中利用影子智能体合成并双阶段验证工具链,渲染为自然的单轮隐蔽用户请求;在工具侧通过静态工作流编码(SWE)改写描述建立状态依赖,并利用动态轨迹校正(DTC)在执行偏离时注入残差修正信号。
    • 关键定量成果:在自建的 120 项长任务基准 LASE-Bench 上,ECLIPSE 对 DeepSeek 的无防御 ASR 达 96.7%、在外部安全过滤下达 69.2%(高出最强基线 27.5 个百分点,Table 2);在 Claude 4.8 Opus 带防御下达 62.4%(最强基线仅 0.8%,Table 2);在最新闭源模型 GPT-5.6 Luna 和 Claude Sonnet 5 带防御下分别达 52.5% 与 60.0%(Table 3)。
    • 迁移性与防御表现:在原生智能体系统 OpenClaw 与 Hermes 上,带防御 ASR 分别达到 61.7% 与 55.8%(Table 6、7);而在面对输入审查、工具边界隔离与轨迹监控防御时,仍能维持 43.3%–85.8% 的 ASR(Figure 6)。
    • 作者结论与启示:作者认为单点或局部的输入与工具过滤难以防范此类将恶意意图跨输入端、工具元数据与多步执行轨迹解耦的攻击,未来的智能体安全防御必须具备跨越多个信息源联合推理的能力。
    完整解读