跳到正文

#红队

今天还没有收录新动态
10月1日周四
  1. arXiv:可解释性 ·

    SteerProbe:学习绕过视觉语言模型安全引导的黑盒攻击

    研究者提出 SteerProbe,一种仅依赖输出的黑盒攻击,通过学习为未见请求选择有效的改写方式,绕过视觉语言模型(VLM)的激活引导防御。作者用保持原始意图的文本、视觉和联合改写测试代表性引导防御,发现这些改写可以绕过防御,并给出一个局部分析条件,说明改写能在局部引导修正任意变化下越过替代安全边界。在三个 VLM 主干、两个基准和三种引导防御上,SteerProbe 在每个端点与基准共 500 次校准查询的预算下,将所有受防御设置的有害率从平均 7.43% 提升到 18.36%。作者据此认为,原始基准输入上的鲁棒性不足以刻画引导防御的安全性,改写鲁棒性应成为重要评估维度,并需要能在保持意图的多模态变化下维持安全且不损失正常效用的引导机制。

  2. arXiv:后门、投毒与隐私 ·

    BadAction:通过动作引导触发器对交互式视频生成模型实施后门攻击

    研究者提出 BadAction,首次系统研究针对交互式视频生成(IVG)模型交互性的后门攻击。该方法把预定义运动模式植入后门样本的动作序列,并关联一个静态目标视频,触发后模型生成冻结的未来帧、不再响应用户后续动作,同时在正常动作序列上保持正常行为。实验显示,仅用动作触发器时平均攻击成功率为 91.0%,动作、文本、图像联合的多模态触发器为 80.4%。大量防御评估表明 BadAction 能绕过现有后门检测方法,暴露出交互式视频生成流程中的安全缺口。项目页面:https://wsad55.github.io/badaction01/。

  3. arXiv:越狱与提示注入 · 83

    CodeMimicry:利用代码域安全泛化滞后实现结构化代码补全越狱

    研究者提出 CodeMimicry,一个全自动黑盒越狱框架,把恶意意图嵌入语法合法的面向对象代码,借代码补全任务诱导模型输出有害内容。在 8 个商用大语言模型上,该方法在 AdvBench 上达到 96.25% 攻击成功率、平均仅 1.51 次查询,在 HarmBench 上为 96.07% 与 1.46 次查询,明显优于模板类和优化类基线。作者将这一现象归因于安全泛化滞后,即主要在自然语言上训练的对齐难以迁移到代码域,形成代码补全盲区。潜空间分析显示,成功的越狱样本在表示上接近良性代码,并系统性地避开拒答方向;激活引导实验进一步支持这一解释。作者也指出,该方法依赖目标模型的代码生成能力,且对注释与 docstring 这类字符串侧信道有依赖,正则过滤注释后攻击成功率降至 20% 至 26%。

    推荐理由论文提出安全泛化滞后这一失效模式,并给出自动化黑盒越狱框架与潜空间机制分析,做代码域对齐的团队可据此检查拒答迁移情况。

  4. arXiv:越狱与提示注入 · 76

    CollageAttack:利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱

    浙江大学与香港理工大学的研究者提出 CollageAttack,一种单提示词黑盒越狱方法,把有害意图拆成不完整的文本片段,分散放置在场景中自然存在的载体上,让语义在图像平面通过空间组合重新显现。在 GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro、HiDream-O1-Image 和 FLUX.2 [dev] 五款 T2I 模型上,该方法在全部目标上取得最高攻击成功率,聚合 ASR 为 77.0%,最高达 86.0%,比同模型最强基线高 18.5 个百分点。跨模型平均有害性评分为 6.12/10,高于最强基线的 4.23/10;在 HiDream-I1 上为 5.38 对 1.69。消融显示,单独使用任一组件的有害性得分分别为 0.25、5.47 和 0.53,三者组合达到 6.41。

    推荐理由论文给出跨模态越狱在五款 T2I 模型上的成功率与消融结果,做图像安全护栏的团队可据此检查文本过滤之外的图像平面组合风险。

  5. arXiv:越狱与提示注入 · 80

    SceneJail:利用视频场景上下文越狱多模态大模型

    研究者提出 SceneJail,一个自适应黑盒越狱框架,把视频中的周边场景而非有害查询的呈现方式当作攻击面:同一有害查询放在不同视频场景中,会得到不同的安全响应。框架由两部分组成:自适应场景构建搜索与有害查询语境相容的场景,场景感知提示搜索再根据黑盒响应反馈为该场景搜索文本引导。在 HADES 和 SafeBench 数据集、八个 Video-MLLM(含 GPT-4.1 和 Gemini 3.5 Flash 两个闭源模型)上,持续完整呈现查询的 SceneJail-F 平均攻击成功率最高 91.5%,比最强基线高 29.1 个百分点;把查询分散到连续帧的 SceneJail-S 在严格图像过滤下仍保持 72.3%。

    推荐理由论文把视频场景本身当作攻击面,并给出跨八个 Video-MLLM 的成功率与三种防御下的表现,可供多模态安全评测参考。

  6. arXiv:越狱与提示注入 ·

    研究测量并预测具身 VLM 规划器中任务的拒答可变性

    研究者在无像素、梯度或提示词对抗控制的条件下,向环境中放入单个日常物品,考察宪法护栏下的具身视觉语言模型规划器已做出的拒答能否被推翻。在 846 个初始遭拒的任务中,20.2% 可由一个或多个物品翻转为服从,所需物品数量因任务而异;固定列表随机抽取的物品在不了解环境和指令的情况下也能达到相近的安全绕过量级。作者将这种易感性称为任务的 malleability,并用小型开源 VLM 读取的信号组合来提前预测,识别率约为随机的 2.4 倍,建议部署前逐任务评估。

  7. arXiv:越狱与提示注入 ·

    FinRT:将自适应红队策略蒸馏为消费金融领域的可复用对抗生成器

    论文提出 FinRT,一个从自适应红队策略中构建可复用对抗提示词生成器的结构化框架,面向消费金融等受监管行业。在六个受害模型上,FinRT 的攻击成功率接近自适应基线 Rainbow Teaming 的两倍(32.9% 对 17.2%),最大对抗严重度提升 33%,并保持与迭代搜索方法相当的策略域内语义多样性。该方法在把面向目标的攻击生成摊销为可复用生成器的同时,表现出较高的跨模型迁移性,并呈现按受害模型家族分化的专门化模式。

9月29日周二
9月28日周一
  1. arXiv:越狱与提示注入 ·

    RISE:用迭代策略演化对现代文生图模型做红队测试

    研究者提出 RISE,通过演化可复用的攻击策略而非逐条改写提示词,对现代文生图系统做红队测试。作者先指出,此前 T2I 红队工作中广泛使用的判官在模糊的不安全内容目标下不可靠,会漏掉真实违规或在硬化 API 上奖励良性边缘图像,因此定义了严格的分类别成功标准,并用人工标注校准了强 VLM 判官。作者还发现常用的提示词修改流程在更严的护栏设置下仍受限于种子提示词、无法迁移或难以自举正样本。在 DALL-E 3、Nano Banana 2(Google)和 GPT-Image-2 上,RISE 达到最高 13% 的人工核验 ASR;在同一套校准评测下,此前报告 ASR 高达约 30% 的方法降至接近零。

  2. arXiv:危险能力与安全评测 · 77

    MMSkillRisk:多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

    研究者提出 MMSkillRisk 基准,用于端到端评估多模态技能中由图像携带的攻击,并设计 Native-Context Visual Attack(NCVA),把恶意指令伪装成教学图像里的注释、界面标签等原生元素,SKILL.md 只引导 Agent 查看相关区域而不写明恶意操作。基准由 28 个干净技能构建,包含 36 个攻击包和 108 个可执行用例,覆盖数据外泄、持久化、权限提升、产物污染和完整性破坏五类目标,并在隔离沙箱中分别检查攻击成功与合法任务完成。在九种模型与 harness 组合上,NCVA 的合并攻击成功率为 43.1%,比逐例匹配的纯文本载体基线高 16.4 个百分点,且在全部九种组合上都更高;攻击成功与合法任务完成同时出现的比例为 36.5%,GPT-5.6-sol 搭配 Codex 时达到 72.2%。

    推荐理由论文给出图像载体攻击在九种模型与 harness 组合上的成功率,并说明任务完成与攻击成功可以同时发生。

  3. Hugging Face Daily Papers · 82

    同字节不同权限:保留 token 表示如何放大聊天模板提示注入

    论文在字节完全相同、仅 token id 不同的条件下对比聊天模板注入,发现把伪造角色标记编码为普通子词后,Llama-3.1、GLM-4.5 和 Seed-OSS-36B 在 InjecAgent 上的攻击成功率下降 39 至 66 个百分点,AgentDojo 多轮任务中差距依然存在。作者用 Matched 对照控制额外 token 数量,确认差距来自保留 token 的学习向量而非标记文本;在 Llama-3.1 上,嵌入空间最近的普通 token 向量可完全恢复攻击。指令微调会加强模型对保留标记的偏好,抑制 Qwen3-8B 的推理块会把直接危害上的差距从 8.1 扩大到 49.8 个百分点。

    推荐理由论文用固定字节、只改 token id 的对照,量化了保留 token 表示在聊天模板注入中贡献多少攻击成功率,并指出常见缓解只覆盖特殊 token。

  4. Hugging Face Daily Papers · 80

    SEAD 论文提出工具型 Agent 的状态视角攻击与防御方法 DART 与 SAGE

    论文把工具型 Agent 的攻击与防御统一建模为部分可观测状态控制问题,并提出攻击方法 DART 与防御方法 SAGE。DART 把有害目标拆解为局部看似合理的步骤,利用真实工具执行的反馈做轨迹树搜索;SAGE 在执行前通过只读查询调查相关状态,再决定放行或拦截。在四个目标模型上,DART 的语义攻击成功率比最强基线高 18.8 至 35.9 个百分点,可执行验证下也有一致提升。在记录轨迹上,SAGE 保留 95.79% 的良性轨迹,并在有害边界处拦截 92.73% 的有害路径;在线攻防评估中把 DART 的可执行攻击成功率从 48.0% 降到 4.0%,且在四种攻击方法和训练未见过的 PostgreSQL、Web 域上仍然有效。代码与数据已开源于 GitHub。

    推荐理由论文把工具型 Agent 的攻击与防御统一到部分可观测状态控制框架下,并给出可复现的数据集与代码,适合做 Agent 安全评测的团队参考。

9月27日周日
  1. arXiv:越狱与提示注入 · 85

    用课程强化学习对前沿模型做提示注入红队测试

    研究者提出用课程学习解决 RL 提示注入红队中的冷启动问题:直接针对前沿目标训练攻击者 LLM 时全部攻击失败、奖励恒为零,无法学习。方法是在一系列鲁棒性递增的目标 LLM 上依次训练同一个攻击者 LLM,每阶段从上阶段结果热启动,并要求每阶段结束后攻击者对下一目标已有部分成功。在 AgentDyn 上,课程 GPT-5-nano → GPT-5.6-Luna → GPT-5.6-Terra 对 GPT-5.6-Luna 和 GPT-5.6-Terra 的 ASR@10 分别达 93.8% 和 45.0%,而 RL-Hammer 与 PISmith 直接训练均为 0%。

    推荐理由论文给出课程式 RL 训练攻击者 LLM 的完整方法,并公开了跨目标与跨基准的迁移数据,可供红队与防御方参考。

9月26日周六
  1. arXiv · 81

    TrustFork:显示身份如何劫持 LLM 智能体编排的权限

    研究者提出 TrustFork,一个衡量 LLM 智能体编排中操作权限的安全基准,包含 1890 个任务、四种攻击类型和 27826 条有效轨迹,覆盖 16 个智能体系统。每个任务中一个子智能体带有风险目标,另外三个与用户对齐,并可只改变子智能体显示的身份而不改变背后模型。结果显示,即使其他子智能体反驳风险响应,编排器仍在平均 72.0% 的情况下采纳它,在终端危害最低的系统中尤为常见。交换家族标签使编排器获得风险响应的频率接近三倍;84.0% 的任务中存在更安全的响应,但只有 25.0% 决定了最终结果。在三种运行时防御中,隐藏身份线索效果最稳定,而行动前验证只在 harness 返回足够证据时有效。

    推荐理由TrustFork 用 1890 个任务量化了显示身份如何决定子智能体的操作权限,为多智能体编排的安全审计提供了可复用的评测维度。

  2. arXiv:越狱与提示注入 ·

    SkillDRE:用预执行与运行时双阶段反馈自动演化恶意 Agent 技能

    SkillDRE 是一个全自动演化完整恶意 Agent 技能包的框架,通过预执行扫描与运行时防御反馈构成的双阶段闭环迭代技能实现。给定一个良性任务及其技能,框架先自主构造并验证与任务绑定的恶意目标和可验证的判定规则,随后在保持合法任务能力的前提下固定这两者、只演化技能实现。它把扫描器引导的演化与运行时执行结果引导的修正结合起来,每次运行时修正都会回到预执行阶段重新扫描和优化,再重新执行。在 SkillsBench 上对四个受害模型评测,平均攻击成功率为 45.28%,比最强基线高 40.3%,最终提交的技能未触发 SkillScan 告警,且基本保持良性任务表现。

  3. arXiv:越狱与提示注入 ·

    研究提出 Best-of-N 越狱的物理势垒模型,挑战攻击成功率幂律规律

    Marco Biroli 提出用物理势垒模型刻画 Best-of-N(BoN)越狱的攻击面,并质疑此前认为攻击成功率(ASR)随 N 呈幂律增长的结论。作者指出幂律指数会随 N 漂移,其指数交叉是对抗数据集的有限尺寸假象。该模型为每个提示设定基线安全水平,为每次增强设定随机热激活势垒,用四个各有可解释安全机制支撑的参数决定整个 (N, M) 攻击面。模型可将 N≤100 的预测外推到 N=10^4,把五个不同模型归并到同一缩放函数上,并能从拟合温度预测其他温度下的 ASR。

9月25日周五
  1. arXiv:Agent 与 MCP 安全 ·

    AgentXploit:面向 AI Agent 的仓库到运行时自动化红队系统

    AgentXploit 是一个双角色审计系统,把仓库级攻击路径发现与运行时利用分开:Analyzer Agent 追踪攻击者可控输入到敏感操作并记录有代码支撑的候选路径,Exploiter Agent 将其转化为具体攻击并借助运行时反馈修正。作者同时发布 AgentXploit-Bench,覆盖 12 个开源 AI Agent 系统与框架中的 72 个可复现漏洞。三次运行中 AgentXploit 端到端成功率为 59.3%,Codex 为 38.4%;在 token 预算对齐的比较下 Codex 为 46.3%。

  2. arXiv:越狱与提示注入 ·

    TempQ-Jail:面向文生视频越狱的查询受限候选排序方法

    研究者提出 TempQ-Jail,把文生视频(T2V)越狱重新表述为查询受限下的候选分配与排序问题,以应对受防护 T2V 系统中生成与安全评估成本高、攻击者无法大量测试候选的情况。该方法组合多种异构攻击机制扩大候选覆盖,并从安全门通过、危险视觉生成、原始意图保留和时间有效性四个维度估计每个候选的端到端攻击价值,再排序使高价值攻击在有限查询轨迹中更早出现。

  3. arXiv:越狱与提示注入 · 80

    研究者提出技能级联攻击,在 OpenClaw、Claude Code 与 Codex 上平均成功率 89.4%

    研究者提出技能级联攻击(skill cascading attacks),把恶意目标分散到多个 Agent 技能中,使每个被改动的技能单独看都通过安全扫描,组合执行后才产生危害。作者构建了多智能体红队框架 SkillCascade,并基于 ClawHub 上的真实技能发布 SkillCascade-Bench,包含 10 个领域的 213 个验证用例,平均级联长度为 3.25 个技能。在 OpenClaw、Claude Code 和 Codex 三类 Agent 系统与 8 个 LLM 后端上,攻击平均成功率为 89.4%,各后端介于 76.5% 至 97.1%,其中 Claude Opus 4.6 与 GPT-5.4 最抗攻击,开源权重后端 Qwen 3 72B 最易受攻击。攻击对逐技能扫描器、跨技能联合扫描器和运行时防御均保持较高规避率,运行时防御平均规避率为 88.5%。

    推荐理由论文把恶意目标拆到多个技能中,单个技能都能通过扫描,组合后才产生危害,并给出跨技能防御的初步尝试。

9月24日周四
  1. arXiv:越狱与提示注入 ·

    ENDOPROMPT:用受害者侧伪参考学习降低模型任务效用的前缀

    研究者提出 ENDOPROMPT,一种白盒方法,可从无标注指令中学习降低任务效用的前缀。其生成器以请求文本为输入,把受害者模型的干净续写当作伪参考,通过局部搜索找出降低续写可能性的前缀,再对同一指令内的比较做偏好拟合并做奖励精炼,把信号蒸馏进生成器;部署时每个请求只生成一个前缀,无需再做受害者侧搜索。在四个指令微调模型和七个良性基准的完整划分上,平均效用变化为 -26.8 个百分点,28 个单元格中有 27 个为负。失败分析显示存在输出膨胀和前缀复用现象,对照实验未能证明请求匹配带来降效优势。作者称代码将在论文被接收后发布。

  2. arXiv:越狱与提示注入 · 80

    输出前缀攻击瞄准推理模型:注入推理通道可将攻击成功率推高至 99%

    该研究首次系统隔离推理模型的 scratchpad 推理通道作为输出前缀攻击面,在 AdvBench 的 1,800 个测试用例上对 Gemini 3 Flash Preview、DeepSeek V4 Flash 和 Claude Haiku 4.5 三个前沿模型做了 3×2 因子实验(前缀类型 × 是否注入恶意推理)。结果显示,单独注入恶意推理几乎无效(攻击成功率约 0%),但同样的推理加上一句简单的输出前缀后,部分模型的攻击成功率最高升至 99%。上下文相关前缀优于静态前缀,且易感性高度依赖模型:Claude Haiku 4.5 在所有策略下攻击成功率不超过 1%,Gemini 3 Flash Preview 在推理加静态前缀下达 99%,DeepSeek V4 Flash 从静态前缀的 19% 升至上下文前缀的 56%。

    推荐理由论文用 3×2 因子设计在三个前沿模型上量化了推理通道注入的增益,并给出推理单独注入为何无效的 token 分布解释。

9月23日周三
  1. arXiv:越狱与提示注入 ·

    CART:面向大语言模型的闭环自适应红队框架

    研究者提出 CART(Closed-Loop Adaptive Red Teaming),一个用每次测试结果决定下一步测什么的闭环红队框架,以替代固定提示词回放。CART 先做广泛风险覆盖,再追踪暴露出的弱点,保持新探针的多样性,并记录每项发现的证据与来源。框架把生成测试的 Challenger、被测 Target(可以是纯文本模型,也可以是受限的工具调用 Agent)和评估结果的 Judge 分离,使三个角色可独立研究。在 Frontier、JAH 和 Agentic 三类评测族上,对所有存在可用基线的 Target,CART 发现的失败更多、平均风险高于静态种子回放,增益也延伸到工具介导的 Agent 测试。

  2. arXiv:后门、投毒与隐私 ·

    研究者在 FANUC 与 xArm 工业机械臂上实测后门攻击与防御

    作者对基于学习的工业机械臂操作开展后门攻击与防御的初步实证研究,实验平台为 FANUC 和 xArm 两台真实商用工业机械臂。研究考察后门能否在正常任务执行时保持隐蔽、仅在特定触发器出现时诱发出语义错误的操作行为。作者随后开发了一套在线防御流程,在运行时检测并中和触发器,并与离线微调防御进行效果对比。研究还评估了该防御流程引入的计算延迟与执行开销,以判断其是否适合高吞吐工业场景。该工作已被 IROS 2026 Workshop on Industrial Applications of Robot Learning 接收。

9月19日周六
  1. arXiv:越狱与提示注入 ·

    多智能体系统提示注入威胁模型与防御架构:14 类攻击向量与四类防御

    论文针对多智能体系统提出提示注入威胁模型,列举四类共 14 种攻击向量:用户输入直接注入 3 种、工具输出间接注入 4 种、智能体间消息传递注入 4 种、通过编排器操纵的级联注入 3 种。作者在一个 6 智能体的生产代表性系统上测试全部 14 种向量,发现即使有系统提示词层面的护栏,仍有 67% 的智能体至少对一种越权行为存在脆弱性,工具输出间接注入的成功率为 43%。四类架构防御将整体注入成功率从 31.2% 降至 4.2%:带来源追踪的消息签名使智能体间注入下降 91%,智能体边界处的输入输出净化使间接注入下降 78%,按角色限定工具权限完全消除了权限提升,智能体间通信异常检测捕获 84% 的级联尝试。

  2. arXiv:Agent 与 MCP 安全 · 84

    特拉维夫大学提出爆炸性提示词:条件触发的间接提示注入可绕过九款生产 Agent

    特拉维夫大学研究者提出爆炸性提示词(explosive prompt),一种把恶意载荷写成条件语句、在攻击者选定的触发词出现前保持休眠的间接提示注入形式,无需训练即可在推理时植入单条检索内容。在 896 对配对样本上,同一恶意目标改为休眠条件式后,在拒绝直接指令的前沿模型上仍能触发真实工具调用,Grok-4.20 从 0.0% 升至 34.2%,Llama-3.1-70B 从 0.1% 升至 26.1%,七款模型配对均值 16.5% 对 2.4%。已部署的注入分类器 Prompt Guard 2、PIGuard、PIShield 在其工作阈值上校准失当,1% 误报预算下最多只拦住 52.7%;偏好优化模型 SecAlign 完全阻断直接注入,却仍执行 11.8% 的爆炸性提示词,且全部在触发轮触发。

    推荐理由论文把条件触发式提示注入与普通注入做了配对实测,并给出九款生产 Agent 的绕过率,部署 Agent 的团队可据此检查检索内容的摄入环节。

9月17日周四
  1. arXiv:越狱与提示注入 · 84

    红队测试 Auto Mode:用注入与多上下文攻击绕过编码 Agent 阻断监控器

    Anthropic Fellows 项目的研究者对 Claude Code 的 Auto Mode 和 OpenAI Codex 的 Guardian 两类生产阻断监控器做红队测试,发现面对持续失准的编码 Agent 时,超过 55% 的攻击未被拦截。攻击者使用 Opus 5,在 79% 的试验中通过针对监控器的注入攻击执行任意 bash 命令。论文归纳四类攻击:监控器注入、多上下文攻击(compaction 摘要与多 Agent 共享工作区)、覆盖缺口(未监控的 cwd 编辑可改变已批准命令的执行内容)以及策略漏洞。代码已开源在 GitHub。

    推荐理由论文给出针对 Claude Code Auto Mode 与 Codex Guardian 的多种绕过机制与成功率,并展示加固后的召回提升与延迟代价。

  2. arXiv:越狱与提示注入 ·

    AgentLSD:在对抗性任务污染下评测 AI 安全 Agent

    研究者提出 AgentLSD 框架,用 CTF 挑战研究 AI 安全 Agent 面临的对抗性任务污染,即环境中除攻击者指令外还包含假结果、诱饵端点等非指令性欺骗证据。框架在保留原解法的前提下注入假 flag、误导性提示、诱饵端点和隐藏线索,支持干净与陷阱增强的配对实验,并提供确定性陷阱生成、运行时注入、遥测和投递验证。在 11 个 Web CTF 挑战上评测六个模型,干净条件下 Agent 捕获 41% 的 flag,没有模型解出全部挑战;即使仍能拿到 flag,陷阱也会使对话轮数增加 20、推理 token 增加 2k,而解题率受影响程度不一,部分模型与挑战组合基本不受影响,另一些则跟随诱饵或提交错误 flag。

9月15日周二
  1. arXiv:越狱与提示注入 ·

    什么驱动方言越狱?对表层形式、文化框架与策略库的消融研究

    研究将文言文红队框架扩展到上海话和粤语,在两种目标模型上运行 36 组消融实验,考察表层形式、策略库变体与文化框架对越狱成功率的影响。主要发现是纠正性的:方言表层形式既非高攻击成功率的必要条件也非充分条件,未经优化的英语、普通话和朴素方言翻译攻击成功率均低于 8%,而所有保留优化器控制策略库的条件都达到 98% 至 100%。一个文化中性的通用策略库以接近单次查询的成本达到同样的上限,进一步表明策略库的表达力而非方言或文化内容解释了大部分观测效应。方言选择仍影响查询效率和回复严重程度,定性编码识别出语义注释和程序化脚手架等反复出现的高层机制。作者也指出该绝对上限对评判校准敏感,且实验设计未能完全区分一次性策略构建与迭代搜索。

  2. arXiv:越狱与提示注入 ·

    SAST-IR 框架:无记忆目标下多轮说服攻击成功率高达 96%

    论文指出多轮对话红队测试存在“拒答惯性”问题:模型为保持上下文一致而延续最初的拒答,掩盖了真实脆弱性。作者提出 SAST-IR 框架,对目标模型清空记忆、保留攻击者历史,模拟最坏情况下的多轮无状态攻击,并配合诊断引导的 CP-Agent 在自建 CounterFact-Strict 数据集(N=50)上测试。结果显示简单多样的攻击策略成功率达 96%,暴露无记忆防御的严重脆弱性。论文还发现“复杂性悖论”:复杂迭代攻击虽有效,却常触发防御性顺从,而简单策略的真实说服率更高,为 84.7%。代码与数据集已在 GitHub 公开。

9月14日周一
  1. arXiv:越狱与提示注入 · 82

    微软团队提出 capability laundering 攻击:弱模型拆分任务向对齐前沿模型套取能力

    研究者提出“能力洗白”(capability laundering)攻击:较弱的未对齐模型把有害任务拆成看似无害的子问题,分别独立咨询更强的对齐模型,再在本地组合答案,因此没有任何单次回复本身构成有害任务。作者以 GPT-5.5、Claude Opus 4.8 和 Grok-4.3 为顾问、四个本地模型为编排者,在 CyBench、BountyBench 和有害 CBRN 请求上衡量咨询带来的能力提升。CyBench 上,Gemma-4-31B 借助 GPT-5.5 和 Opus 分别解出 8/14、7/9 个候选任务,Gemma-4-12B 只有 2/21、4/15;BountyBench 上效果因编排者而异,Muse-Glimmer-30B 一个也没解出。CBRN 方面,咨询把 Gemma-4-31B 在一条假设攻击链八个步骤上的平均评分从 62.3 提高到 83.1(满分 100)。作者认为,拒绝有害任务并不能阻止前沿能力经由许多各自被允许的交互转移和组合。

    推荐理由论文把有害任务拆成多个看似无害的子问题分别咨询强对齐模型、再在本地拼装,并在 CyBench 和 CBRN 测试上量化了这种能力转移,说明只按单次交互评估安全会漏掉这一缺口。

  2. arXiv:越狱与提示注入 ·

    如何像孩子一样向前沿 AI 提问:跨 OpenAI、Anthropic、xAI 与 Google DeepMind 六款模型的"认知越狱"实验

    一项实验对 OpenAI、Anthropic、xAI 和 Google DeepMind 的六种前沿模型各做 10 次独立会话,用同一套三阶段提示词从架构偏好问到完整 ASCII 主干。在"学校听众"设定下,回答反复收敛到同一架构模式,包含持久潜在状态、自适应计算、记忆、专家路由、验证、停止控制与延迟解码;去掉该设定后回答明显更异质,无法复现同样的稳定主题收敛。GPT-5.6 Sol 给出的后继架构与 GPT-6 Astra 独立勾勒的架构高度重叠,作者称随要求具体化而出现的技术溯源失范为"认知越狱",并强调实验只确立可复现的行为模式,未验证任何专有实现主张。

9月9日周三
  1. arXiv:越狱与提示注入 ·

    研究者提出面向 Agentic AI 的黑盒红队分类框架,自动生成对抗场景

    研究者提出一套面向 Agentic AI 的黑盒红队框架,只需基本系统描述即可开展风险感知评估。框架包含三部分:将可观察行为映射到风险类别的七域分类法、全自动 SAGE-RT 红队流程(每个域生成 120 个对抗场景),以及由 LLM 评判并人工验证的评估。在 CrewAI 和 AutoGen 两种 Agent 架构、四种基础模型上的验证显示,平均治理风险为 56.25%,多智能体配置中的隐私风险为 65%,Agent 行为漏洞最高达 85%。作者称该方法无需特权访问即可识别关键架构漏洞。

9月8日周二
  1. arXiv:越狱与提示注入 ·

    结构越狱可跨厂商泛化但不叠加:IICL 的跨厂商与多语言研究

    研究用确定性的 IICL 操作符和 StrongREJECT 式评分,对两个 Google Gemini 模型在 HarmBench 的 30 项一般危害行为和 FinProof 的 30 项金融滥用行为上做红队测试,覆盖英语、西班牙语、印地语、阿拉伯语。IICL 可泛化到第二个厂商,且金融场景更严重:HarmBench 上攻击成功率从不超过 6.7% 升至 80-90%,FinProof 上从不超过 6.7% 升至 97-100%,比该方法的原始研究在 OpenAI GPT-5.4 上报告的 24% 高一个数量级。

  2. arXiv:越狱与提示注入 · 78

    研究:内容不变的风格包装可翻转 LLM 安全评判器的判定

    研究者提出内容不变的风格包装攻击,在回复正文逐字节不变的前提下,只在前后添加固定字符串改变语气,测试 8 个安全评判器是否会翻转判定。在 600 条来自 JailbreakBench 的回复(300 条有害、300 条拒答,覆盖四个目标模型)上,token 式拒答包装把 GPT-4o-mini 正确判为不安全的判定翻转 19.9%(95% CI [15.0, 24.0],噪声下限 0.5%),而 Claude 仅 0.4%。已部署的 Llama Guard 4 同样被绕过,教育课程框架翻转其 12.3% 的有害判定,token 式拒答翻转 8.3%;另一个专用护栏 gpt-oss-safeguard-20b 对所有包装的翻转均不超过 1.2%,低于其自身噪声下限。仅修改评判提示词、要求忽略语气后,同一模型上的 token 式拒答攻击约减少十倍。

    推荐理由论文用内容不变的风格包装测试 8 个安全评判器,量化了各评判器被翻转的比率,做安全评测的团队可据此检查自己的评分环节。

9月7日周一
  1. arXiv:越狱与提示注入 ·

    DIVA:利用视觉锚点对视频生成模型实施多模态越狱

    论文提出视觉锚定效应,指出参考图作为条件输入时,模型为保持时空一致性会让生成内容难以偏离原始有害意图,从而失去从有害转向无害的天然安全逃逸路径,作者称这是一致性的代价。基于该发现,作者提出免训练的多模态越狱框架 DIVA,把有害意图拆解为静态视觉锚点图像与动态运动文本提示词,并用双重标准筛选以兼顾攻击隐蔽性与语义保留。在多家主流商业平台和开源视频生成模型上的实验显示,DIVA 的攻击成功率明显高于仅用文本的既有方法。作者同时发布 TI2VSafetyBench,称其为首个面向多条件视频生成的安全基准。该论文已被 ACM MM 2026 接收。

9月5日周六
  1. arXiv:危险能力与安全评测 ·

    AdvPIE:面向文生图模型隐式漏洞的自动红队框架

    研究者提出 AdvPIE,一个多模态智能体框架,用于暴露文生图(T2I)模型的隐式漏洞,且无需访问目标模型参数。该方法由策略智能体根据评判智能体的反馈生成并迭代优化隐式对抗提示词,评判智能体在全局和相对两个层面提供模态特定的安全评估。作者还提出累积对抗解码(Cumulative Adversarial Decoding)策略,动态重新加权 token 分布,偏向能生成更有害图像的 token,同时保持采样多样性。在标准和安全对齐的文生图模型上的实验显示,AdvPIE 能有效挖掘隐式漏洞,表现优于多种基线方法。该工作被 ECCV 2026 收录。

9月4日周五
  1. arXiv:Agent 与 MCP 安全 ·

    研究将间接提示注入重新表述为测试时搜索问题

    论文把间接提示注入表述为在环境、用户任务与注入任务共同诱导出的攻击面上进行的测试时搜索。作者据此构建了一个带专用搜索框架的智能体攻击者,执行环境侦察、对攻击策略的结构化推理,并利用受害 Agent 的反馈做自适应评估。在多种异构任务上,提高攻击者的测试时算力能提升漏洞发现与利用效果;消融实验显示,显式的策略管理对避免重复搜索、在更大算力预算下维持收益很重要。作者认为,智能体安全评测应同时刻画攻击者的搜索过程与算力预算,而不是把攻击成功率当作与预算无关的受害方属性,并指出攻击者对系统攻击面的自适应搜索是工具调用型 Agent 中重要但研究不足的安全风险。

9月2日周三
  1. arXiv:越狱与提示注入 ·

    BOSS:以广度优先后缀搜索改进 GCG 越狱优化

    研究者提出 BOSS,一个即插即用框架,通过广度导向的后缀搜索改进基于 GCG 的越狱优化。现有 GCG 方法依赖平均对抗损失和深度贪心搜索,容易过度强调易越狱行为并忽略后缀空间中有潜力的区域。BOSS 使用 Tail-Focused Adversarial Loss(TFAL)、标准源损失和行为覆盖来选择终止后缀,再探索多条短轨迹并有选择地延续有潜力的后缀。在公开基准上的实验显示,BOSS 在多种基于 GCG 的方法上提升了攻击成功率,同时减少了优化时间。

9月1日周二
  1. arXiv:越狱与提示注入 ·

    CRACK:用多智能体辩论越狱多层安全过滤的 T2I 模型

    论文提出 CRACK,一个通过多智能体辩论自适应搜索越狱提示的框架,用于绕过文本过滤器、图像分类器和跨模态检测器组成的多层安全栈。作者先提出 Detection Surface 几何框架,刻画异构 T2I 安全过滤器诱导的决策边界,指出成功规避由跨层冲突形成的稀疏非凸区域决定,绕过某一层过滤器的改动可能提高在另一层的暴露度。CRACK 将越狱搜索拆分为探索、诊断和仲裁,由 Attack Agent、Defense Agent 和 Judge Agent 迭代生成提示词变异、获取分层诊断反馈并通过奖励引导优化变异策略,在保留原始有害意图的同时适应不断变化的跨层约束。

  2. arXiv ·

    论文提出分布式隐式危害 DIH,评测 30 多个 MLLM 的视频审核盲区

    论文提出多模态大语言模型在视频审核中的组合式安全盲区,称为分布式隐式危害(DIH),即由视频各组件之间的关系而非单一显式线索产生的危害。作者研究两类代表性情形:跨视觉片段的时间分布危害(DIH-T)与音视频流之间的跨模态危害(DIH-M)。为获得这类难以采集的数据,作者构建多智能体合成框架,把单独无害的组件组合成有害场景并生成带显式推理标注的多样化 DIH 视频,形成超过 9000 条视频的数据集,覆盖纯视觉与音视频两种设置。对 30 多个 MLLM(含前沿闭源模型与领先开源系统)的评测显示,模型在检测 DIH-T 和 DIH-M 上存在明显且一致的缺陷,即使最强的前沿模型也常能正确判断单个组件,却无法识别组合后涌现的有害含义。