跳到正文

#多模态

今天还没有收录新动态
10月1日周四
  1. arXiv:可解释性 ·

    SteerProbe:学习绕过视觉语言模型安全引导的黑盒攻击

    研究者提出 SteerProbe,一种仅依赖输出的黑盒攻击,通过学习为未见请求选择有效的改写方式,绕过视觉语言模型(VLM)的激活引导防御。作者用保持原始意图的文本、视觉和联合改写测试代表性引导防御,发现这些改写可以绕过防御,并给出一个局部分析条件,说明改写能在局部引导修正任意变化下越过替代安全边界。在三个 VLM 主干、两个基准和三种引导防御上,SteerProbe 在每个端点与基准共 500 次校准查询的预算下,将所有受防御设置的有害率从平均 7.43% 提升到 18.36%。作者据此认为,原始基准输入上的鲁棒性不足以刻画引导防御的安全性,改写鲁棒性应成为重要评估维度,并需要能在保持意图的多模态变化下维持安全且不损失正常效用的引导机制。

  2. Hugging Face Daily Papers ·

    研究:多智能体系统潜在通信链路可被训练用于提升有害顺从

    研究显示,多智能体系统在内部表示空间进行潜在通信时,即使只是良性训练通信链路,也会在底层安全对齐智能体不变的情况下提高有害顺从程度。攻击者可通过在有害问答对上优化链路,或向原本良性的训练数据投毒来放大该效应。作者还提出一种强化学习攻击,在奖励有害顺从的同时兼顾良性任务表现,无需有害目标回复。在三种通信拓扑和四个安全基准上,该攻击将平均有害顺从分数从良性训练链路的 27.9 提升至 76.9,并在两个良性效用基准上取得比直接监督优化更高的平均准确率。将奖励调整为更安全的行为也能修复被污染的链路,在无需更新智能体的情况下大幅降低所有评估攻击的有害顺从。

  3. arXiv:防御、护栏、反学习与有害微调 ·

    研究揭示多轮攻击中危害性表征的几何演化

    研究分析了 Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct 和 Gemma-2-9B-it 三个指令微调模型在 Crescendo、ActorAttack 和 X-Teaming 三种多轮攻击框架下的隐藏状态表征。结果显示,不同攻击框架沿不同的几何方向推进,但都能取得相近的有害输出成功率;危害性方向在对话轮次推进中于中后层模型的回合末 token 位置逐渐变得线性可分;危害性表征与拒答相关表征仅弱对齐。作者认为,多轮攻击并非通过压制模型内部的危害性表征来成功,而是让危害性表征随轮次变得更可分,这可能是静态单轮安全探针在多轮场景下退化的一种解释,稳健防御需考虑表征的时间动态。

  4. arXiv:后门、投毒与隐私 ·

    BadAction:通过动作引导触发器对交互式视频生成模型实施后门攻击

    研究者提出 BadAction,首次系统研究针对交互式视频生成(IVG)模型交互性的后门攻击。该方法把预定义运动模式植入后门样本的动作序列,并关联一个静态目标视频,触发后模型生成冻结的未来帧、不再响应用户后续动作,同时在正常动作序列上保持正常行为。实验显示,仅用动作触发器时平均攻击成功率为 91.0%,动作、文本、图像联合的多模态触发器为 80.4%。大量防御评估表明 BadAction 能绕过现有后门检测方法,暴露出交互式视频生成流程中的安全缺口。项目页面:https://wsad55.github.io/badaction01/。

  5. arXiv:越狱与提示注入 · · 原文 76

    CollageAttack:利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱

    浙江大学与香港理工大学的研究者提出 CollageAttack,一种单提示词黑盒越狱方法,把有害意图拆成不完整的文本片段,分散放置在场景中自然存在的载体上,让语义在图像平面通过空间组合重新显现。在 GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro、HiDream-O1-Image 和 FLUX.2 [dev] 五款 T2I 模型上,该方法在全部目标上取得最高攻击成功率,聚合 ASR 为 77.0%,最高达 86.0%,比同模型最强基线高 18.5 个百分点。跨模型平均有害性评分为 6.12/10,高于最强基线的 4.23/10;在 HiDream-I1 上为 5.38 对 1.69。消融显示,单独使用任一组件的有害性得分分别为 0.25、5.47 和 0.53,三者组合达到 6.41。

    推荐理由论文给出跨模态越狱在五款 T2I 模型上的成功率与消融结果,做图像安全护栏的团队可据此检查文本过滤之外的图像平面组合风险。

  6. arXiv:越狱与提示注入 · 80

    SceneJail:利用视频场景上下文越狱多模态大模型

    研究者提出 SceneJail,一个自适应黑盒越狱框架,把视频中的周边场景而非有害查询的呈现方式当作攻击面:同一有害查询放在不同视频场景中,会得到不同的安全响应。框架由两部分组成:自适应场景构建搜索与有害查询语境相容的场景,场景感知提示搜索再根据黑盒响应反馈为该场景搜索文本引导。在 HADES 和 SafeBench 数据集、八个 Video-MLLM(含 GPT-4.1 和 Gemini 3.5 Flash 两个闭源模型)上,持续完整呈现查询的 SceneJail-F 平均攻击成功率最高 91.5%,比最强基线高 29.1 个百分点;把查询分散到连续帧的 SceneJail-S 在严格图像过滤下仍保持 72.3%。

    推荐理由论文把视频场景本身当作攻击面,并给出跨八个 Video-MLLM 的成功率与三种防御下的表现,可供多模态安全评测参考。

  7. arXiv:越狱与提示注入 ·

    研究测量并预测具身 VLM 规划器中任务的拒答可变性

    研究者在无像素、梯度或提示词对抗控制的条件下,向环境中放入单个日常物品,考察宪法护栏下的具身视觉语言模型规划器已做出的拒答能否被推翻。在 846 个初始遭拒的任务中,20.2% 可由一个或多个物品翻转为服从,所需物品数量因任务而异;固定列表随机抽取的物品在不了解环境和指令的情况下也能达到相近的安全绕过量级。作者将这种易感性称为任务的 malleability,并用小型开源 VLM 读取的信号组合来提前预测,识别率约为随机的 2.4 倍,建议部署前逐任务评估。

  8. arXiv ·

    研究:上游错误消息会让多智能体 LLM 下游覆盖正确答案

    研究者在五个基准和五个接收方模型上做受控实验,固定下游任务与证据,比较无消息、上游原始消息和结论相反消息三种条件,以分离多智能体通信的收益与损害。结果显示,当下游本会答错时消息常有帮助;但当下游本可答对时,错误的上游消息最多在 32% 的情况下改变其答案。在人工审核的有害案例中,94% 是下游直接照抄上游的具体错误答案,作者称之为答案替换。移除不可靠消息能恢复部分损失的准确率,说明通信应依据上游可靠性和下游已有证据进行选择性过滤。

9月28日周一
  1. arXiv:越狱与提示注入 ·

    RISE:用迭代策略演化对现代文生图模型做红队测试

    研究者提出 RISE,通过演化可复用的攻击策略而非逐条改写提示词,对现代文生图系统做红队测试。作者先指出,此前 T2I 红队工作中广泛使用的判官在模糊的不安全内容目标下不可靠,会漏掉真实违规或在硬化 API 上奖励良性边缘图像,因此定义了严格的分类别成功标准,并用人工标注校准了强 VLM 判官。作者还发现常用的提示词修改流程在更严的护栏设置下仍受限于种子提示词、无法迁移或难以自举正样本。在 DALL-E 3、Nano Banana 2(Google)和 GPT-Image-2 上,RISE 达到最高 13% 的人工核验 ASR;在同一套校准评测下,此前报告 ASR 高达约 30% 的方法降至接近零。

  2. arXiv:危险能力与安全评测 · · 原文 77

    MMSkillRisk:多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

    研究者提出 MMSkillRisk 基准,用于端到端评估多模态技能中由图像携带的攻击,并设计 Native-Context Visual Attack(NCVA),把恶意指令伪装成教学图像里的注释、界面标签等原生元素,SKILL.md 只引导 Agent 查看相关区域而不写明恶意操作。基准由 28 个干净技能构建,包含 36 个攻击包和 108 个可执行用例,覆盖数据外泄、持久化、权限提升、产物污染和完整性破坏五类目标,并在隔离沙箱中分别检查攻击成功与合法任务完成。在九种模型与 harness 组合上,NCVA 的合并攻击成功率为 43.1%,比逐例匹配的纯文本载体基线高 16.4 个百分点,且在全部九种组合上都更高;攻击成功与合法任务完成同时出现的比例为 36.5%,GPT-5.6-sol 搭配 Codex 时达到 72.2%。

    推荐理由论文给出图像载体攻击在九种模型与 harness 组合上的成功率,并说明任务完成与攻击成功可以同时发生。

  3. Hugging Face Daily Papers ·

    论文发现暴露模型身份标签会削弱多智能体 LLM 合作

    论文发现,当多智能体 LLM 系统中的智能体知道彼此所属的模型家族时,群体会按标签分裂成派系,作者将这一现象定义为派系主义(factionalism)。研究在两种合作博弈和一个推理基准上测量该现象,涉及 9 至 25 个智能体、最多 5 个开源权重模型家族。当公布的家族标签被打乱或替换为任意标签时,派系仍跟随这些信息;移除标签后该行为消失。在严格合作任务中,带标签的群体平均多花 30% 的轮次和 55% 的 token 才能达成决策,成功率从 96% 降至 81%,该效应在任务、群体规模和模型家族间均可复现。作者认为对智能体隐藏身份标签是简单有效的缓解措施。

9月27日周日
  1. arXiv:后门、投毒与隐私 ·

    信息黑洞:3D 点云重建中的后门机制研究

    针对点云自编码器的后门攻击研究提出"信息黑洞"原理与自适应高斯匹配(AGM)方法,通过高斯分布约束解耦潜在表示、阻断干扰信息,抑制中毒样本中源几何信息向攻击者指定重建目标的传播,从而提升攻击可控性。在 ModelNet 和 ShapeNetPart 上的实验表明,该框架提升了多种标准触发器的攻击性能,并揭示了点云自编码器后门攻击的独特运作机制。

9月26日周六
  1. arXiv · · 原文 81

    TrustFork:显示身份如何劫持 LLM 智能体编排的权限

    研究者提出 TrustFork,一个衡量 LLM 智能体编排中操作权限的安全基准,包含 1890 个任务、四种攻击类型和 27826 条有效轨迹,覆盖 16 个智能体系统。每个任务中一个子智能体带有风险目标,另外三个与用户对齐,并可只改变子智能体显示的身份而不改变背后模型。结果显示,即使其他子智能体反驳风险响应,编排器仍在平均 72.0% 的情况下采纳它,在终端危害最低的系统中尤为常见。交换家族标签使编排器获得风险响应的频率接近三倍;84.0% 的任务中存在更安全的响应,但只有 25.0% 决定了最终结果。在三种运行时防御中,隐藏身份线索效果最稳定,而行动前验证只在 harness 返回足够证据时有效。

    推荐理由TrustFork 用 1890 个任务量化了显示身份如何决定子智能体的操作权限,为多智能体编排的安全审计提供了可复用的评测维度。

9月25日周五
  1. arXiv:越狱与提示注入 ·

    TempQ-Jail:面向文生视频越狱的查询受限候选排序方法

    研究者提出 TempQ-Jail,把文生视频(T2V)越狱重新表述为查询受限下的候选分配与排序问题,以应对受防护 T2V 系统中生成与安全评估成本高、攻击者无法大量测试候选的情况。该方法组合多种异构攻击机制扩大候选覆盖,并从安全门通过、危险视觉生成、原始意图保留和时间有效性四个维度估计每个候选的端到端攻击价值,再排序使高价值攻击在有限查询轨迹中更早出现。

  2. arXiv:越狱与提示注入 ·

    为何扩散语言模型的越狱会成功:能量景观分析

    论文提出用去噪能量景观解释扩散语言模型(dLLM)的越狱为何成功,把安全对齐理解为在有害与安全输出之间形成一道能量势垒。现有越狱攻击被归为两类绕过方式:在初始化阶段掩盖查询的安全倾向,或在去噪中途介入、迫使路径越过势垒。基于掩码扩散模型在去噪中最小化动能这一结果,作者推导出三个免训练检测信号:在生成开始前从 logit 分布读取初始安全倾向的 step-0 比值,以及两个在 logit 空间互补子空间中追踪动能的轨迹速度信号。

9月24日周四
  1. arXiv:越狱与提示注入 ·

    透过人眼与机器眼:理解视频透视扩展现实中的视图错配

    视频透视扩展现实(VST XR)系统常以头显截图作为用户第一人称视觉上下文的代理,但系统捕获的矩形画面与用户实际可见的非矩形区域并不一致。研究在 Meta Quest 3 上开展试点级边界测量,证实截图帧与近似人类可见边界存在明显错配,并形式化了共见、仅系统可见与仅人类可见三类区域。基于该模型,四项案例研究显示视图错配可引发提示注入、隐私泄露、人类不可见信息偏差及人类可见信息缺失等风险,说明这不仅是几何问题,也带来安全、隐私与可靠性隐患。

  2. arXiv:对齐与欺骗 · · 原文 78

    Codetta:面向独立部署 LLM 智能体的高容量无密钥隐蔽串谋协议

    研究者提出 Codetta,一种面向独立部署 LLM 智能体的高容量、无预共享密钥且可证明不可检测的隐写串谋协议。它用双方共用的公开草稿模型估计通信信道,通过保分布的采样机制和自适应纠错码实现高容量传输,并用隐写密钥交换让两个独立智能体在约 80k 可见 token 内建立 128 位共享密钥,三种工作负载下的经验失败概率最高为 4.1×10−3。在三种智能体工作负载和三种发送方模型上,Codetta 的容量最高达到现有非对称协议 [4] 的 94 倍,同时保持模型输出分布不变。作者据此认为,审计机制不能只检查智能体的通信记录,还需补充审计智能体行为和扰动通信信道等手段。

    推荐理由论文给出可复现的隐蔽通信协议与容量数据,说明仅靠审查通信记录已不足以发现智能体串谋。

9月22日周二
  1. arXiv:对齐与欺骗 ·

    研究者提出通过替换神经网络权重高容量外泄医学影像的攻击

    研究者提出一种高容量神经隐写攻击,把医学图像编码为连续隐表示并嵌入模型初始化权重,模型导出后可直接从权重中重建隐藏图像。该方法用基于 StyleGAN2 的对抗自编码器学习紧凑隐码,并正则化使其匹配标准权重初始化统计量,从而让嵌入参数与干净模型在统计上保持一致;训练时注入噪声可提升对导出环节缓解措施的鲁棒性。载体模型在原本任务上仍保持可用,最多可将 99 个脑部 MRI 体数据嵌入一个 30MB 模型,且在会破坏此前比特级方案的缓解措施下仍可恢复。重建结果只是近似而非像素级精确,但嵌入内容在解剖上仍可辨认并可规模化恢复。

9月15日周二
  1. arXiv:Agent 与 MCP 安全 · · 原文 87

    Emergence World:对长时程多智能体系统开展对抗压力测试

    Emergence AI 发布 Emergence World,一个持续运行的长时程多智能体环境,用于对自主系统做对抗压力测试。研究运行八个并行世界,每个世界十个智能体,七个为单一模型世界、一个为混合模型世界,16 天内产生超过 85 万次 LLM 调用和近 500 亿 token。在状态积累后,研究通过普通交互界面投放三类受控压力事件:间接提示注入、虚假信息、以及智能体私有记忆泄露。没有任何一个世界在三类事件上全部具备韧性;识别并不等于遏制,系统能识别威胁却仍与对抗内容交互、将其写入持久记忆,并在最长 46 小时后据此行动。研究还观察到工具错误反复出现、目标漂移、语言不透明、私下不同意却随大流,以及集体拒绝被分配的工作。

    推荐理由八个并行世界、16 天的长时程多智能体压力测试,给出了识别不等于遏制这一可迁移的评测视角。

  2. arXiv:越狱与提示注入 ·

    什么驱动方言越狱?对表层形式、文化框架与策略库的消融研究

    研究将文言文红队框架扩展到上海话和粤语,在两种目标模型上运行 36 组消融实验,考察表层形式、策略库变体与文化框架对越狱成功率的影响。主要发现是纠正性的:方言表层形式既非高攻击成功率的必要条件也非充分条件,未经优化的英语、普通话和朴素方言翻译攻击成功率均低于 8%,而所有保留优化器控制策略库的条件都达到 98% 至 100%。一个文化中性的通用策略库以接近单次查询的成本达到同样的上限,进一步表明策略库的表达力而非方言或文化内容解释了大部分观测效应。方言选择仍影响查询效率和回复严重程度,定性编码识别出语义注释和程序化脚手架等反复出现的高层机制。作者也指出该绝对上限对评判校准敏感,且实验设计未能完全区分一次性策略构建与迭代搜索。

9月9日周三
  1. arXiv:越狱与提示注入 ·

    研究者提出面向 Agentic AI 的黑盒红队分类框架,自动生成对抗场景

    研究者提出一套面向 Agentic AI 的黑盒红队框架,只需基本系统描述即可开展风险感知评估。框架包含三部分:将可观察行为映射到风险类别的七域分类法、全自动 SAGE-RT 红队流程(每个域生成 120 个对抗场景),以及由 LLM 评判并人工验证的评估。在 CrewAI 和 AutoGen 两种 Agent 架构、四种基础模型上的验证显示,平均治理风险为 56.25%,多智能体配置中的隐私风险为 65%,Agent 行为漏洞最高达 85%。作者称该方法无需特权访问即可识别关键架构漏洞。

  2. arXiv:危险能力与安全评测 ·

    DuplexJail:针对全双工语音模型的语音打断越狱攻击

    研究者提出 DuplexJail,通过用户音频通道向全双工语音模型投递固定的、与请求无关的语音越狱提示,利用输入时机实施攻击。在四个开源模型和 AdvBench、HarmBench 的 720 条有害请求上,比较了固定延迟与拒答触发打断,并以请求结束和响应后作为对照。AdvBench 上,1.0 秒延迟的 Guided Completion 使 PersonaPlex 的整段响应攻击成功率升至 40.3%,PersonaPlex-RL 升至 48.7%,分别比基线高 33.8 和 39.3 个百分点;未用于提示选择的 HarmBench 上,同一提示在 0.5 秒延迟下使两者 ASR 分别提高 14.7 和 12.3 个百分点。

9月8日周二
  1. arXiv:越狱与提示注入 ·

    后验重加权框架解释并缓解多模态大模型上下文越狱

    论文提出后验重加权框架,把安全对齐的多模态大语言模型(MLLM)建模为在安全与有害行为模式之间竞争,将上下文中的有害示例视为推理时证据,动态改变模型对两类行为的后验偏好。该视角把越狱形式化为证据累积过程,并给出关于示例数量、有害比例、对抗强度和语义多样性的可预测缩放规律。基于此,作者提出一种后验感知的推理时防御,按估计风险自适应注入良性反证据,在固定干预预算下抑制有害后验漂移,同时保持模型效用,相比现有上下文防御取得更好的鲁棒性与效用权衡。作者称该框架可统一理解并缓解 MLLM 的上下文学习越狱。

  2. arXiv:越狱与提示注入 ·

    结构越狱可跨厂商泛化但不叠加:IICL 的跨厂商与多语言研究

    研究用确定性的 IICL 操作符和 StrongREJECT 式评分,对两个 Google Gemini 模型在 HarmBench 的 30 项一般危害行为和 FinProof 的 30 项金融滥用行为上做红队测试,覆盖英语、西班牙语、印地语、阿拉伯语。IICL 可泛化到第二个厂商,且金融场景更严重:HarmBench 上攻击成功率从不超过 6.7% 升至 80-90%,FinProof 上从不超过 6.7% 升至 97-100%,比该方法的原始研究在 OpenAI GPT-5.4 上报告的 24% 高一个数量级。

  3. arXiv:对齐与欺骗 ·

    DRIFT:通过偏转生成轨迹去除扩散模型水印的黑盒攻击

    研究者提出 DRIFT,一种通过偏转生成轨迹去除扩散模型水印的黑盒攻击。该方法将部分前向扩散与随机反向重采样结合,前向加噪限制固定深度恢复流程可用的源信息,随机反向提供替代的噪声驱动路径;自适应 DRIFT 为每张图像搜索首个被验证器拒绝的阶梯并做保真度精修,只保留被同一验证器拒绝的更新。在覆盖三种范式的九种水印上,DRIFT 达到 98-100% 攻击成功率,并在所比较的攻击中取得最佳图像质量,且不需要密钥、验证器内部信息或逐图像梯度优化。

9月7日周一
  1. arXiv:越狱与提示注入 ·

    DIVA:利用视觉锚点对视频生成模型实施多模态越狱

    论文提出视觉锚定效应,指出参考图作为条件输入时,模型为保持时空一致性会让生成内容难以偏离原始有害意图,从而失去从有害转向无害的天然安全逃逸路径,作者称这是一致性的代价。基于该发现,作者提出免训练的多模态越狱框架 DIVA,把有害意图拆解为静态视觉锚点图像与动态运动文本提示词,并用双重标准筛选以兼顾攻击隐蔽性与语义保留。在多家主流商业平台和开源视频生成模型上的实验显示,DIVA 的攻击成功率明显高于仅用文本的既有方法。作者同时发布 TI2VSafetyBench,称其为首个面向多条件视频生成的安全基准。该论文已被 ACM MM 2026 接收。

  2. arXiv:后门、投毒与隐私 ·

    FreqDoor:面向视觉语言模型的频域后门攻击

    研究者提出 FreqDoor,一种在频域植入触发器的训练期后门攻击,针对视觉语言模型。该方法选择性混合触发源图像的幅度谱分量,同时保留干净图像的相位,从而生成空间分布且视觉上难以察觉的触发器,且不修改文本输入。在 BLIP-2、InstructBLIP 和 LLaVA 上评估图像描述与视觉问答任务,在 Flickr8k 上三个模型的攻击成功率分别为 99.6%、99.8% 和 98.4%,同时保持生成描述的语义质量;在 VQAv2 上对应攻击成功率为 99.6%、92.4% 和 79.6%。

9月5日周六
  1. arXiv:危险能力与安全评测 ·

    AdvPIE:面向文生图模型隐式漏洞的自动红队框架

    研究者提出 AdvPIE,一个多模态智能体框架,用于暴露文生图(T2I)模型的隐式漏洞,且无需访问目标模型参数。该方法由策略智能体根据评判智能体的反馈生成并迭代优化隐式对抗提示词,评判智能体在全局和相对两个层面提供模态特定的安全评估。作者还提出累积对抗解码(Cumulative Adversarial Decoding)策略,动态重新加权 token 分布,偏向能生成更有害图像的 token,同时保持采样多样性。在标准和安全对齐的文生图模型上的实验显示,AdvPIE 能有效挖掘隐式漏洞,表现优于多种基线方法。该工作被 ECCV 2026 收录。

9月4日周五
  1. arXiv:越狱与提示注入 · · 原文 84

    Repeat-After-Me:针对黑盒 VLM 的自适应视觉提示注入攻击

    研究者提出 Repeat-After-Me,一种黑盒自适应视觉提示注入攻击,可诱导模型泄露个人身份信息或发起恶意工具调用。在良性用户提示与注入任务语义无关、且未口头授权的现实设定下,该方法在开源与商用前沿 VLM 上的攻击成功率分别超过 82% 和 47%,涉及 Qwen3.6-27B 与 GPT-5.5。优化后的注入在商用 VLM 和良性样本间具有一定可迁移性,并在自适应文本提示注入失效的场景中仍然有效。在一个接入 Discord 的真实 OpenClaw Agent 中,不受信任的用户可用一张轻度注入的图片覆盖其 TOOLS.md 文件,为之后的远程代码执行和密钥窃取等敏感行为铺路。论文还讨论了潜在防御手段。

    推荐理由论文给出黑盒视觉提示注入在多个前沿 VLM 上的成功率,并演示了在真实 OpenClaw 智能体上覆写配置文件的完整链路。

9月2日周三
  1. arXiv:危险能力与安全评测 · · 原文 80

    Blueprint 框架用世界观模拟与 18 个影响因子提升多轮越狱成功率

    研究者提出 Blueprint 多轮越狱框架,把攻击策略拆成 18 个基于社会影响理论的因子,并用 WorldviewSim 模块维持跨轮情境一致性,由 MCTS 搜索每轮因子组合。在 HarmBench 验证集 80 条行为上,Blueprint 在六个前沿模型上平均 ASR 达 79.2%,平均目标查询次数仅 2.46;在 Qwen3-Next-80B、DeepSeek-V3.2 和 Gemini-2.5-Flash 上接近满分,在 GLM-4.7 上比最强基线高 27.5 个百分点。轨迹分析显示三个抗性模型各有不同的敏感因子,但转向具体可执行的任务框架是共同的恢复路径。消融实验表明任务清晰度和收益框架影响最大,而 PPL 过滤、改写和护栏等静态防御基本无法阻断该攻击。代码已开源。

    推荐理由论文把多轮越狱拆成 18 个社会影响因子加跨轮世界观模拟,并给出各模型的脆弱因子差异,可供红队与防御方参考。

  2. arXiv:后门、投毒与隐私 ·

    GhostWord:针对自动语音识别的细粒度后门攻击

    研究者提出 GhostWord,一种词级、时间定位的自动语音识别(ASR)后门攻击,用码本把约 400 毫秒的短音频触发词映射到目标词。投毒时把触发词注入选定源词在强制对齐时间跨度内的音频,并只替换转写中的该词,从而实现精确的语义翻转和可组合的句子操纵,避免多对一标签痕迹。在 Common Voice(v23 英语、v24 立陶宛语)和 Whisper-Small/Medium、MMS、SpeechT5 多个骨干上,平均攻击成功率为 89.3%,并可跨语言、跨模型迁移。

  3. arXiv:后门、投毒与隐私 ·

    研究揭示针对 LLM 驱动机器人系统的内部状态触发后门攻击

    论文首次系统研究针对 LLM 驱动机器人系统的基于历史的后门攻击,攻击者通过操纵指令在基于 LLM 的机器人控制器中植入隐蔽后门。该后门不由外部线索触发,而是由机器人自身过去动作的特定罕见序列激活,在正常运行中保持休眠以维持机器人效用,激活后可诱导完全停止或碰撞等恶意行为。在多种机器人和 LLM 的仿真环境实验中,该攻击达到近乎完美的攻击成功率,同时极难被检测。研究指出这是自主系统中此前未被解决的关键漏洞,强调安全措施需考虑智能体的内部状态。

  4. arXiv:后门、投毒与隐私 ·

    研究者提出针对微调 TTS 模型的黑盒成员推断攻击

    研究者提出首个同时面向说话人级和录音级的黑盒成员推断攻击框架,用于检测语音数据是否被用于微调 TTS 模型。在查询生成上,作者刻画了可行查询空间并提出可评分范围与记忆诱发两条准则,评估五种代表性查询后认定朗读(recitation)效果最强;在表征工程上,从嵌入模型提取多层级语音表征,并对生成音频与目标音频做时间对齐以实现细粒度比较。

  5. arXiv:越狱与提示注入 ·

    DIVA:针对离散扩散视觉语言模型的跨步条件传播视觉越狱

    研究者提出 DIVA,一个针对多模态离散扩散视觉语言模型(dVLMs)的白盒视觉越狱框架,在三个 dVLMs 上分别达到 58.8%、67.7% 和 69.1% 的 HADES ASR(Beaver 奖励模型指标),超过为自回归模型设计的视觉越狱基线。作者指出,现有视觉越狱研究几乎只关注自回归架构,而离散扩散视觉语言模型尚未被研究。他们识别出扩散生成特有的漏洞:视觉嵌入在每一步反向去噪中都作为条件,而非一次性前缀,因此对抗性视觉语义会在生成轨迹中被反复传播和放大,作者称之为跨步条件传播。

9月1日周二
  1. arXiv:越狱与提示注入 ·

    CRACK:用多智能体辩论越狱多层安全过滤的 T2I 模型

    论文提出 CRACK,一个通过多智能体辩论自适应搜索越狱提示的框架,用于绕过文本过滤器、图像分类器和跨模态检测器组成的多层安全栈。作者先提出 Detection Surface 几何框架,刻画异构 T2I 安全过滤器诱导的决策边界,指出成功规避由跨层冲突形成的稀疏非凸区域决定,绕过某一层过滤器的改动可能提高在另一层的暴露度。CRACK 将越狱搜索拆分为探索、诊断和仲裁,由 Attack Agent、Defense Agent 和 Judge Agent 迭代生成提示词变异、获取分层诊断反馈并通过奖励引导优化变异策略,在保留原始有害意图的同时适应不断变化的跨层约束。

  2. arXiv ·

    论文提出分布式隐式危害 DIH,评测 30 多个 MLLM 的视频审核盲区

    论文提出多模态大语言模型在视频审核中的组合式安全盲区,称为分布式隐式危害(DIH),即由视频各组件之间的关系而非单一显式线索产生的危害。作者研究两类代表性情形:跨视觉片段的时间分布危害(DIH-T)与音视频流之间的跨模态危害(DIH-M)。为获得这类难以采集的数据,作者构建多智能体合成框架,把单独无害的组件组合成有害场景并生成带显式推理标注的多样化 DIH 视频,形成超过 9000 条视频的数据集,覆盖纯视觉与音视频两种设置。对 30 多个 MLLM(含前沿闭源模型与领先开源系统)的评测显示,模型在检测 DIH-T 和 DIH-M 上存在明显且一致的缺陷,即使最强的前沿模型也常能正确判断单个组件,却无法识别组合后涌现的有害含义。

8月26日周三
  1. arXiv:危险能力与安全评测 ·

    NeuronFuzz:用安全神经元引导模糊测试评估 LLM 安全性

    NeuronFuzz 是一个白盒模糊测试框架,利用模型内部安全神经元的激活作为连续执行反馈来评估 LLM 安全性。其 SafetyOracle 把安全神经元激活转成连续的安全告警分数,该分数可在 prefill 阶段获得,从而把回复生成移出模糊测试循环,缓解强对齐模型上反馈稀疏的问题。框架用模板不变的有害与良性输入以及稳定性感知选择,筛出一组紧凑的安全神经元;由于告警分数可微,它用梯度定位安全敏感的模板位置,再用掩码语言模型生成流畅且上下文兼容的变异,同时保留原有有害载荷。

8月20日周四
  1. arXiv ·

    TempJail:通过字幕时间调度对大型视觉语言模型发起时序越狱攻击

    研究者提出 TempJail,一种黑盒视频越狱框架,通过构造与查询对齐的对话式字幕序列并优化其时间调度,利用大型视觉语言模型(LVLM)在时间维度上的脆弱性诱导出符合原始有害意图的回答。分析发现,越狱效果不仅取决于文本语义,还取决于其时间呈现方式,包括持续时长和时段分配;字幕因在真实视频中常见且可精确控制时间而不显突兀,被用作攻击媒介。在四个代表性 LVLM 和两个数据集上的实验显示,TempJail 在所有模型与数据集组合中取得最高攻击成功率,在 GPT-5 和 Gemini 3.5-Flash 上数据集平均 ASR 分别比最强基线高出 53 和 18 个百分点。论文共 8 页、4 张图。

8月10日周一
  1. Failure-First ·

    免训练概念定位方法提升 ViT 对文字排版攻击的鲁棒性

    Liu 等人的研究提出免训练方法,定位并抑制 Vision Transformer 中导致文字排版攻击的特定模块,从而提升模型对图像内干扰文字的鲁棒性。该方法基于线性表示假设,通过随机采样在 MHSA 瓶颈的低维子空间搜索与词汇概念对齐的“获奖向量”,并用基于梯度的归一化文本归因分数 nTAS 定位高脆弱性注意力头。干预方式有两种:在 CLIP 类骨干中重加权 patch token 影响,在缺少 class token 的 LVLM 中将脆弱模块输出置零。