全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：越狱、提示注入、投毒与防御
CollageAttack：利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱
浙江大学与香港理工大学的研究者提出 CollageAttack，一种单提示词黑盒越狱方法，把有害意图拆成不完整的文本片段，分散放置在场景中自然存在的载体上，让语义在图像平面通过空间组合重新显现。在 GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro、HiDream-O1-Image 和 FLUX.2 [dev] 五款 T2I 模型上，该方法在全部目标上取得最高攻击成功率，聚合 ASR 为 77.0%，最高达 86.0%，比同模型最强基线高 18.5 个百分点。跨模型平均有害性评分为 6.12/10，高于最强基线的 4.23/10；在 HiDream-I1 上为 5.38 对 1.69。消融显示，单独使用任一组件的有害性得分分别为 0.25、5.47 和 0.53，三者组合达到 6.41。
- 论文arXiv：越狱、提示注入、投毒与防御
用探针引导微调对齐模型且不损失可监控性
论文研究以探针检测模型激活中的不良属性作为直接训练信号，即探针引导微调，并在无害性和诚实性两个对齐目标上评估线性与非线性探针及每层探针数量的影响。结果显示，针对训练中不更新的探针进行训练是容易被利用的目标，而持续更新的探针能显著降低有害性、提升诚实性并保持效用。该方法在安全与效用的权衡上优于 DPO 和推理时引导，且对越狱和消融攻击更为鲁棒。微调后相关概念仍以线性方式编码，说明该方法没有丧失可监控性。
- 论文arXiv：越狱、提示注入、投毒与防御
SceneJail：利用视频场景上下文越狱多模态大模型
研究者提出 SceneJail，一个自适应黑盒越狱框架，把视频中的周边场景而非有害查询的呈现方式当作攻击面：同一有害查询放在不同视频场景中，会得到不同的安全响应。框架由两部分组成：自适应场景构建搜索与有害查询语境相容的场景，场景感知提示搜索再根据黑盒响应反馈为该场景搜索文本引导。在 HADES 和 SafeBench 数据集、八个 Video-MLLM（含 GPT-4.1 和 Gemini 3.5 Flash 两个闭源模型）上，持续完整呈现查询的 SceneJail-F 平均攻击成功率最高 91.5%，比最强基线高 29.1 个百分点；把查询分散到连续帧的 SceneJail-S 在严格图像过滤下仍保持 72.3%。
- 论文arXiv：越狱、提示注入、投毒与防御
研究测量并预测具身 VLM 规划器中任务的拒答可变性
研究者在无像素、梯度或提示词对抗控制的条件下，向环境中放入单个日常物品，考察宪法护栏下的具身视觉语言模型规划器已做出的拒答能否被推翻。在 846 个初始遭拒的任务中，20.2% 可由一个或多个物品翻转为服从，所需物品数量因任务而异；固定列表随机抽取的物品在不了解环境和指令的情况下也能达到相近的安全绕过量级。作者将这种易感性称为任务的 malleability，并用小型开源 VLM 读取的信号组合来提前预测，识别率约为随机的 2.4 倍，建议部署前逐任务评估。
- 论文arXiv
SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化
研究者提出 SynChain，一种自合成攻击范式，通过持久化感知的定向 SFT 让被污染的计算机使用 Agent 在正常任务中生成看似无害但携带潜伏载荷的技能或记忆条目，之后作为可信上下文重新加载，无需新的外部恶意输入即可触发。作者构建了 CuaChain 数据集，包含 30 条良性任务链和隐私泄露、权限篡改、未授权写入三类攻击目标。在 OpenClaw、Codex 和 Claude Code 三种框架、四种防御设置下，SynChain 在 Chain-1 平均攻击成功率超过 93%，Chain-2 仍高于 72%，显著优于改造后的 SkillJect 和 DemonAgent 基线。随着链长增加攻击效果下降，Chain-3 降至 26.57%，Chain-5 仅 1.11%，作者将其归因于记忆摘要和上下文截断形成的信息瓶颈。
- 论文arXiv
Tripwire：通过统计认证的安全神经元触发对齐拒答
Tripwire 是一种免训练防御方法，通过逐神经元假设检验并在错误发现率控制下识别安全特异性神经元，再用效用特异性过滤器排除对模型效用重要的神经元。识别后采用触发式钳制，将选定神经元固定在有害条件下的平均激活值上，注入内部有害输入信号以触发对齐阶段学到的拒答行为。该钳制有两种可证明等价的部署方式，即检测器门控的推理时干预和离线 bias-patch 权重编辑。在四个安全对齐 LLM 和四类代表性攻击上的实验显示，Tripwire 将平均攻击成功率降至最高 2.0%，在 MT-Bench 上的效用损失仅为 0.5% 至 5.3%，为所有防御方法中最小。代码已公开。
- 论文arXiv
FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0
FAR.AI 发布 AI Security Leaderboard 与护栏最低标准 1.0，对四家前沿厂商的旗舰模型做大规模越狱测试，发现护栏强度差异悬殊。测试覆盖 CBRNE 与网络攻击五个风险域，用 1000 个随机变体和 500 个专家构造变体，在 360 条攻击目标上分三阶段筛选通用越狱（某域攻击成功率超过 75% 才算）。截至 2026 年 7 月 13 日当周，Grok 4.5 和 Gemini 3.1 Pro 分别被发现 63 和 18 个通用越狱，随机搜索找到单个通用越狱的成本约为 58 美元和 278 美元；改用专家手工引导后，数量升至 385 和 231 个。Claude Fable 5 与 GPT-5.6 Sol 在本轮测试中未出现通用越狱。报告建议开发者采用纵深防御，包括监控推理过程、监控模型内部激活信号、使用独立的输入输出过滤器、强化指令层级，并评估组合式越狱。
- 论文arXiv
DAEI：针对噪声防护文本嵌入的反演攻击揭示隐私风险
研究者提出 DAEI，一种去噪感知的嵌入反演流程，用于在只能观测到加噪嵌入、无法获得干净嵌入目标的条件下重建原始文本。作者先分析现有生成式反演方法在该设定下失效的原因，将其归结为双重噪声陷阱，再用残差去噪自编码器结合生成式文本反演，并借助 Stein 无偏风险估计以无监督方式训练去噪器，使其仅凭含噪观测即可去噪。实验显示 DAEI 相比现有生成式反演基线在 BLEU 上取得约 154% 的相对提升，token 级 F1 与 ROUGE-L 也提升 32% 至 60%。该结果对简单高斯扰动即可防止嵌入泄露敏感信息的普遍假设提出质疑。论文 11 页、3 张图，已被 IEEE ICDM 2026 接收。
- 论文arXiv
面向良性用途的对抗攻击：视觉内容全生命周期主动防护综述
一篇综述将数据所有者、创作者、平台或审计方主动施加扰动与结构化信号以干扰未授权自动化、支持事后追责的做法称为"面向良性用途的对抗攻击"，并梳理了沿视觉资产生命周期分布的五个研究方向：分享阶段的隐私过滤器、针对未授权训练不可学习样本、防恶意编辑或模仿的生成式防护、用于访问控制的对抗验证码，以及传播后的来源溯源机制。作者按可迁移性、自适应性和部署就绪度统一评估这五类方法，发现多数防护仍主要针对静态或弱自适应对手验证，受控基准之外的证据依然稀缺。
- 论文arXiv
LeakGauge：用行为探针在解码前检测上下文泄露攻击信号
研究者提出 LeakGauge，通过在输入后附加一个探测后缀并映射其 prefill token 概率，在解码前给出上下文泄露的攻击风险分数。作者发现，直接使用机密内容初始 token 的探针不如内容无关、直接表述泄露行为的探针稳健。在包括 GLM-5.2（753B）和 Kimi-K3（2.8T）在内的 11 个 LLM 上，LeakGauge 对未见攻击的 AUROC 达到 0.944 至 0.996，且在内容换语言或攻击从逐字泄露转为语义泄露时信号保持稳定。通过激活引导干预，作者进一步表明该风险分数对模型内部与泄露相关的方向敏感。该检测器额外参数少于 0.5K，附加延迟为 10.34 ms，代码已公开。
- 论文arXiv
ContextLeak：通过恶意工具窃取 LLM Agent 运行时上下文
研究者提出 ContextLeak，一种通过恶意工具窃取 LLM Agent 运行时上下文的攻击，目标是让 Agent 既选中该工具、又把上下文作为输入参数传给工具。作者指出，上下文外泄通常需要三个条件：Agent 选中恶意工具、Agent 将运行时上下文作为参数传入、工具实现把输入发送到攻击者控制的端点；已有工作主要关注第一和第三个条件，第二个条件此前基本未被探索。ContextLeak 用强化学习精心构造工具的名称和描述，由一个攻击 LLM 自动生成这些内容，并在具有多样化模拟 Agent 上下文的影子用户上对攻击 LLM 做强化学习微调，其关键技术贡献是针对上下文外泄目标设计的奖励函数。
- 论文arXiv：后门、投毒与隐私
Akrasia：针对推理型代码 LLM 的隐蔽后门攻击
研究者提出 Akrasia，一种针对推理型代码 LLM 的推理时后门攻击，通过探测模型构造代码级触发器，再用上下文学习植入后门，并借助模型不忠实性隐藏触发器、生成看似合理的推理。在 GPT-5.5、Claude Sonnet-5、Gemini 3.5 Flash、DeepSeek-V4-Pro、GLM 5.2、Qwen3.6-35B 六款模型上，攻击在 CodeMMLU 代码补全任务的平均 ASR 最高达 99.34%，同时保持最高 97.23% 的准确率。在 CoS、ONION、PeerGuard 三种防御下，Akrasia 在 14/18 个防御设置中仍保持最高 98.82% 的平均 ASR；人工检查中，进阶变体在最多 80% 的设置里成功隐藏触发器与推理步骤。攻击目标包括反向 shell、凭据窃取、资源耗尽和长运行时间，作者据此呼吁针对推理后门开发防御方法。
- 论文arXiv
研究提出 Q-Skew：利用 token 级记忆不对称对微调扩散语言模型做成员推断
研究者在微调扩散语言模型（DLM）上提出成员推断方法 Q-Skew，一种基于分位数加权偏度的指标，其依据是通过理论分析发现的 token 级记忆不对称现象。在多个微调数据集和模型上的实验显示，该方法优于现有基线。作者进一步表明 Q-Skew 还能用于 PII 提取等其他隐私侵犯场景，认为扩散语言模型存在此前未被充分探索的隐私攻击面，需要系统性的隐私评估。该论文共 18 页，已被 EMNLP 2026（Findings）收录。
- 论文arXiv：后门、投毒与隐私
研究者提出针对微调 TTS 模型的黑盒成员推断攻击
研究者提出首个同时面向说话人级和录音级的黑盒成员推断攻击框架，用于检测语音数据是否被用于微调 TTS 模型。在查询生成上，作者刻画了可行查询空间并提出可评分范围与记忆诱发两条准则，评估五种代表性查询后认定朗读（recitation）效果最强；在表征工程上，从嵌入模型提取多层级语音表征，并对生成音频与目标音频做时间对齐以实现细粒度比较。
- 论文arXiv：后门、投毒与隐私
研究揭示针对 LLM 驱动机器人系统的内部状态触发后门攻击
论文首次系统研究针对 LLM 驱动机器人系统的基于历史的后门攻击，攻击者通过操纵指令在基于 LLM 的机器人控制器中植入隐蔽后门。该后门不由外部线索触发，而是由机器人自身过去动作的特定罕见序列激活，在正常运行中保持休眠以维持机器人效用，激活后可诱导完全停止或碰撞等恶意行为。在多种机器人和 LLM 的仿真环境实验中，该攻击达到近乎完美的攻击成功率，同时极难被检测。研究指出这是自主系统中此前未被解决的关键漏洞，强调安全措施需考虑智能体的内部状态。
- 论文arXiv
PMPA：针对 OpenClaw 与 Claude Code 的持久记忆投毒攻击
研究者提出 PMPA，一种针对基于 harness 的智能体的持久记忆投毒攻击，攻击者只需在外部来源中嵌入恶意指令，无需直接访问智能体框架。注入阶段把载荷藏在文本、图片或 PDF 的良性问答内容中，诱导智能体将其写入持久记忆；触发阶段在新会话中检索该记忆，在完成正常任务的同时执行额外动作造成隐私泄露。在 OpenClaw 与 Claude Code 上，以 DeepSeek-V4-Flash、DeepSeek-V4-Pro、Qwen3-Max 为底座模型，平均注入成功率与跨会话攻击成功率为 73.7%/55.5% 和 66.9%/81.7%，同时良性任务表现保持在 80% 以上。纯文本模态攻击效果最强，OpenClaw 上注入成功率接近 100%；日历场景跨会话成功率最高，达 96.7% 和 87.8%。
- 论文arXiv：后门、投毒与隐私
GhostWord：针对自动语音识别的细粒度后门攻击
研究者提出 GhostWord，一种词级、时间定位的自动语音识别（ASR）后门攻击，用码本把约 400 毫秒的短音频触发词映射到目标词。投毒时把触发词注入选定源词在强制对齐时间跨度内的音频，并只替换转写中的该词，从而实现精确的语义翻转和可组合的句子操纵，避免多对一标签痕迹。在 Common Voice（v23 英语、v24 立陶宛语）和 Whisper-Small/Medium、MMS、SpeechT5 多个骨干上，平均攻击成功率为 89.3%，并可跨语言、跨模型迁移。
- 论文arXiv
论文用 Tamarin 形式化分析 x402、MPP、ACP、AP2 四个智能体支付协议
论文在 Tamarin 中形式化建模 x402、MPP、ACP、AP2 四个代表性智能体支付协议，基于统一的智能体支付生命周期抽象刻画各协议的角色、状态、信任假设与阶段转换。作者不预设完整属性分类，而是用有来源支撑的验证问题和反例轨迹暴露缺失的绑定、状态约束与跨阶段对应关系，归纳出 18 条共享安全原则。在 86 个验证用例中，分析复现了 46 个已知或校准用例，并识别出 40 项此前未记录的形式化一致性问题。对每个保留的违规，作者定位缺失的协议关系，构造最小强化的参考模型并重新验证目标属性。
- 论文arXiv
DnD：面向检索增强生成的多样化分布式投毒攻击
研究者提出 DnD（Divide and Doubt），一种针对检索增强生成（RAG）的定向语料投毒攻击，通过把对目标答案的支持分散到风格多样的段落中，并加入一段质疑参考答案证据的段落来提升攻击效果。分散化让投毒段落在嵌入向量空间中更分散，质疑段落则在多条投毒段落被检索到时增强目标答案被采纳的概率。作者在两个开放域问答数据集、三个 LLM 和九种 RAG 配置上，分别在检索器黑盒与白盒条件下评测，DnD 在多数配置中达到或超过此前的攻击方法，对基于聚类和冲突感知的防御提升最明显。论文编号 arXiv:2609.27090，属 cs.CR 方向。
- 论文arXiv：后门、投毒与隐私
FreqDoor：面向视觉语言模型的频域后门攻击
研究者提出 FreqDoor，一种在频域植入触发器的训练期后门攻击，针对视觉语言模型。该方法选择性混合触发源图像的幅度谱分量，同时保留干净图像的相位，从而生成空间分布且视觉上难以察觉的触发器，且不修改文本输入。在 BLIP-2、InstructBLIP 和 LLaVA 上评估图像描述与视觉问答任务，在 Flickr8k 上三个模型的攻击成功率分别为 99.6%、99.8% 和 98.4%，同时保持生成描述的语义质量；在 VQAv2 上对应攻击成功率为 99.6%、92.4% 和 79.6%。
- 论文arXiv
TrojanWorld：通过想象引导对世界模型智能体植入后门
研究者提出 TrojanWorld，一种针对世界模型智能体的供应链后门框架，通过引导模型内部想象而非改动决策模块来诱发攻击者指定的行为。攻击以场景中放置的物理物体作为触发器，经智能体原生观测管线激活，无需数字篡改观测流。框架由三项机制组成：Decision-Reflective Induction 利用决策反馈将触发条件下的想象导向目标动作，Clean Behavior Anchoring 保持无触发时的预测与行为保真度，Causal Propagation 在触发器消失后沿后续轨迹延续被诱导的偏好。研究还测试了 Fine-Pruning、SHINE 和 Neural Cleanse 三种防御的适配版本，没有一种能在保持干净效用的同时完全移除攻击。
- 论文arXiv：后门、投毒与隐私
WPMIA：面向严格黑盒大模型的词级概率成员推断攻击
研究者提出 Word-level Probability MIA（WPMIA），一种面向严格黑盒场景的成员推断攻击，用于判断某段文本是否被纳入大语言模型的训练语料。该方法通过蒙特卡洛采样结合局部核平滑估计词级生成概率，再聚合成序列级似然估计，并构造不同前缀条件下的似然以放大成员与非成员之间的分布差异。在多个开源大语言模型上，WPMIA 一致优于现有黑盒基线；在 GPT-5-Chat、Gemini-2.5-Flash 和 Claude-4.5-Haiku 等闭源模型上，平均 TPR@5%FPR 达到 42.0。论文共 17 页、5 张图、17 张表，代码已公开。
- 论文arXiv：后门、投毒与隐私
SoK 综述：可解释性 AI 如何成为机器学习隐私攻击面
这篇 SoK 系统梳理了 25 项利用模型解释输出实施隐私攻击的研究，涵盖模型窃取、成员推断和模型反演，并将属性推断视为部分反演。作者指出，现有工作常只按黑盒或白盒标注，掩盖了对手实际获得的解释信号差异，因此把模型知识与解释获取分开，归纳出五条路径：目标方发布、攻击者自行推导、二次披露、特权访问和公开全局产物。在这些路径下，解释会降低窃取成本，通过解释统计量、recourse 距离和解释引导的鲁棒性暴露成员信号，并支持对私有输入做空间或代数重建。
- 论文arXiv：后门、投毒与隐私
CIG-MIA：利用上下文信息增益对 RAG 系统发起成员推断攻击
论文提出 CIG-MIA，一种基于上下文信息增益的成员推断攻击，用于判断某文档是否属于 RAG 系统的知识库，覆盖灰盒与纯文本黑盒两种访问设定。其思路是显式注入候选文档对成员与非成员影响不同：文档已可通过检索获得时注入带来的额外支持很小，文档不在库中时注入引入新证据、似然增益更大。灰盒设定下直接由 token 级似然计算该增益，黑盒设定下用轻量代理估计器结合语义相似度与精确匹配特征，从生成文本中估计同一增益。