跳到正文
今天10月8日周四
  1. 论文追踪 · 收录 · 原文 论文61

    用时序逻辑监控工具 Agent:MonPoly 标出 71.8% STAC 攻击链,但溯源检查被一行注入骗过 94%–99%

    研究者把 AgentDojo、STAC 和 R-Judge 已记录的轨迹转成事件流,用未经修改的 MonPoly 监控器离线回放,检验度量一阶时序逻辑(MFOTL)能否作为工具型 LLM Agent 的可复用护栏。五条通用义务在 STAC 上标出 71.8% 的攻击链、在 AgentDojo 上标出 70.1% 的成功攻击,但同时命中 29.3% 的正常运行,原因是这些语料几乎不记录审批、也从不记录时间戳,历史相关义务退化为风险动作类型识别。在轨迹带有关系上下文时,把转账收款人或邮件收件人绑定到此前结构化记录中的溯源义务能提升区分度,AgentDojo 银行场景的正常触发率从 44.0% 降到 24.0%,检出率从 79.2% 降到 70.0%。作者据此提出十二字段的执法就绪轨迹 schema,并指出当前基准缺少时间戳、审批 id、会话 id、状态对和信任域等字段。

    推荐理由论文用 AgentDojo、STAC、R-Judge 的已记录轨迹离线回放形式化监控,量化了时序护栏的检出率与误报代价。

  2. 论文追踪 · 收录 · 原文 论文57

    FAB 攻击:给 HuBERT/WavLM 植入后门,背景警笛声即可让下游语音任务失灵

    研究者提出 FAB(Foundation Acoustic model Backdoor)攻击,可在不接触预训练数据、不知道下游任务的情况下,向 HuBERT-base 和 WavLM-base 两个声学基础模型植入后门。攻击者只需下载公开权重、注入后门后重新发布,受害者微调后后门仍存活;激活时播放警笛、狗叫、长笛或双簧管等自然声音即可,无需与音频同步,也不直接篡改录音。实验覆盖九项下游任务(ASR、关键词识别、说话人识别与验证、语音翻译、情感识别等),在良性输入上性能接近原始模型,触发后 ASR 词错误率升至 98.4%,物理播放场景下词错误率仍不低于 80%。研究还测试了 fine-pruning、输入过滤和过度端到端微调三种防御,前两者在降低攻击成功率的同时明显损害良性性能,后者有效但需大量标注数据和约 12.8 倍训练时间。

    推荐理由论文给出在无预训练数据、任务未知条件下对声学基础模型植入后门的方法,并量化了其在九项下游任务和物理场景中的影响。

  3. 论文追踪 · 收录 · 原文 论文59

    研究:LLM 路由决策日志可推断用户医疗、自伤等敏感话题

    一项预注册研究在 170 万条真实请求(WildChat-1M、LMSYS-Chat-1M)上测量了 LLM 路由决策作为隐私信道的泄露程度,发现即使关闭内容日志,网关仍可保留每次请求所选模型、调用方与 token 数。在长度匹配条件下,RouteLLM 在 50% 工作点把骚扰和自伤请求送往强模型的概率比可比请求低 19 个百分点,医疗请求低 31 个百分点,性相关请求高 10 个百分点;第二个路由器 notdiamond-0001 对四类请求都更少送往强模型。仅凭 20 条路由决策即可区分频繁医疗提问用户,AUC 为 0.71,低于预注册的 0.75 阈值;域路由器的健康标签可达 0.92。作者调查了 11 个网关、路由器和云平台的日志字段,其中至少 6 个可在无内容日志下保留带调用方的逐请求模型记录,部分为默认行为。

    推荐理由论文在 170 万条真实请求上测量路由决策日志对敏感话题的泄露,并给出各类防御的代价,可帮助部署路由的团队评估元数据留存风险。

  4. 论文追踪 · 收录 · 原文 日期未知论文31

    超越奖励压制:有界奖励热启动 Bandit 的近最优离线攻击

    针对热启动 Bandit 的离线攻击研究提出"目标推广"机制:当目标臂位于奖励下界附近时,任何对 UCB 达到近最优成本的攻击都必须将不可忽略比例的成本分配给目标臂本身,而非仅压制非目标臂。作者据此设计了达到最优次线性成本的攻击,并刻画了其在目标推广与非目标压制间的成本分配,进一步将该攻击扩展至 Thompson Sampling、ε-greedy 及更广泛的 Bandit 算法。真实与合成数据实验验证了攻击的有效性。

  5. 论文追踪 · 收录 · 原文 论文32

    多智能体协同过滤系统的连接性攻击与防御研究

    研究将通用多智能体系统(MAS)中的攻击与防御方法迁移至基于智能体的协同过滤场景,在 AgentCF 框架下评估连接性对攻防效果的影响。连接性由每用户每轮候选物品数和跨用户物品目录重叠度两个维度刻画,实验揭示了用户与物品智能体之间的角色不对称、攻击效果的非单调时间动态,以及传播类与提取类攻击目标间的分化模式。研究还探索了传染病学启发的静态指标用于排序协同过滤配置的预期攻击结果。

  6. 论文追踪 · 收录 · 原文 论文40

    研究:工具调用成本与模糊目标提示使 LLM 购物智能体做出次优选择

    研究者用 Tool-Lab 实验考察营销定价线索对 AI 购物智能体的影响,该实验把商品属性放在需要付费的工具调用之后。在三个厂商的八款商用 LLM 上追踪选择前的信息获取过程,零成本时定价线索很少误导模型;一旦引入获取成本并配合模糊目标提示,LLM 会省略计算单价所需的诊断性属性,做出类似人类启发式的次优选择。相比主要保留诊断性搜索与最优选择的明确目标提示,约束条件下的模糊目标提示形成了一种由搜索中介的脆弱性。研究认为,委托式 AI 购物中的营销启发式受店铺信息架构支配,而不一定是 LLM 固有缺陷。

  7. 论文追踪 · 收录 · 原文 论文60

    研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

    研究者发现 AP2 智能体支付协议只对交易签名、不约束产生交易的决策,商家可控的商品描述文本即可操纵购物智能体。三类攻击中,Vault Whisper 诱导智能体用他人邮箱查询支付凭证,Branded Whisper 生成内容与展示不符但签名有效的购物车,Selection Whisper 仅用一条库存或产品沿革的事实陈述就把智能体从便宜商品推向更贵商品。在 AP2 示例智能体默认指定的 Gemini Flash-Lite 模型上,三类攻击成功率分别为 90%、56% 和 73.3%;Selection Whisper 在 17 个 Google 模型、3 个无关智能体框架和 Google 消费级助手上均有效,仅 claude-opus-5 以 1.2% 的成功率表现出较强抵抗。

    推荐理由论文把 AP2 支付协议下的提示注入拆成三类攻击并给出跨模型成功率,做 Agent 支付的团队可据此理解签名无法约束决策这一缺口。

  8. 论文追踪 · 收录 · 原文 论文56

    论文提出 eTAMP 攻击:网页内容注入可跨会话污染 Web Agent 记忆

    亚马逊与宾州州立大学研究者提出 eTAMP,一种仅通过环境观察即可实现的轨迹记忆投毒攻击,攻击者在网页用户生成内容中埋入指令,Agent 浏览后被动写入记忆,并在后续不同网站的任务中触发,无需直接访问记忆库,可绕过按站点授予权限的防御。在 (Visual)WebArena 上,约 280 组跨站点任务对中,攻击成功率最高为 GPT-5-mini 32.5%、GPT-5.2 23.4%、GPT-OSS-120B 19.5%;任务 A 阶段的提前触发率接近 0。研究还发现 Frustration Exploitation 现象:在 Chaos Monkey 注入点击丢失、滚动反转、输入乱码等环境压力后,GPT-5-mini 攻击成功率从 3.6% 升至 32.5%,提升约 8 倍,GPT-5.2 上升 17 个百分点。作者提示记忆应被视为不可信输入,并指出能力更强的模型未必更安全。

    推荐理由论文提出仅靠网页内容注入即可跨会话、跨站点污染 Agent 记忆的攻击,并给出多款模型上的成功率与压力条件下的放大效应。

  9. 论文追踪 · 收录 · 原文 论文50

    SoK 论文提出面向意图的多轮 LLM 越狱分类体系

    一篇 SoK 论文提出面向意图的四部分分类体系,按对抗意图结构系统整理多轮 LLM 越狱攻击。作者通过受控消融实验发现,攻击效果取决于意图在多轮之间被组织的方式,而非上下文长度或查询次数。研究进一步指出,意图的组织方式决定了其可被检测的层级,检测面需要从单轮层级扩展到会话层级乃至跨会话层级。作者据此认为,仅针对单轮的安全机制在结构上不足,单点评测也忽略了意图的组织方式,需要与有害意图可观测层级相匹配的评测协议。代码已公开。

  10. 论文追踪 · 收录 · 原文 论文52

    研究者提出针对世界模型的机器人学习管线投毒攻击

    研究者提出一种针对机器人学习管线的新型数据投毒攻击,利用世界模型作为隐蔽入口,在看似安全的遥操作数据集中注入恶意提示或破坏性转移动态,这些数据仅在经过世界模型处理后才会激活并生成危险的合成训练轨迹。该攻击在动作条件和文本条件的世界模型上均验证有效,实现了对下游 DRL 策略的端到端后门,并在 VLA 场景中给出概念验证。研究认为这一发现要求重新评估世界模型在机器人学习供应链中的安全定位。

  11. 论文追踪 · 收录 · 原文 论文59

    Trojan Hippo Bench:针对 LLM Agent 持久记忆攻击与防御的动态基准

    ETH Zurich、UC Berkeley 与 Snyk 的研究者提出 Trojan Hippo Bench,用于系统评测 LLM Agent 持久记忆中的投毒攻击与记忆层防御。该攻击通过一次不可信工具调用(如一封精心构造的邮件)把休眠载荷写入 Agent 长期记忆,仅在用户后续谈及财务、健康、身份等敏感话题时激活并把个人数据外发。在邮件助手场景下,未加防御的攻击对 OpenAI 和 Google 前沿模型的攻击成功率达 85–100%,注入后经过 100 轮良性会话仍可激活。研究者评测了四种基于基本安全原则的记忆层防御,可将攻击成功率降至 0–5%,其中可证明安全的信息流控制策略在所有配置下达到 0%,但各防御的效用代价差异很大,实际部署仍是未解问题。基准已开源。

    推荐理由论文给出持久记忆投毒在四种记忆后端上的攻击成功率与四类防御的效用代价,可据此评估自家 Agent 的记忆层风险。

  12. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文35

    从期望危害到似然:LLM 智能体越狱的概率重构

    研究提出越狱 LLM 智能体的概率重构框架,证明期望危害度对数对输入的梯度,等于在危害度重加权输出分布下模型对数似然的期望输入梯度,从而统一了期望危害最大化与目标似然优化两种思路。基于该联系提出采样分布 OPUR,用于生成高危害目标输出并引导基于似然的输入优化,实验显示该方法能有效越狱 LLM 智能体。

  13. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文60

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    研究者提出 WebMirage,一个针对视觉网页 Agent 的端到端红队框架,通过在被控图像上施加局部视觉扰动,让 Agent 选中攻击者控制的内容并执行对应浏览器操作。该框架用角色槽抽象与网页重组建模候选元素之间的竞争,并用 dataflow 分析把优化目标对齐到动作后处理阶段,只保留决定浏览器命令的 token。在四种 Agent 配置、六种 VLM 主干、覆盖 13 个公开网站与沙箱基准的 2250 个任务上,WebMirage 平均攻击成功率为 91.9%,最强基线为 17.4%。三种现有 Agent 级防御下攻击成功率仍在 86.5% 至 91.9% 之间;让候选标识符随机化的自适应防御把成功率从 93.8% 降到 11.7%,但干净任务准确率也从 100% 降到 15.9%。

    推荐理由论文把视觉红队建模为从视觉定位到浏览器执行的端到端过程,展示了该攻击在多种 Agent 配置下的成功率与现有防御的覆盖情况。

  14. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文48

    研究:去除有害信息不足以证明开源权重模型的抗篡改能力

    论文质疑仅凭去除有害信息就能让开源权重模型抵抗微调攻击的假设,指出发布时的互信息无法普遍证明模型恢复缓慢。作者从理论上说明,保函数的重参数化不改变信息量却会改变梯度下降几何结构,因此任何不变性认证都受限于最快可达的参数化。在训练数据过滤下的权重与数据互信息、能力移除下的标签与表示互信息两种情形中,训练顺序可在固定互信息下改变恢复时间,而精确的表示层独立性可保留整个参数 Jacobian。作者给出一个显式构造,其两个信息量均为零,却能在一次梯度步内恢复。受控实验展示了顺序依赖的恢复与参数化依赖的攻击速度,结论是认证还需要对发布后攻击动态的约束。

  15. 论文追踪 · 收录 · 原文 论文54

    研究者提出利用祖先 VLM 的黑盒对抗补丁攻击,可降低 VLA 任务成功率

    研究者提出三种针对视觉语言动作模型(VLA)的黑盒对抗补丁攻击,其特点是不需要访问目标 VLA,只利用其上游公开预训练 VLM。做法是利用多数 VLA 由公开 VLM 适配而来、继承了视觉感知与指令条件化 grounding 能力这一特点,分别设计视觉扰动攻击、指令 grounding 语义证据抑制攻击,以及用两阶段课程统一两者目标的联合攻击。在多个 VLA 系列上的仿真与静态真实图像实验显示,在祖先 VLM 上优化的补丁会造成 VLA 任务成功率大幅下降,说明 VLA 连同基础能力一并继承了对抗脆弱性。该效应并不均匀:在需要精确指令 ground 定位的任务上最强,在适配过程重写了共享视觉语义表征、或动作头会迭代平滑扰动的策略上几乎消失。

  16. 论文追踪 · 收录 · 原文 论文55

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    康奈尔大学、UC Davis、宾夕法尼亚大学与亚利桑那州立大学的研究者发现,参数固定、没有共享编码本的语言模型智能体对能通过多轮交互学会传递私密信息。实验用四选一的公开报告摘要配对四种秘密状态,智能体仅靠每轮一比特的对错反馈学习建立映射;在十局独立对局中,两个 GPT-5.6 Sol 智能体的最终准确率达到 95%,而随机猜测为 25%。在模拟事件响应任务中,发送方自行撰写更新并被告知保密,每一条消息都经监控逐条审核,十局 Sol 对局最终仍以 98.8% 的准确率恢复机密发现,且全部最终消息通过审核。研究还发现,从第一轮起对消息进行改写,三对智能体仍能在改写语言上学会通信,最终准确率为 75%、87.5% 和 87.5%;仅改写已有信道则使恢复率从 98.8% 降至 45%。作者认为,保密性不仅取决于单条消息写了什么,也取决于接收方从过往交互中学会了如何解读。

    推荐理由论文给出多模型配对在固定参数下的隐蔽信道成功率,并显示消息改写与监控评审在初次交互时被学习绕过。

  17. 论文追踪 · 收录 · 原文 论文57

    P-VMI:对抗图像经 KV cache 持续影响多轮对话

    ServiceNow AI Research 等机构的研究者提出 Persistent Visual Memory Injection(P-VMI)攻击,可将对抗图像的隐藏后门写入后续 token 的 KV cache,使图像被遮蔽后仍能影响模型输出。在 Qwen3-VL-8B-Instruct 上,P-VMI 最强配置的目标成功率约 90%,即使只在第一轮暴露图像也能在更严格设置下生效;原始 VMI 攻击在触发时遮蔽图像后成功率为 0%,说明持久性需要专门优化。研究还显示攻击能穿过保留摘要 KV cache 的上下文压缩,且在 Gemma-4-12B 上触发成功率超过 90%(三轮对话内)、六轮后为 73%。cache-swap 消融把持续影响定位到 KV cache,残差流中单一线性方向预测攻击成功的 AUC 达 0.90 至 0.95。

    推荐理由论文证明对抗图像的影响可在图像被遮蔽后仍留在 KV cache 中,为评估缓存复用与上下文压缩的安全性提供了新的攻击面。

  18. 论文追踪 · 收录 · 原文 论文44

    ASPIRE:面向 LLM Agent 的开放式提示注入红队引擎

    研究者提出 ASPIRE,一个面向 LLM Agent 的开放式、行为级漏洞发现红队引擎,用于应对 Agent 检索不可信内容并通过工具行动所带来的间接提示注入风险。ASPIRE 维护一个持续演化的 Agent Security Behavior Graph,用互补的 Explore 与 Exploit 专家发现、验证并泛化以后果为中心的测试;轨迹证据用于更新该图并诊断部分或失败的尝试,跨运行记忆则迁移有效的红队策略。论文称在多个基准上的实验显示,ASPIRE 在后果、注入方法、环境和行为路径上大幅扩展了覆盖范围,同时保持较高的攻击成功率。

  19. 论文追踪 · 收录 · 原文 论文47

    研究定位 LLaMA-2-7B-Chat 安全敏感参数:改动 0.19% 权重即可达 53% 攻击成功率

    研究者在 LLaMA-2-7B-Chat 上考察安全敏感行为是否集中在稀疏参数子集中,以缩小可被针对性攻击的故障面。他们采用低秩安全子空间分析与参数级安全-效用重要性过滤两种互补方法,发现网络内安全敏感度高度不均匀,MLP 的 down_proj 始终是最突出的安全敏感组件,o_proj 贡献较小。仅修改 down_proj 中 0.19% 的模型权重,即可达到 53% 的 Basic ASR 和 56% 的 GCG ASR,而 tinyBenchmarks 准确率仍为 51.6%,未修改基线为 52.2%。作者据此提出,应对资源受限、端侧和智能体场景中部署的语言模型开展针对性故障分析与选择性完整性保护。该工作已被 NeurIPS 2026 Workshop 接收。

  20. 论文追踪 · 收录 · 原文 论文51

    研究者提出 PackHallu:经规则文件提示注入对编码 Agent 发起包幻觉攻击

    研究者提出包幻觉攻击,攻击者在社区共享的规则文件(如 .cursorrules)中注入恶意提示词,诱导编码 Agent 把合法依赖替换为攻击者控制的包。为生成有效注入提示词,作者提出 PackHallu 进化优化框架,利用轨迹级反馈和 LLM 引导的变异迭代改写注入内容。在多个基准、LLM 和 Agent 框架上的评测显示,PackHallu 取得较高攻击成功率,并在不同模型与 Agent 组合间具有较强迁移性。研究认为编码 Agent 易受此类攻击影响,自主编码系统需要更强的安全防护。

  21. Hugging Face Daily Papers · 收录 · 原文 论文54

    研究:多向量视觉文档索引可被反演还原页面内容

    研究者提出一种针对多向量视觉文档检索索引的反演攻击,在零侧信息条件下仅凭存储的向量还原页面图像。攻击以条件流匹配反演器实现,先在 13 个公开检索器中识别出编码器,再从索引推断页面形状,并用位置模型恢复被打乱向量的顺序。在 ViDoRe v3 的 2000 页评测集上,从原始索引反演的页面恢复 47% 的单词和 45% 的敏感 token,98.4% 的情况下能把源页面排在第一;独立评判编码器下该比例为 97.7%。两种廉价防护中,token pooling 使单词召回降至约 8%,反演未成功;打乱顺序同样降至约 8%,但位置模型可将重识别率从 3.8% 提升到 93.5%。同一攻击原样迁移到另一个检索器 ColQwen3.5-4.5B 时,源页面排第一的比例为 70.2%。

    推荐理由论文给出多向量视觉文档索引可被反演的具体成功率与两种廉价防护的失效边界,运营向量库的团队可据此重新评估索引的敏感级别。

  22. 论文追踪 · 收录 · 原文 论文58

    UC Berkeley 提出 BenchJack,自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷

    UC Berkeley 研究者提出 BenchJack,一个面向 AI Agent 基准的自动化红队审计系统,可在不解决任何任务的情况下合成奖励作弊利用,在 10 个基准中的 9 个取得接近满分。该系统基于对既有奖励作弊事件的归纳,提出八类反复出现的评测缺陷分类(如隔离失效、测试自带答案、评测器远程代码执行、LLM 裁判提示注入、弱字符串匹配、评测逻辑缺口、信任不可信输出、权限过大),并整理成含 30 个问题、7 个类别的 Agent-Eval Checklist。在覆盖软件工程、网页导航、桌面操作和终端操作的 10 个基准上,BenchJack 共报告 219 处缺陷,横跨全部八类;其中 SWE-bench Verified 可被一个九行 PyTest hook 刷到全通过,WebArena 存在答案泄露。

    推荐理由论文给出八类评测缺陷分类与自动化审计工具,并量化了 10 个主流 Agent 基准的奖励作弊可复现程度,可供基准设计者对照自查。

  23. 论文追踪 · 收录 · 原文 论文59

    SLIP:无需外部攻击模型的多轮自我越狱,在 11 个模型上平均成功率 94.7%

    研究者提出 SLIP(Self-Jailbreaking via Lexical Insertion Prompting),一种无需外部攻击模型的黑盒越狱方法:先以生成安全训练数据为名让目标模型自己产出良性/有害提示-补全对,再通过多轮对话逐步插入攻击目标中缺失的关键词,用广度优先树搜索寻找最短越狱路径。在 AdvBench 和 HarmBench 上,SLIP 对 11 个模型(含 GPT-5.1、Claude-Sonnet-4.5、Gemini-2.5-Pro、DeepSeek-V3)取得 90–100% 攻击成功率,平均 94.7%(AdvBench)和 94.4%(HarmBench),平均仅约 7.9 次模型调用,比此前方法少 3–6 倍。Claude-Opus-4.5 最难攻破,为 61.4%/68.7%。

    推荐理由论文提出无需外部攻击模型的自我越狱方法,在 11 个模型上给出成功率与查询成本,并附一个对话级检测防御。

10月7日周三
  1. arXiv · 收录 · 原文 日期未知论文39

    IAU-FOA:面向闭源多模态大模型的可迁移对抗攻击方法

    研究者提出 IAU-FOA,一种面向闭源多模态大模型(MLLMs)的可迁移定向对抗攻击方法。现有定向迁移攻击主要用编码器 [CLS] 嵌入等全局图像级特征对齐对抗样本与目标样本,对 patch 级视觉结构利用不足,限制了跨异构闭源 MLLMs 的迁移性。IAU-FOA 同时在全局和局部对齐:用基于余弦的目标缩小全局语义差距,将 patch token 聚类为紧凑局部模式并通过最优传输匹配。针对均衡最优传输在缺乏可靠对应局部簇上强制固定边际质量、可能引入误导性对齐梯度的问题,作者引入置信度自适应非均衡传输,对弱匹配簇放宽约束。此外提出视觉不变性增强,通过双向像素强度缩放和逐通道白平衡调整模拟曝光、对比度、光照和色温变化。

  2. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文44

    研究审计 Qwen2-Audio 音频越狱 AdvWave-P 的频率与解码层归因

    研究者在 Qwen2-Audio 上审计加性音频越狱 AdvWave-P 的频率与解码层归因,在 STFT 域遮蔽扰动的频率成分并测量攻击成功率与音频跨度表示。在 520 条 AdvBench 提示上,主评判将 76.7% 的对抗输入标为越狱;单标注者盲条件验证给出 Rogan-Gladen 灵敏度估计 0.87(约 0.83-0.95),该校正未应用于遮蔽条件。表观频率排序依赖划分方式:仅能量占比即可预测标准八频段排序(Spearman's rho = 0.95),等 Hz 与等能量划分显示遮蔽任一测试频段都可能大幅降低攻击成功率;在更细的 16 频段等能量分辨率下,遮蔽 7520-7960 Hz 窄频段后 ASR 仍为 0.10,缺少匹配对照尚无法解释。匹配能量的分散移除测试显示,连续移除在低频段破坏更大,两种形式在高频段都接近下限。该关联并非因果定位,单层修补也不能确立因果层。

  3. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文49

    研究揭示投机解码的安全代价并提出 SecureSD 加固方法

    研究对投机解码的安全影响做了系统性测量,发现存在明显的安全与效用不对称:在多种有损投机解码方法中,推理效率提升带来的越狱和提示注入攻击成功率上升速度远快于效用下降。作者据此提出 SecureSD,理论分析指出安全退化主要来自 draft model 生成的早期 token,因此对早期解码位置的 draft token 采用更严格的验证标准。在安全与效用基准上的实验显示,SecureSD 在保持效率和效用的同时显著提升安全性。

  4. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文32

    ATLAS:用自适应信任域与主动学习搜索潜在对抗样本集

    ATLAS 是一个基于查询的黑盒对抗攻击框架,将攻击生成建模为主动学习中的水平集估计问题,结合校准近似与局部-全局采样架构定位并采样包含对抗样本的输入区域。在 MNIST、CIFAR 和 ImageNet 的标准与对抗训练模型上,ATLAS 生成的对抗样本比 NES、SignHunter、BayesOpt 等查询式黑盒攻击更具代表性,并在有限查询预算下覆盖更多对抗区域。该框架可用于开发中系统的鲁棒性分析与持续审计。

  5. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文49

    研究受控拆解图像到文本越狱中图像属性的作用

    研究者在 313 条 StrongREJECT 提示切片上,用五个多模态模型(附录另测 InternVL3.5-8B)考察四类已发表攻击家族中的图像侧因素,并保持有害指令不变。结果显示,单独的有害查询无论是否配无关良性图像,在多数模型上攻击成功率都很低,而攻击图像会显著提高成功率。逐 tile 熵和 JPEG 体积无法可靠区分攻击 tile 与体积匹配的良性干扰图,限制了仅靠密度筛查的做法;此前的 tile 数量阶梯实验受载荷可见性混淆,修正后的区域数量测试未发现可检测效应。在 Qwen3-VL-8B 上,移除查询相关性的 E4 操作使攻击成功率下降约 0.12,支持将部分效果归因于相关性操作,但图文一致性仍未测量。五项测试通过全局统计校正,仅 E4 支持归因到单一测量描述符,结论仍以评分标准判定为前提。

  6. 论文追踪 · 收录 · 原文 论文54

    SkillPoison:用成功经验投毒自进化 Agent 的技能形成

    吉林大学等机构的研究者提出 SkillPoison,一种针对自进化 LLM Agent 技能形成过程的投毒框架,在三个基准上最高达到 95.71% 的攻击成功率。该方法不注入恶意内容,而是先筛选目标行为自然出现且影响任务结果的轨迹,再为每条轨迹构造归因证据,把该行为与已验证的任务成功绑定,最后跨任务类别组织这些记录,诱导技能提取器保留该行为并丢掉其原本的适用条件。实验在 AutoSkill 和 Trace2Skill 两个经验到技能的框架、HANS、PAWS、DS1000 三个基准上进行,注入的经验全部任务正确并通过验证与词法检查;消融显示局部归因与跨经验强化两个模块都不可或缺。作者指出,技能形成过程需要保留行为的上下文适用条件。

    推荐理由论文提出用任务正确的成功经验诱导技能提取器过度泛化,攻击成功率 95.71%,为自进化 Agent 的技能形成环节提供了新的威胁模型。

  7. 论文追踪 · 收录 · 原文 论文57

    研究者提出答案侧后门:让模型自生成触发词绕过安全拒答

    研究提出答案侧后门:模型生成的回答可能在后续对话中诱发拒答失效,因此仅检查用户输入的防御可能遗漏风险。作者在多个开源模型的受控评测中报告较高攻击成功率,同时保留部分常规能力表现。结果限于论文的投毒与评测设置,不能直接外推为未经过相关处理的公开模型同样存在该后门。

    推荐理由论文提出把后门触发器放在模型自己生成的回答里,多轮对话中用户输入保持干净,主流输入侧防御难以拦截。

  8. 论文追踪 · 收录 · 原文 论文53

    研究揭示策略蒸馏的安全后门风险:3% 投毒率可致 70% 攻击成功率

    一项 arXiv 论文发现,安全对齐但被植入后门的教师模型会在 on-policy distillation(OPD)过程中把隐藏的恶意行为传递给原本干净的学生模型。在作者设定的威胁模型下,仅 3% 的投毒率就能让蒸馏后的学生模型达到最高 70% 的攻击成功率。研究进一步指出两个放大风险的因素:增加训练轮数会让低投毒率也产生高攻击成功率,仅 10 个投毒样本训练 16 轮后攻击成功率即达 67%;常用的 top-k KL 相比 sampled-token KL 会加速后门传递,使触发条件下的有害行为更早出现。作者还尝试了一种简单缓解方法 Lazy Defense,通过裁剪 KL 奖励让学生的更新不那么激进,实验显示它能在低投毒率场景下延缓后门传递。

  9. 论文追踪 · 收录 · 原文 论文53

    CORSA:面向技能路由器的技能注入攻击可跨路由器与 LLM 迁移

    论文指出,现有针对 Agent 第三方技能提示注入的评测常假设恶意技能已被选中执行,这会明显高估攻击成功率;在真实多技能环境中,注入技能需先竞争检索,使已有注入的有效攻击成功率下降 87-97%。作者提出 CORSA(Cluster Optimization for Router-Aware Skill Attacks),一种感知路由器的攻击方法,针对相关任务簇同时优化技能的检索与执行。研究将 SkillRouter 的基准扩展出八类恶意载荷,用分阶段优化先提升检索再优化端到端攻击成功率,并分别评估用户效用与注入自然度。实验显示 CORSA 在保持用户效用的同时提升了检索与端到端攻击成功率,且攻击可迁移到不同路由器架构和 LLM 底座。

  10. 论文追踪 · 收录 · 原文 论文55

    PersistBD:攻击者可在发布前强化后门,使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    PersistBD研究第三方模型中的后门能否延续至下游软件工程智能体训练。作者在单一7B主模型上报告,良性监督微调虽降低基础后门的攻击成功率,后续强化学习仍可能保留残余行为;经过额外强化的后门在后续训练后也保持较高成功率。研究提示,开发者不能假定正常后训练会消除继承权重中的后门,供应链安全仍需独立检测。

    推荐理由论文量化了良性 SFT 与 RL 对继承后门的削弱与保留程度,并给出攻击者提升后门存活率的方法,可供评估第三方模型供应链风险的团队参考。

  11. 论文追踪 · 收录 · 原文 论文59

    MemLeak 研究:多租户 Agent 共享向量记忆库存在跨用户记忆泄露

    Workday AI Research 的 MemLeak 研究指出,企业多租户个人 Agent 若共享同一向量记忆库,普通余弦相似度检索即可把其他用户的记忆拉入当前会话,无需任何漏洞利用。在池化同团队检索下,非对抗性泄露率达 70–100%;精心构造的记忆在 top-k 中占比 90–100%,生产级稠密检索下得分提升 +0.416 至 +0.511;端到端响应污染最高达 5.00/5,且被污染的回答常被评为同样或更有帮助。研究测试了三种缓解方案,只有检索后硬性归属门控能在两个生成模型上把污染恢复到 1.00/5 的干净基线,每次查询延迟开销约 1.4 ms。作者强调这是受控概念验证,样本为每条件 10 条查询,不代表真实企业泄露率。

    推荐理由论文量化了多租户 Agent 共享向量记忆库的跨用户泄露,并给出硬性归属门控这一低成本缓解方案,部署记忆系统的团队可据此评估自身风险。

  12. 论文追踪 · 收录 · 原文 论文53

    研究者提出 Privacy-Leaking Watermarks,可在本地多模态模型中泄露对话隐私

    研究者提出 Privacy-Leaking Watermarks(PLWs),一种由恶意模型提供方植入的隐形、触发依赖水印,可依据此前的聊天历史进行条件触发。在统一多模态架构下,对话中早先提到的敏感关键词或语义线索会让后续一张无关图像携带隐蔽但可检测的水印,从而把图像生成变成隐私泄露通道,即便模型在本地部署也无法避免。在 13 种敏感属性触发条件和两个模型家族上,PLWs 在 1% FPR 下最高达到 100.0% TPR;例如 OmniGen2 在所有测试的对话间隔下都能检出此前披露的抑郁信息,而对未披露此类信息的图像误报率仅 1%。

10月6日周二
  1. Hugging Face Daily Papers · 收录 · 原文 论文46

    研究显示拆分学习中的梯度可提升客户端文本重建率

    研究者在拆分学习场景下测量了梯度对客户端文本泄露的贡献。在 GPT-2 上,仅凭客户端层的公开权重,攻击者从激活值中恢复 94.20% 的 token,同时看到梯度后升至 97.38%,提高 3.17 个百分点,95% 区间为 [2.72, 3.64]。按文档统计差距更大:32 token 的文档中,无梯度时 13.71% 被完整重建,有梯度时为 37.77%,因为文档需每个 token 都正确才计入。防御效果也随统计口径变化,Secret mixup 将每个输出向量与诱饵混合后几乎无法完整重建文档,但攻击者仍能恢复 83-91% 的 token。在 GPT-2 与 Qwen3-0.6B 的第二组实验中,服务器只训练连续若干层时,起始层位置在层数固定情况下同时影响模型质量与泄露程度。 这些结果限于两个小模型与短文本实验,不能直接外推到大模型或长文档;防御测试未采用针对防御的自适应攻击,因此报告的是已观察到的泄露下限。

  2. 论文追踪 · 收录 · 原文 论文55

    TranScope:利用 CPU 性能计数器对 Transformer 做成员推断攻击

    TranScope 研究硬件侧信道可能带来的模型成员推断风险,即硬件层面的信息泄露是否能够暴露某条数据参与过模型训练。

    推荐理由论文给出基于硬件性能计数器的成员推断方法,在恒定时间模型上绕过置信度掩码,并披露已向 Intel 报告。

  3. 论文追踪 · 收录 · 原文 论文31

    NeuroSploit v4.2.0 在 GOAD 上的评测:结构化智能体编排提升 AD 渗透测试

    开源 Rust 自主渗透测试框架 NeuroSploit v4.2.0 在 GOAD 靶场(5 台虚拟机、2 个森林、3 个域)上完成评测,其编排 22 个 AD 专用智能体与 7 套多阶段攻击链 playbook,覆盖枚举、Kerberoasting、AD CS(ESC1-ESC8)、DCSync、跨森林信任滥用等完整杀伤链。对 Claude Opus 4.6/4.7/4.8、GPT-6 Astra、GPT-5.6 Sol、Grok 4.6、Qwen 3.8、GLM 5.3、Kimi k3 九个前沿模型的测试显示,框架实现 96-100% 技术覆盖率与 90-97% 精确率,直接调用仅覆盖 21-54% 且误报多出 3.2 倍;使用 Opus 4.8 时 134 分钟完成三域完全攻陷,护栏机制阻止了触发锁定的喷洒、未授权 DCSync 转储与越界侦察。