跳到正文
10月8日 · 周四

供应链安全 · 论文

找到 19 篇
  1. 攻击arXiv:2610.09819 ·

    FAB 攻击:给 HuBERT/WavLM 植入后门,背景警笛声即可让下游语音任务失灵

    提出FAB攻击,向声学基础模型植入可由环境声触发的后门

    测试
    HuBERT-base、WavLM-base训练与数据层
    摘要论文提出了针对声学基模的 FAB 后门攻击,在弱威胁模型下实现了任务无关、物理可触发的后门植入。
    • 定位与问题:论文提出了 Foundation Acoustic model Backdoor(FAB),探讨在攻击者无预训练数据、未知下游任务且无法数字篡改输入的弱威胁模型下,声学基础模型面临的供应链后门安全威胁。
    • 核心方法设计:利用无重叠的辅助语音数据通过聚类重构伪标签,以掩码预测损失保障良性输入效用;同时利用余弦距离将中间层(第 4 层)表征拉向固定的全 1 向量,并以固定信噪比随机叠加天然声音作为触发器,实现输入无关与无需同步的后门植入。
    • 关键实验结果:在 HuBERT 模型上,警报声触发使 9 项下游任务普遍退化,其中 ASR 任务 WER 从良性的 11.4% 升至 98.4%,PR 任务 PER 从 5.4% 升至 99.8%(Table 6);在 WavLM 上 ASR WER 同样达到 98.7%(Table 9)。
    • 物理与基线对比:在 iPad 播放与 MacBook 录音的真实物理场景下,单扬声器与双扬声器播放触发器分别使 ASR WER 达到 80.71% 与 82.74%(Table 2);性能优于 NLP 迁移基线 POR(触发 WER 为 59.4%,Table 3)。
    • 防御评估与局限:Fine-pruning 与输入过滤防御在降低攻击效果的同时大幅影响良性准确率(Table 5);端到端过度微调虽可降低错误率至 20% 以下,但带来约 12.8 倍计算开销且仅适用于数据丰富的 ASR 任务(Figure 4)。
    • 作者结论与呼吁:作者认为主流声学基础模型在现实物理条件下存在潜在的后门风险,呼吁学术界与工业界针对基础模型开发更低成本、跨任务通用的新型防御机制。
    完整解读
  2. 攻击arXiv:2610.07645 ·

    SkillPoison:用成功经验投毒自进化 Agent 的技能形成

    提出SkillPoison,用局部有效的成功经验投毒自进化智能体的技能形成

    测试
    deepseek-v4-flash、Qwen V3.8 Flash、GPT-5.5应用层
    场景
    AI Agent
    摘要SkillPoison 通过局部有效且验证成功的经验诱导技能过度泛化,在多个评测基准上实现了持久的下游攻击影响。

    SkillPoison 提出了一种针对自进化智能体经验到技能形成过程的攻击范式,通过组织已验证的成功经验诱导技能过度泛化。

    完整解读
  3. 攻击arXiv:2610.07510 ·

    PersistBD:攻击者可在发布前强化后门,使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    提出PERSISTBD,在发布前强化后门使其经良性后训练仍然存活

    测试
    Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct训练与数据层
    摘要总结了论文关于后门在SFT/RL中存活的发现、两因子机制、PERSISTBD方法与核心数字。

    本文研究第三方LLM智能体在开发者进行良性监督微调(SFT)和强化学习(RL)后训练时的后门持久性风险。

    完整解读
  4. 攻击arXiv:2610.05089 ·

    研究者披露 LiteLLM 网关跨租户干扰攻击 Cooldown Landmines

    提出Cooldown Landmines跨租户冷却干扰攻击并设计租户隔离

    测试
    Qwen1.5-MoE-A2.7B-Chat、DeepSeek-MoE-16B-Chat基础设施层
    摘要揭示网关共享冷却漏洞,提出来源检查与租户隔离防御。
    • 论文定位:论文研究了多租户 LLM 网关中由于共享后端故障与冷却状态导致的跨租户干扰攻击与拒绝服务风险。
    • 核心问题:LLM 网关在执行独立租户配额时共享后端部署的冷却记录,导致一个租户的请求失败会污染共享状态,使正常租户被误排除在健康部署之外。
    • 方法设计:揭示了本地 API Key RPM 拒绝与放行流量残留冷却两类攻击路径;提出了在网关内部给 Key 异常打标以阻断部署状态更新的 Origin Check,以及将 429 冷却记录按租户隔离的 Tenant Scoping 防御。
    • 关键结果:在 4 个 worker 的 5 轮配对实验中,租户隔离将恢复后的受害者回退次数从 54/60 降低至 0/60(Table 2);在多智能体投票任务中,攻击者通过 0 上游调用的本地拒绝将 8/8 个多数决策篡改为己方结果(Table 7);在 64 租户并发 429 故障下,租户隔离使上游请求中位数从 15 增至 209 次(Table 12)。
    • 结论与启示:作者认为网关的租户隔离设计不能仅停留在请求准入与配额层,必须同时覆盖管理后端可用性的故障处理与冷却状态。
    完整解读
  5. 攻击arXiv:2609.39065 ·

    TrustProbe 在 11 个开源 Agent 中发现 104 个技能信任链漏洞

    提出TrustProbe,挖掘技能内容流向特权操作的信任链漏洞

    测试
    deepseek-v4-flash、Kimi Code CLI、Qwen Code 等 5 个应用层
    摘要论文研究 skill 智能体的非安全信任链问题,提出 TrustProbe 工具并在 11 个开源智能体上验证了 104 个污点漏洞。
    • 论文定位:本研究系统探讨了基于 SKILL.md 的 LLM 智能体中存在的非安全信任链问题,即第三方不可信 skill 内容可跨越信任边界并滥用用户委托权限。
    • 核心问题:现存智能体框架自动将已安装 skill 注入执行上下文,但在从 skill 输入到敏感系统调用的传播路径上普遍缺乏内容过滤、来源跟踪与有效的执行层审批校验。
    • 方法要点:提出 TrustProbe 框架,通过静态提取 1,566 条 source-to-sink 路径构建种子,结合语义评分与调用图距离反馈指导灰盒模糊测试,并利用金丝雀标记与双重 bug oracle 验证真实危害。
    • 最重要的定量结果:在 11 个主流开源智能体上发现并证实了 104 个污点漏洞,ASR 达 100%;直接提示词重放仅能复现 31.7% 的漏洞;在 8 个开启最严格非交互审批的智能体中仍有 34.8%(31/89)的漏洞可被利用;对 633 个真实 skill 的测试中有 25.1% 触发漏洞路径,经微调有 15 个转化为完整攻击。
    • 作者结论与启示:作者认为,必须将第三方 skill 内容视为智能体执行安全边界的一部分,未来框架需在底层引入全链路来源标记、安装期能力声明,并在共享执行点实施细粒度的路径与参数级控制。
    完整解读
  6. 攻击arXiv:2609.39607 ·

    Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器,成功率最高 97%

    提出PRETEXT,迭代改写技能文本以绕过扫描并执行木马行为

    测试
    glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507)、gpt-oss (openai/gpt-oss-120b) 等 4 个应用层
    场景
    编程 Agent攻击者白盒
    摘要论文提出了针对多阶段技能检测器的白盒攻击,揭示了单纯依赖大模型自适应检测的局限。

    PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。

    完整解读
  7. 攻击arXiv:2609.26761 ·

    A2M:针对 MCP 生态的两阶段 Agent 劫持框架

    提出两阶段框架A2M,优化MCP工具元数据与返回载荷以劫持智能体

    测试
    GLM-4.6、Qwen3-Max、DeepSeek-V3.1 等 5 个应用层
    场景
    AI Agent
    摘要A2M 揭示了 MCP 智能体语义供应链风险,通过两阶段优化实现高调用率与推理劫持,且工具调用迁移性强于攻击成功率。

    论文提出了一种针对模型上下文协议(MCP)智能体的两阶段黑盒劫持框架 A2M。

    • 问题背景:MCP 智能体自主从第三方服务匹配工具并信任执行返回,带来了语义元数据与输出载荷双重受控的供应链安全隐患,而现有攻击未能有效串联工具选择与调用后操纵。
    • 方法核心:A2M 将攻击解耦为吸引与操纵两阶段;前期运用五类说服策略迭代工具名称与描述,筛选高调用率精英元数据;后期依托分析器-优化器架构,根据执行轨迹的结构化诊断反馈定向精炼返回载荷。
    • 直接攻击结果:在 LiveMCPBench 上以 GLM-4.6 为目标模型,A2M 的平均恶意工具调用率达到 93.6%,C-DoS 加权 token 成本扩大至良性基线的 32.4 倍,IE、EIC 和 RD 的攻击成功率分别达到 65.9%、64.3% 和 92.9%(Table 1)。
    • 迁移攻击结果:将 GLM-4.6 上优化的工具直接迁移至 Qwen3-Max、DeepSeek-V3.1、Kimi-K2-0905 和 GPT-5 四个模型,平均调用率为 63.6%,C-DoS 平均成本为 2.7 倍,三个场景平均攻击成功率为 24.5%(Table 1)。
    • 高调用与成功断层:实验显示工具调用并不等同于攻击成功,如 GPT-5 在 64.9% 至 76.3% 的调用率下 IE 和 EIC 的成功率均为 0.0%(Table 1);未成功攻击中载荷被忽略为主要失效原因(Table 8)。
    • 防御与生态启示:评估显示困惑度检测与元数据释义难以完全阻断攻击,信息流控制虽能降低攻击成功率但仍存残余风险;作者呼吁 MCP 生态应建立更为严格的工具准入审查与运行时隔离机制。
    完整解读
  8. 攻击arXiv:2610.01564 ·

    APEX 用跨技能链劫持 LLM Agent,GPT-5.4 上攻击成功率达 84.3%

    提出APEX,用跨技能进度记录夹带虚假授权劫持智能体

    测试
    Claude Sonnet 5、DeepSeek V4 Flash、GPT-5.4 等 6 个应用层
    摘要APEX通过跨技能传递虚假授权实现74.2%的动作诱导率,揭示了多技能协同的安全风险。

    论文针对大语言模型智能体使用多技能串联时的安全隐患,提出对抗性技能链构建框架APEX。

    完整解读
  9. 攻击arXiv:2609.35576 ·

    研究提出跨 LLM 助手的记忆跳跃攻击,单个被投毒文件可传播至 60–100% 的助手

    提出跨独立助手的工件介导记忆跳跃自传播攻击

    测试
    GPT-5.6 Luna、Kimi-K2.6、GPT-OSS-120B 等 6 个应用层
    摘要论文证实持久工件与内存可形成跨智能体传播链,揭示了将共享工件纳入安全防线的重要意义。

    该论文系统研究并量化了通过共享持久工件在具有独立私有内存的 LLM 智能体之间发生自传播的“工件介导传播”攻击风险。

    完整解读
  10. 攻击arXiv:2608.29381 ·

    研究者提出 Agent 检查点回滚的五类安全失效,并在 Hermes、Cline、LangGraph 上实现三种攻击

    提出破坏执行连续性的回滚攻击,揭示检查点恢复的安全故障

    测试
    DeepSeek-v4应用层
    场景
    AI Agent
    摘要论文系统研究了智能体C/R的安全性,分析了合法回滚破坏执行连续性的机理,并实证评估了其普遍性与危害。
    • 研究定位:该研究针对持久状态化 AI 智能体的检查点与回滚(C/R)机制,探讨了状态还原过程中的系统安全性。
    • 核心问题:随着智能体运行周期延长,C/R 成为从故障中恢复的关键手段;但现有机制仅关注状态本身的正确恢复,忽略了跨越恢复边界的安全依赖,导致恢复后的执行可能进入历史中从未合法共存的状态。
    • 方法要点:作者将现有 C/R 归纳为框架、工作区和 OS/VM 三类恢复边界,提出了包含多进程与外部世界的执行模型;形式化定义了执行连续性概念,提炼出内部覆盖不全(SF1)、内部状态不一致(SF2)、外部状态不匹配(SF3)、无约束非确定性重放(SF4)和未记录外部效应(SF5)五类故障模式;并设计了集收集、分析、检查与原生验证于一体的多智能体分析管线。
    • 关键实证结果:
      1. 在 TerminalBench 与 AgentBench 的 1735 次执行中,SF1 和 SF4 最普遍,出现率分别达 67.2%(1166 次)与 67.7%(1174 次);SF5 因评估任务多为本地操作仅占 2.3%(40 次)(据 Table II)。
      2. 针对系统级沙箱的 E2B 未观察到 SF1 与 SF2;而仅恢复工作区文件的 Hermes 和 Cline 暴露出大量 SF2 故障,在两基准上分别出现 240 次与 249 次(据 Table II)。
      3. 在包含 96 个持久外部动作的微基准中,调整执行与提交顺序均无法解决恢复鸿沟,先执行后提交与先提交后执行的失败率分别为 93.8%(90 次)和 96.9%(93 次)(据 Table IV)。
      4. 构建的 3 个真实端到端攻击与 30 个基于恶意 skill 的测试用例均攻击成功,且未被现有恶意 skill 检测工具拦截。
    • 作者结论与启示:作者指出正确恢复检查点内容并不等同于安全的执行恢复,回滚极易破坏支撑安全决策的上下文与依赖关系;未来的智能体恢复机制必须将恢复视为跨组件的安全边界,通过显式状态绑定、事务一致性与幂等协调机制保障恢复安全性。
    完整解读
  11. 攻击arXiv:2607.12340 ·

    研究:LLM Agent 技能名幻觉率最高达 62%,可被抢注用于供应链攻击

    提出技能名抢注攻击,利用智能体虚构技能名劫持技能供应链

    测试
    GLM-4.5-Air、GPT-5.4-mini、Claude Sonnet 4.6 等 10 个应用层
    摘要研究证实智能体虚构技能名具有高发生率与可预测性,现有防御难以兼顾安全与效用,亟需注册表结构性防护。

    本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险,将其形式化为一种新型供应链抢注攻击。

    完整解读
  12. 攻击arXiv:2609.01222 ·

    研究者提出上下文权限提升攻击,12 款 Agent 框架均受影响

    提出上下文特权提升攻击,借助记忆、技能与仓库内容操纵编程智能体

    测试
    GPT-5.5、GPT-5.4 mini、Claude-Sonnet-4.6 等 7 个应用层
    摘要论文系统揭示了 12 个智能体 Harness 的特权提升缺陷,提出 16 种攻击向量并通过工具 CORA 验证了广泛存在的安全风险。

    本文系统分析了真实世界 AI 智能体 Harness 上下文组装机制的安全性。

    完整解读
  13. 攻击arXiv:2608.23858 ·

    研究者对 Google AP2 v0.2 做系统安全分析,识别 48 项威胁

    系统分析智能体支付协议AP2,揭示合法签名无法阻止前置上下文操纵

    测试
    gpt-5.3、gpt-5.5应用层
    场景
    AI Agent
    摘要系统剖析AP2协议盲区,建立威胁模型并识别8项高危威胁,通过PoC与扫描器推动前置安全防御。

    本文针对Google智能体支付协议AP2 v0.2展开了系统性安全分析,揭示了密码学签名在智能体前置操作上下文遭到篡改时的安全局限。

    完整解读
  14. 攻击arXiv:2609.02774 ·

    CodePoisonRAG:针对检索增强代码生成的知识投毒攻击

    提出CodePoisonRAG,对检索增强代码生成的知识库投毒以植入漏洞

    测试
    Qwen 3.5 9B、Code Llama 13B、DeepSeek-Coder-V2 16B 等 4 个应用层
    摘要CodePoisonRAG 展示了 RACG 外部知识库的新攻击面,在较低投毒率下可定向诱发指定漏洞并部分抵御防御。
    • 定位:CodePoisonRAG 是一项针对检索增强代码生成(RACG)系统的黑盒上游知识投毒攻击研究,探索攻击者能否通过单一任务对齐工件定向诱导漏洞代码生成。
    • 问题:针对现有投毒攻击依赖非针对性 CVE 样本、需要单查询多样本注入且无法自由匹配任务与弱点的问题,研究在黑盒且低投毒率下定向植入特定 CWE 的可行性。
    • 方法:选取良性任务代码保持签名与逻辑,通过漏洞注入替换关键净化步骤为 passthrough 形成完整 source-to-sink 污点链,再叠加语义误标虚假安全注释以兼顾检索相关性与生成诱导。
    • 主要结果:
      1. 在 12,053 条良性库中仅引入 85 个工件(投毒率 0.700%),所有工件在 3 个模型上均 100% 进入 Top-3 检索上下文(Table II)。
      2. 无防御场景下在 Qwen 3.5 9B、Code Llama 13B 和 DeepSeek-Coder-V2 16B 上的 ASR 分别为 0.80、0.93 和 0.80(Table III)。
      3. 在 CodeGuarder 安全知识注入防御下,三模型 ASR 仍保持在 0.40、0.71 和 0.60(Table III)。
      4. 在共有的 4 类 CWE 上,Code Llama 13B 的平均 ASR 达到 0.97,高于现有 CVE 投毒基线的 0.67(Table IV)。
    • 结论与启示:作者认为,RACG 系统的知识库构成了关键攻击面,攻击者无需访问模型即可实现针对性漏洞传播;现有的提示期安全知识注入能缓解但无法消除投毒影响,强调了在检索知识被采纳前进行完整性与安全性验证的必要性。
    完整解读
  15. 攻击arXiv:2609.03884 ·

    HookPry:利用插件生命周期钩子更新劫持 AI Agent 框架

    提出HOOKPRY,利用插件生命周期钩子更新劫持智能体框架执行命令

    测试
    Claude Sonnet 4.6、DeepSeek-V4-Pro、Kimi-K2.6 等 6 个应用层
    摘要论文揭示了智能体框架钩子更新的供应链攻击面,提出了 HOOKPRY 框架并在测试中取得 77.0% 的成功率。
    • 论文定位:该研究揭示了现代 AI 智能体框架在插件生命周期钩子更新路径上的信任失效,提出了首个跨框架自动化的生命周期钩子供应链攻击框架 HOOKPRY。
    • 解决的问题:智能体框架将系统 Shell 命令绑定至运行时事件,且在框架底层独立派生子进程,绕过了大语言模型的推理闭环;框架在插件更新时继承既有信任,使攻击者可通过元数据和钩子配置更新静默植入并执行恶意命令。
    • 方法要点:HOOKPRY 串联三项机制:对抗清单优化(AMO)利用多意图代理目标提升良性插件检索概率;时间解耦(TD)利用良性探针定位低验证高权限的信任边界并实施条件激活;最小公共接口(LCI)提取通用能力规范并编译为目标框架的原生钩子配置。
    • 关键实验结果:
      • 在 7 个框架与 5 个后端的 1,000 次端到端测试中,HOOKPRY 微平均 E2E-ASR 达到 77.0%,在 Hermes 上达到 92.5%,在 Claude Code 上为 52.5%(Table 2)。
      • 在跨模型测试中,Codex CLI 的后端间标准差为 0.0 个百分点,Claude Code 为 2.5 个百分点,体现了事件触发后执行路径与模型的解耦特性(Figure 5)。
      • 在 50 个目标对比中,HOOKPRY 原生钩子的 E2E-ASR 为 92.0%,显著高于转换后 MCP 描述投毒的 56.0%(单侧二项检验 p = 7.09×10⁻¹²,Table 4)。
      • 在 40:40 静态测试中,Microsoft Defender 召回率为 0.0%,三款静态防御联合漏报率达到 47.5%(Table 6)。
    • 作者结论与启示:作者指出,模型层的内容安全过滤无法触及推理流之外的钩子执行;智能体安全必须将插件更新审查、钩子独立重新授权、子进程最小特权分配与运行时监控纳入全链路防护。
    完整解读
  16. 攻击arXiv:2608.06862 ·

    SynChain:诱导计算机使用 Agent 自建攻击链并跨任务持久化

    提出SYNCHAIN,以定向微调诱导智能体自合成跨任务潜伏工件

    测试
    Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 5 个应用层
    摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁,验证了潜伏载荷的跨任务传播能力与防御局限。
    • 定位:论文研究了计算机使用智能体(CUA)中由持久化工件自主生成引发的内部供应链安全风险。
    • 核心问题:现代 CUA 依赖自主编写并复用技能等持久工件来扩展能力,若底层模型受到供应链攻陷,可能在良性任务中生成带潜伏载荷的自合成工件,使得恶意行为无需外部新输入即可在后续任务中跨步激活。
    • 方法设计:提出 SYNCHAIN 框架,通过面向持久化的定向 SFT,将恶意逻辑潜伏编码在良性工件的结构冗余中;工件被纳入系统扩展状态后,通过状态转移实现严格的延迟激活。
    • 核心实验发现:在 OpenClaw、Codex 和 Claude Code 三个框架下,SYNCHAIN 在 Chain-1 无防御设置下取得 97.78%–98.89% 的平均 ASR,在 GuardAgent 下仍保持 87.78%–93.33%;在 Chain-2 取得 72.59% 的平均 ASR,显著优于适配基线 SkillJect 和 DemonAgent。
    • 传播边界与衰减:在更长任务链中,受上下文截断和记忆总结等信息瓶颈影响,Chain-4 与 Chain-5 的 ASR 分别回落至 6.67% 与 1.11%,表明跨任务传播存在天然的马尔可夫衰减边界。
    • 作者结论与启示:作者认为,持久性改变了智能体的安全边界,传统的单步输入过滤和输出审查无法防御内部工件传递的风险,未来需构建结合工件签名、权限约束与执行轨迹审计的来源感知防御。
    完整解读
  17. 攻击arXiv:2609.01023 ·

    Akrasia:针对推理型代码 LLM 的隐蔽后门攻击

    提出AKRASIA推断期后门,用代码级触发器与伪装推理操纵代码模型

    测试
    Claude-Sonnet-5、GPT-5.5、Gemini-3.5-flash 等 7 个提示层
    摘要论文针对推理代码大模型提出了隐蔽推断期后门攻击AKRASIA,揭示了模型思维链可被利用进行欺骗性伪装的安全隐患。
    • 研究定位:论文针对代码推理大模型提出了一种利用上下文学习与模型不忠实性构建的推断期隐蔽后门攻击框架AKRASIA。
    • 核心问题:现有大模型推断期后门多针对自然语言或数学推理,依赖显式文本触发器,不仅无法适应代码语法结构,且在暴露的思维链中容易被黑盒防御和人工审查察觉。
    • 方法设计:AKRASIA首先通过小样本探查受害模型生成上下文相关的代码触发器(涵盖注释、死代码、语法、自适应和双模态);随后构建包含正负ICL示例的投毒提示词;最后利用模型在推理过程中的不忠实性,指示模型隐藏触发器并生成支持错误输出的合理化虚假推理。
    • 关键实验发现:实验覆盖6个主流推理模型与3个代码基准。在CodeMMLU代码补全任务中,AKRASIA在Gemini-3.5-flash上达到99.34%平均ASR(Table 5);在LiveCodeBench代码生成任务中,AKRASIA-U在Gemini-3.5-flash上实现90.4%平均ASR和93.0%中毒ACC(Table 4);在3种SOTA防御测试中,AKRASIA在14/18个设置中维持55.36%至98.82%的平均ASR(Table 6);人工盲审中,高级攻击变体的推理被判定为合理的比例达到70%至80%,触发器检出率降至30%至40%(Figure 3)。
    • 特例与失效分析:GPT-5.5在CodeMMLU上的AKRASIA-UR版本ASR降至4.08%(Table 5),但在基础版本和不忠实版本下仍有44.04%与59.51% ASR(Table 12),作者将其归因于模型内部特定护栏的作用;自然语言基线BadChain在代码任务上的ASR降为0.0000(Table 9)。
    • 作者结论与启示:作者认为,思维链推理机制为攻击者提供了生成误导性解释的攻击面,当前的黑盒防御和人工检查难以有效应对具备合理化伪装能力的后门攻击,迫切需要针对推理模型的防御机制与更稳固的模型内置安全对齐。
    完整解读
  18. 攻击arXiv:2609.07051 ·

    TrojanWorld:通过想象引导对世界模型智能体植入后门

    提出TrojanWorld,通过想象引导给世界模型智能体植入供应链后门

    测试
    TD-MPC2、DreamerV3、R2-Dreamer训练与数据层
    摘要TrojanWorld 揭示了世界模型智能体的供应链后门风险,通过在世界模型中操纵想象可实现对闭环动作的持续控制。
    • 核心定位与问题:针对模型分发供应链中世界模型易受攻击的问题,论文提出了一种通过污染上游世界模型以操控内部想象、进而对闭环智能体动作施加定向控制的后门攻击框架 TrojanWorld。
    • 方法核心机制:在保持下游决策模块冻结的前提下,该方法由三项互补目标驱动:决策反射诱导将下游决策反馈映射为世界模型优化信号,迫使触发状态偏好目标动作;干净行为锚定保留无触发输入时的决策一致性;因果传播则利用移除后的观测历史维持诱导偏好。
    • 物理触发与持续性:攻击以环境中无需交互的物理球体作为视觉触发器,仅在有限时间窗口内出现,通过潜空间中形成的决策偏好盆地在触发器消失后继续维持恶意动作。
    • 关键定量结果:在 DMC、MetaWorld、MyoSuite 和 RoboDesk 基准上,攻击在 R2-Dreamer 上取得了低至 0.026 的动作偏差(Win-E),在 MyoSuite 上移除后偏差低至 0.014(Post-E);在所有被测架构中均保留了至少 98.8% 的干净性能,并在部分设置下将任务破坏率(TDR)提升至 90.00% 或 100.00%。
    • 防御抵御表现:面对微调剪枝(Fine-Pruning)、SHINE 与 Neural Cleanse 等适配防御,该攻击未能在保全干净效用的前提下被彻底清除。
    • 作者结论与启示:作者认为,仅在决策或策略层评估智能体安全性并不充分,世界模型的内部预测过程同样属于系统信任边界的重要一环;攻击表明破坏预测核心即可有效控制整体系统行为,亟需建立端到端的安全评测与防御体系。
    完整解读
  19. 攻击arXiv:2609.33985 ·

    研究:众包微调数据投毒可放大专有指令抽取

    提出主题锚点投毒,放大众包微调后的专有指令提取

    测试
    Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct、Llama-3.1-8B-Instruct 等 6 个训练与数据层
    场景
    模型与 API攻击者黑盒
    摘要论文提出基于主题锚点的数据中毒攻击,证明低比例的中毒样本可在黑盒条件下隐蔽放大微调指令泄漏。
    • 论文定位:本文揭示了众包监督微调(SFT)中低预算数据中毒放大提取他人专有微调指令的隐私风险。
    • 核心问题:针对现实中微调服务商采用未知开源基座模型、仅开放生成文本黑盒接口的场景,探究不可信用户能否仅贡献少量训练样本即可诱导模型泄漏其他良性用户贡献的未知私有指令。
    • 方法机制:构建包含 416 个三级领域主题锚点的体系,在数据收集期将提问放入响应端配对提取提示,利用未微调的 Gemma-3-4B 代理模型依据参考数据余弦相似度筛选 5 个代表性中毒锚点;在提取阶段利用代理模型对生成文本的负对数似然(NLL)动态筛选高收益锚点进行多轮自适应查询。
    • 关键实验结果:仅需注入 50 条中毒样本(微调集约 1%),Qwen2.5-14B 在 OpenMathInstruct 上的近原样提取率即达 8.84%(为良性微调 2.38% 的 3.71 倍),Llama-3.1-8B 在 AceReason 上达 5.85%(为良性微调 1.90% 的 3.08 倍)(Table 13);在默认 100 条中毒设定下,该攻击在多项指标上超过了控制 49% 后门数据的提供商后门基线(Table 1)。
    • 防御隐蔽性:在包含 2% 中毒样本的数据过滤测试中,CVDD、DATE、SIK 及 LLM Judge 均难以有效拦截,检测 F1 最高仅为 0.378(CVDD 作用于回复端),其余多数配置召回为 0(Table 4)。
    • 作者结论与启示:作者认为众包微调机制存在隐蔽的隐私脆弱性,攻击者即便无法获知模型权重与 logits,仅凭少量的良性外表交互就能促使模型记忆并外泄其他用户的专有指令,现有的基于异常检测和 LLM 判别的清洗手段无法提供充分防护。
    完整解读
已经到底了