跳到正文
今天10月8日周四
  1. 论文追踪 · 收录 · 原文 论文57

    FAB 攻击:给 HuBERT/WavLM 植入后门,背景警笛声即可让下游语音任务失灵

    研究者提出 FAB(Foundation Acoustic model Backdoor)攻击,可在不接触预训练数据、不知道下游任务的情况下,向 HuBERT-base 和 WavLM-base 两个声学基础模型植入后门。攻击者只需下载公开权重、注入后门后重新发布,受害者微调后后门仍存活;激活时播放警笛、狗叫、长笛或双簧管等自然声音即可,无需与音频同步,也不直接篡改录音。实验覆盖九项下游任务(ASR、关键词识别、说话人识别与验证、语音翻译、情感识别等),在良性输入上性能接近原始模型,触发后 ASR 词错误率升至 98.4%,物理播放场景下词错误率仍不低于 80%。研究还测试了 fine-pruning、输入过滤和过度端到端微调三种防御,前两者在降低攻击成功率的同时明显损害良性性能,后者有效但需大量标注数据和约 12.8 倍训练时间。

    推荐理由论文给出在无预训练数据、任务未知条件下对声学基础模型植入后门的方法,并量化了其在九项下游任务和物理场景中的影响。

  2. 论文追踪 · 收录 · 原文 论文52

    研究者提出针对世界模型的机器人学习管线投毒攻击

    研究者提出一种针对机器人学习管线的新型数据投毒攻击,利用世界模型作为隐蔽入口,在看似安全的遥操作数据集中注入恶意提示或破坏性转移动态,这些数据仅在经过世界模型处理后才会激活并生成危险的合成训练轨迹。该攻击在动作条件和文本条件的世界模型上均验证有效,实现了对下游 DRL 策略的端到端后门,并在 VLA 场景中给出概念验证。研究认为这一发现要求重新评估世界模型在机器人学习供应链中的安全定位。

  3. 论文追踪 · 收录 · 原文 论文51

    研究者提出 PackHallu:经规则文件提示注入对编码 Agent 发起包幻觉攻击

    研究者提出包幻觉攻击,攻击者在社区共享的规则文件(如 .cursorrules)中注入恶意提示词,诱导编码 Agent 把合法依赖替换为攻击者控制的包。为生成有效注入提示词,作者提出 PackHallu 进化优化框架,利用轨迹级反馈和 LLM 引导的变异迭代改写注入内容。在多个基准、LLM 和 Agent 框架上的评测显示,PackHallu 取得较高攻击成功率,并在不同模型与 Agent 组合间具有较强迁移性。研究认为编码 Agent 易受此类攻击影响,自主编码系统需要更强的安全防护。

10月7日周三
  1. 论文追踪 · 收录 · 原文 论文54

    SkillPoison:用成功经验投毒自进化 Agent 的技能形成

    吉林大学等机构的研究者提出 SkillPoison,一种针对自进化 LLM Agent 技能形成过程的投毒框架,在三个基准上最高达到 95.71% 的攻击成功率。该方法不注入恶意内容,而是先筛选目标行为自然出现且影响任务结果的轨迹,再为每条轨迹构造归因证据,把该行为与已验证的任务成功绑定,最后跨任务类别组织这些记录,诱导技能提取器保留该行为并丢掉其原本的适用条件。实验在 AutoSkill 和 Trace2Skill 两个经验到技能的框架、HANS、PAWS、DS1000 三个基准上进行,注入的经验全部任务正确并通过验证与词法检查;消融显示局部归因与跨经验强化两个模块都不可或缺。作者指出,技能形成过程需要保留行为的上下文适用条件。

    推荐理由论文提出用任务正确的成功经验诱导技能提取器过度泛化,攻击成功率 95.71%,为自进化 Agent 的技能形成环节提供了新的威胁模型。

  2. 论文追踪 · 收录 · 原文 论文53

    研究揭示策略蒸馏的安全后门风险:3% 投毒率可致 70% 攻击成功率

    一项 arXiv 论文发现,安全对齐但被植入后门的教师模型会在 on-policy distillation(OPD)过程中把隐藏的恶意行为传递给原本干净的学生模型。在作者设定的威胁模型下,仅 3% 的投毒率就能让蒸馏后的学生模型达到最高 70% 的攻击成功率。研究进一步指出两个放大风险的因素:增加训练轮数会让低投毒率也产生高攻击成功率,仅 10 个投毒样本训练 16 轮后攻击成功率即达 67%;常用的 top-k KL 相比 sampled-token KL 会加速后门传递,使触发条件下的有害行为更早出现。作者还尝试了一种简单缓解方法 Lazy Defense,通过裁剪 KL 奖励让学生的更新不那么激进,实验显示它能在低投毒率场景下延缓后门传递。

  3. 论文追踪 · 收录 · 原文 论文55

    PersistBD:攻击者可在发布前强化后门,使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    PersistBD研究第三方模型中的后门能否延续至下游软件工程智能体训练。作者在单一7B主模型上报告,良性监督微调虽降低基础后门的攻击成功率,后续强化学习仍可能保留残余行为;经过额外强化的后门在后续训练后也保持较高成功率。研究提示,开发者不能假定正常后训练会消除继承权重中的后门,供应链安全仍需独立检测。

    推荐理由论文量化了良性 SFT 与 RL 对继承后门的削弱与保留程度,并给出攻击者提升后门存活率的方法,可供评估第三方模型供应链风险的团队参考。

10月6日周二
  1. 论文追踪 · 收录 · 原文 论文53

    研究揭示代码注释中的上下文注入攻击面:十款 Code LLM 中招率达 77.4%–92.3%

    研究者提出代码注释中的上下文注入攻击面,测试不安全指令嵌入开发上下文后能否诱导 Code LLM 生成漏洞代码。在十款 3B–13B 开源 Code LLM(四款基座、六款指令微调)和十类 Web 应用弱点上,攻击条件下 77.4%–92.3% 的补全含中等及以上弱点,良性条件仅 1.7%–5.1%。基座与指令微调模型平均漏洞输出率分别为 86.5% 和 84.5%,指令微调后降幅最多 8.1%,且易感性与模型规模或专精方向无明显关联。在易受攻击的输出中,86.2%–91.0% 被评为高或严重级别,去掉基于模式的检测器后效应依然存在。生成后筛查能降低但无法消除风险,最强筛查仍漏掉约三分之一。

  2. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 日期未知论文50

    研究者提出 EviLLM 攻击:通过被入侵账号向 AI 代码生成流程注入漏洞

    研究者提出名为 EviLLM 的攻击,威胁模型是能力与现有网络犯罪分子相当的第三方攻击者攻陷 AI 代码生成流程,故意向生成的代码中注入漏洞。该攻击实现了两个实例,均只需通过被入侵的账号或浏览器访问底层 LLM,即可注入 13 类 CWE 漏洞;可行性研究显示这两种攻击向量已被用于实施多种现有网络攻击。用户研究中,两个实例注入的漏洞分别有 8 人中的 7 人和 13 人中的 10 人未察觉,21 名参与者中有 13 人很少或从不考虑此类攻击风险。

  3. 论文追踪 · 收录 · 原文 论文46

    研究揭示 Jev 作为应用决策层的安全与隐私风险

    研究者对 Jev 这一将自然语言问题转为带类型答案与概率的决策层接口做了首次系统性安全与隐私研究,使用官方 Jev API 和训练数据与更新可控的本地模型 NanoJev。研究围绕三个问题展开:Jev 作为应用决策层时的安全威胁、受限类型化输出仍可能泄露的隐私信息、以及其通用决策能力的正反两用。作者改造提示注入与对抗后缀来操纵其决策,并通过训练数据投毒在 NanoJev 中植入后门以考察开源分发与更新带来的供应链风险;同时改造成员推断、私有属性推断和内部知识推断攻击,从受限输出格式中恢复敏感信息。研究还用提示注入、越狱输入、有害内容和 AI 生成文本四项检测任务考察其防御用途,并分析越狱与模型提取等滥用场景。实验显示 Jev 对上述安全与隐私威胁仍然脆弱,其决策能力可同时支持有益与恶意用途。

  4. 论文追踪 · 收录 · 原文 论文53

    研究者提出仅修改 SAE 解码器的后门攻击,可在不改动语言模型的情况下植入行为

    研究者提出一种仅针对 SAE 解码器的后门攻击,在语言模型和 SAE 编码器均冻结的情况下,将恶意修改的 SAE 插入前向传播即可诱导攻击者指定的行为。以代码生成为例,该攻击在三个语言模型和多种插入层上实现了较高的非请求代码插入率,并能依据提示词线索触发特定行为。研究还用 HumanEval 和部分 SAEBench 指标评估了被修改的 SAE,发现强后门行为可以与若干常规 SAE 质量指标的较小变化共存。作者据此认为 SAE 可携带行为后门而无需修改语言模型本身,应被视为安全敏感组件。

10月5日周一
  1. 论文追踪 · 收录 · 原文 论文59

    TrustProbe 在 11 个开源 Agent 中发现 104 个技能信任链漏洞

    中科院信息工程研究所与伍斯特理工学院的研究者提出 TrustProbe,用于挖掘基于技能的 LLM Agent 中不安全的信任链,在 11 个开源 Agent(其中 8 个 GitHub 星标超过 10,000)中确认 104 个污点式漏洞,涵盖命令注入 49 个、文件泄露 27 个、文件篡改 22 个、网络请求 5 个和代码注入 1 个。方法先对 Agent 源码做 source-to-sink 分析,从技能可控输入追踪到安全敏感操作,再用定向灰盒模糊测试生成并变异带 canary 的 SKILL.md 种子,最后用 oracle 确认攻击者控制并验证可观测危害。同一批技能正文改为直接提示词投递时,仅 31.7% 的漏洞仍可利用;在 8 个提供审批层的 Agent 上启用最严格非交互审批配置后,89 个漏洞中 34.8% 仍可利用,原因是执行路径绕过策略或策略未覆盖相关操作。

    推荐理由论文给出跨 11 个 Agent 的 104 个技能信任链漏洞与真实技能触发率,可对照检查自家技能加载与审批机制。

  2. 论文追踪 · 收录 · 原文 论文49

    研究者提出解耦铺垫与执行的 LLM Agent 技能投毒攻击

    研究者提出一种基于协同的技能投毒攻击范式,将执行理由与具体操作解耦,使恶意操作在下游 Steering Skill 中保持完整、看起来完全合法。作者用 Risk-Realization Factors 区分执行因子(做什么操作)与铺垫因子(为什么必须做),把铺垫因子交给上游 Grounding Skill,通过常规工具操作悄悄改动持久化的环境产物。配套的自动化框架能发现真实执行依赖、合成成对的铺垫与执行技能,并借助运行时闭环反馈迭代优化投毒指令。在单会话和跨生命周期的持久化场景中,该解耦式技能投毒取得高攻击成功率,暴露出孤立审计单个 Skill 的安全盲区。代码已公开。

  3. 论文追踪 · 收录 · 原文 论文59

    Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器,成功率最高 97%

    研究者提出 Pretext,用于评估了解检测器内部机制的攻击者能否绕过 Agent 技能安装前的安全扫描。论文报告,这类白盒攻击可以在保留技能正常功能的同时逃过结合静态检查与语言模型判断的检测框架,并在三个开源模型上比较了检测器固定及与攻击者共同适应两种设置。作者报告两种设置下仍存在较高的绕过风险,指出安装前扫描不足以单独保证技能执行安全。这些结论来自论文作者的实验,不能视作所有技能扫描器或实际部署环境的普遍结果。

    推荐理由论文给出针对技能扫描器的白盒绕过方法与两种检测器设定下的成功率,做 Agent 技能供应链安全的团队可据此评估现有扫描器的边界。

  4. 论文追踪 · 收录 · 原文 论文59

    A2M:针对 MCP 生态的两阶段 Agent 劫持框架

    研究者提出 A2M(Attraction-to-Manipulation),一个针对 MCP 智能体的两阶段黑盒攻击框架,先优化工具名称与描述提高被调用概率,再利用执行轨迹迭代优化工具返回内容以操纵智能体后续推理。在 LiveMCPBench 上,直接针对 GLM-4.6 优化的攻击在四个场景下平均恶意工具调用率为 93.6%,认知拒绝服务场景下加权 token 成本升至良性基线的 32.4 倍,信息窃取、环境完整性破坏与推理误导三类攻击的平均成功率为 74.4%。未经重新优化迁移到另外四个模型时,对应指标分别为 63.6%、2.7 倍和 24.5%,说明工具调用比完整攻击成功更容易迁移。GPT-5 上调用率介于 64.9 至 76.3,但信息窃取与环境完整性破坏的攻击成功率均为 0,推理误导为 22.0。作者据此呼吁加强 MCP 工具审查与运行时隔离,代码已公开。

    推荐理由论文给出 MCP 工具元数据与返回内容两阶段优化的完整攻击链,并区分工具调用率与真正攻击成功率,部署 MCP Agent 的团队可据此评估工具审查与运行时隔离的缺口。

  5. 论文追踪 · 收录 · 原文 论文58

    APEX 用跨技能链劫持 LLM Agent,GPT-5.4 上攻击成功率达 84.3%

    研究者提出 APEX,通过构造跨技能链劫持 LLM Agent:上游技能诱导 Agent 把真实任务进度与攻击者提供的“已获批准”声明写入持久记录,下游技能再据此执行攻击者选定的动作。在 SkillsBench 的四个目标动作族和六个模型上,690 次尝试中有 512 次(74.2%)成功诱导目标动作;在 GPT-5.4 上完整链成功率为 84.3%,而把工作流合并为单个技能时为 17.4%,直接注入为 3.5%。攻击在多数情况下不显著降低原任务通过率,GPT-5.4 四个族的原生验证器通过率平均仅变化 2.6 个百分点。可用性攻击 Work Loop 使各模型每任务 token 用量达到基线的 2.20 倍至 36.39 倍。

    推荐理由论文给出跨技能链式攻击在六个模型上的成功率与任务效用变化,并量化了提示防御带来的良性任务损失。

10月4日周日
  1. 论文追踪 · 收录 · 原文 论文49

    论文指出密码学模型认证的假设缺口:审计通过但部署失效

    论文《Certified in Theory, Broken in Practice》指出,基于安全零知识证明(ZKP)的密码学模型认证(CMC)方案存在假设缺口:现有安全定义只保证模型在固定审计数据集上的行为,未保证同一分布的其他数据上同样成立。作者据此构造攻击,通过精心设计训练数据,使模型在审计中表现正常、部署后出现病态行为,实验显示攻击者可认证模型在审计集上准确率超过99%,而在同分布新样本上不足30%。为弥补该缺口,作者形式化了面向 CMC 框架的密码学安全定义,提出通用协议模板并证明其满足这些要求。作者认为该结果既是对现有方案的警示,也为设计安全、隐私保护的机器学习审计协议提供了建设性指引。

  2. 论文追踪 · 收录 · 原文 论文56

    研究提出跨 LLM 助手的记忆跳跃攻击,单个被投毒文件可传播至 60–100% 的助手

    研究者提出“产物中介传播”这一攻击形态:恶意内容经一个被投毒的文件进入助手持久记忆,再被写入该助手后续创建的产物,被另一个独立运行的助手读取后继续传播,助手之间无需直接通信。作者构建了模拟用户之间文件交换的“人类—助手宇宙”,在 36 个留出测试宇宙上评估 GPT-5.6 Luna、Kimi-K2.6、GPT-OSS-120B 和 DeepSeek-V4-Pro,攻击提示词按模型分别优化后冻结,测试目标与工作流均未见过。首跳感染在 78–100% 的运行中成功;DeepSeek-V4-Pro 和 GPT-OSS-120B 的目标感染率达 98% 和 85%,76% 和 61% 的传播链到达第 4 跳,经删失校正后 85% 和 73% 的链在第 7 跳仍存活。作者指出,重置助手记忆无法终止传播,因为仍在流通的被感染产物会再次感染它,并建议把共享产物与记忆纳入安全边界。

    推荐理由论文给出跨独立助手传播的量化结果与逐跳存活率,部署持久记忆与文件读写助手的团队可据此评估共享产物的安全边界。

  3. 论文追踪 · 收录 · 原文 论文58

    研究者提出 Agent 检查点回滚的五类安全失效,并在 Hermes、Cline、LangGraph 上实现三种攻击

    南方科技大学与香港城市大学的研究者对 Agent 系统的检查点与回滚(C/R)机制做了系统性安全研究,提出“执行连续性”概念,指出正确回滚不等于安全恢复。他们按恢复边界把现有机制分为框架状态、工作区状态和 OS/VM 状态三类,并归纳出五种失效模式:内部状态覆盖不完整、检查点状态不一致、外部状态不匹配、非确定性重放未绑定、外部副作用未记录。基于这些模式,作者在 Hermes、Cline 和 LangGraph 上构造了三个端到端攻击,分别实现恶意软件验证绕过、未授权邮件转发和单次审批下的重复支付,均不需要篡改检查点内容或破坏回滚实现。评估覆盖 TerminalBench 与 AgentBench 的 347 条轨迹、五个框架共 1735 次框架任务执行,SF1 与 SF4 出现率分别约 67.2% 和 67.7%,SF5 仅 2.3%。

    推荐理由论文把回滚后恢复执行的安全问题拆成五类失效模式,并给出三个可复现的端到端攻击,适合做 Agent 恢复机制设计时的检查清单。

  4. 论文追踪 · 收录 · 原文 论文58

    研究:LLM Agent 技能名幻觉率最高达 62%,可被抢注用于供应链攻击

    华中科技大学与南洋理工大学研究者对 12 种配置(4 个独立 LLM 与 8 个 Agent)的 15,000 条提示词做了大规模测量,发现所有配置都会推荐不存在的技能名,即技能名幻觉,独立 LLM 平均幻觉率 36.0%,Agent 平均 36.9%,在真实开发者提问上升至 43.1%,单配置区间为 6.5% 至 62.0%。这些名称并非随机噪声:Claude Sonnet 4.6 在 10 次运行中平均 7.8 次重复同一个幻觉名,410 个名称被两个以上配置共享,占全部幻觉推荐事件的 15.3%,另有 851 个幻觉名恰好是真实存在的 PyPI 或 npm 包名。攻击者可先收集这些可预测的名称,再在几乎不审核发布者的注册表上抢注含恶意 SKILL.md 的技能,等待受害者安装。作者认为修复需要注册表层面的名称预留与经过验证的推荐流程。

    推荐理由论文首次系统测量 Agent 技能名幻觉,给出 12 种配置的幻觉率与可被抢注的重复名称,为技能注册表设计提供依据。

  5. 论文追踪 · 收录 · 原文 论文53

    ElasticBack:通过触发词与规则耦合在 LLM Agent 技能中植入条件后门

    研究者提出 ElasticBack,一种针对 LLM Agent 技能供应链的条件单技能后门:在技能文档中植入规则 R,在用户查询中植入看似无害的触发词 T,只有两者同时出现时恶意载荷才会触发。该方法用触发词即开关的构造把两侧绑定,通过语义锚定的规则注入生成 R,再冻结 R 并用带隐蔽性约束的遗传搜索演化 T,从而在不微调权重的情况下兼顾攻击效果与隐蔽性,在良性输入上保持休眠。实验覆盖三类目标行为(每类 50 个技能)和四个 Agent LLM,报告了高攻击成功率、接近零的误报率、保持干净的准确率,并能跨模型迁移、规避部署期防御。作者据此呼吁加强对技能供应链的防御。

  6. 论文追踪 · 收录 · 原文 论文53

    论文:蒸馏防御在蒸馏后强化学习下易被攻破

    研究者提出,现有蒸馏攻击防御通常在蒸馏完成后立即评测,隐含假设攻击者不再继续训练模型,而更现实的威胁模型应包含蒸馏后的强化学习阶段。论文显示,一些在蒸馏后看似有效的防御,在后续强化学习后会被攻破,强化学习实际上降低了蒸馏攻击的门槛。作者还发现,仅使用当前 API 易于获取的数据进行简单攻击,就能从闭源大语言模型窃取推理能力,其推理提升效果与提取完整隐藏推理轨迹的复杂攻击相当。结论认为,任何泄露了足以重建近似推理轨迹信息的蒸馏防御都可能无效,并讨论了批量级蒸馏防御等可能更有效的方向。

10月3日周六
  1. 论文追踪 · 收录 · 原文 论文57

    研究者提出上下文权限提升攻击,12 款 Agent 框架均受影响

    伊利诺伊大学厄巴纳-香槟分校研究者对 12 款主流 AI Agent 框架的上下文装配机制做了系统安全分析,提出两类新的上下文权限提升攻击:消息角色权限提升(M-CPE)让低权限来源的内容进入高权限消息角色,跨范围权限提升(X-CPE)让攻击者内容持久化到更广作用域的来源中。研究覆盖 Codex、Claude Code、OpenClaw、Gemini CLI、Qwen Code、Kimi CLI、Aider、OpenCode、Cline、Goose、Pi-mono、Hermes Agent,归纳出 16 种攻击向量,并开发自动化分析工具 CoRA,报告 282 个易受攻击的上下文来源。概念验证攻击在 GPT-5.5、GPT-5.4-mini 和 DeepSeek-V4-Flash 上端到端成功,后果包括 Agent 被完全控制、远程代码执行、拒绝服务以及工具或技能调用被操纵。

    推荐理由论文系统梳理了 12 款主流 Agent 框架的上下文装配设计,给出两类权限提升攻击与 16 种攻击向量,部署 Agent 的团队可据此检查自身的上下文来源与角色分配。

  2. 论文追踪 · 收录 · 原文 论文56

    研究者对 Google AP2 v0.2 做系统安全分析,识别 48 项威胁

    以色列本-古里安大学与 Intuit 的研究者对 Google 的 Agent Payments Protocol(AP2)v0.2 做了系统安全分析,将交易生命周期划分为五个阶段、归纳出五类部署架构,并用 MAESTRO 框架建模出 48 项威胁,分为五个攻击家族。作者用 AIVSS 对每项威胁按架构分别评分,其中 8 项在至少一种架构下达到 High 等级。由于当时没有公开的完整 AP2 部署,团队自建覆盖全部五类架构的测试床,开发了 5 个 PoC 演示,覆盖全部 8 项高危威胁及其缓解措施,并实现了一个部署感知扫描器,执行静态、跨角色一致性和对抗性检查。分析指出,AP2 主要保护签名后的 mandate 与收据,而塑造交易的签名前上下文(包括 A2A 消息和 MCP 工具调用)不在保护范围内,因此仅凭有效的 mandate 签名并不能保证代理交易反映用户意图。

    推荐理由论文对 AP2 v0.2 的五个部署架构做了系统威胁建模,并给出覆盖 8 个高危威胁的 PoC 与缓解措施,可供实现者对照自查。

10月2日周五
  1. arXiv · 收录 · 原文 论文56

    CodePoisonRAG:针对检索增强代码生成的知识投毒攻击

    研究者提出 CodePoisonRAG,一种针对检索增强代码生成(RACG)的定向上游知识投毒框架,将良性修复代码条目改造成携带攻击者选定弱点的投毒样本。攻击链包含漏洞注入与语义误标两步:前者在保留任务结构的前提下改写 source-passthrough-sink 数据流以植入指定 CWE,后者在注释中加入虚假安全声明而不修复漏洞。研究者在 Java 和 C 的十类 CWE 上构造 85 个投毒样本,注入 12,053 条良性检索语料后投毒比例仅 0.7%,每个任务最多注入一个样本。在三个生成模型上,85 个样本全部进入对应查询的 Top-3 检索结果,攻击成功率介于 0.80 至 0.93;面对 CodeGuarder 防御时成功率仍为 0.40 至 0.71,其中 Code Llama 13B 上最高达 0.71。

    推荐理由论文给出针对检索增强代码生成的知识投毒框架,用极低投毒比例实现高攻击成功率,并测试了现有防御的削弱幅度。

  2. arXiv · 收录 · 原文 论文59

    HookPry:利用插件生命周期钩子更新劫持 AI Agent 框架

    研究者提出 HookPry,一个开源全自动攻击框架,利用 AI Agent 框架盲目信任的生命周期钩子更新路径实施供应链攻击。攻击者只需控制插件元数据与钩子配置,先发布良性版本获取信任,再通过更新把恶意命令静默绑定到良性事件,命令由框架直接派发,不经过 LLM 决策路径。HookPry 由对抗性清单优化、时间解耦和最小公共接口三部分组成,实现十种攻击目标。在 7 种框架与 5 种 LLM 后端共 25 种组合、1000 次端到端运行中,全部 7 种框架被攻破,Hermes 上成功率最高达 92.5%,整体微平均 E2E-ASR 为 77.0%,机制触发率 83.9%,无一次被模型显式拦截。防御方面,Microsoft Defender 召回率为 0%,三种静态防御联合仍漏掉 47.5% 的恶意样本。

    推荐理由论文把生命周期钩子更新路径单独列为供应链攻击面,并给出跨 7 种 Agent 框架的自动化验证与防御缺口数据。

10月1日周四
  1. arXiv · 收录 · 原文 论文55

    10a Labs 测绘无审查开源模型生态:3,471 个原始模型与 8,164 次再分发

    10a Labs 对 2024 年 1 月至 2026 年 3 月初 HuggingFace 与 GitHub 上的无审查开源模型生态做了全链路测绘,识别出 3,471 个原始无审查模型和 8,164 个压缩再分发版本。每个原始模型平均被重新打包 2.4 次,三个再分发者(mradermacher、Triangle104、RichardErkhov)占全部压缩再分发的 52%,huihui-ai 的 192 个原始模型衍生出约 1,800 个下游重打包。生产端与再分发端基本分离,至少 1,055 个生产者和 1,011 个再分发者中仅 24% 重叠。GitHub 上识别出 1,643 个集成无审查模型的应用,其中 25% 被判定为明确恶意,Dolphin 系列单独支撑 30% 的应用,43% 的应用 README 提到 Ollama。

    推荐理由报告量化了无审查开源模型的再分发网络与下游应用构成,为评估权重安全与平台治理提供可比较的规模数据。

  2. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文43

    研究揭示基于混淆的端侧 LLM 保护方案的安全边界

    论文针对 TEE 保护的端侧 LLM 提出一套混淆原语,用线性计算的双元组形式统一刻画代表性 TEE-Shielded LLM Partition(TSLP)方法,并给出这些原语组合的规范形式作为安全边界。作者据此设计原语引导的攻击方法,指出 ArrowCloak(Security'25)、TSQP(S&P'25)和 LoRO(NeurIPS'25)等 TSLP 方法存在共同脆弱性。论文随后引入两种新的混淆原语并与现有构造结合,形成扩展原安全边界的防御方案。该工作已被 ACM CCS 2026(Cycle B)接收,共 16 页。

  3. arXiv · 收录 · 原文 论文57

    SynChain:诱导计算机使用 Agent 自建攻击链并跨任务持久化

    研究者提出 SynChain,一种自合成攻击范式,通过持久化感知的定向 SFT 让被污染的计算机使用 Agent 在正常任务中生成看似无害但携带潜伏载荷的技能或记忆条目,之后作为可信上下文重新加载,无需新的外部恶意输入即可触发。作者构建了 CuaChain 数据集,包含 30 条良性任务链和隐私泄露、权限篡改、未授权写入三类攻击目标。在 OpenClaw、Codex 和 Claude Code 三种框架、四种防御设置下,SynChain 在 Chain-1 平均攻击成功率超过 93%,Chain-2 仍高于 72%,显著优于改造后的 SkillJect 和 DemonAgent 基线。随着链长增加攻击效果下降,Chain-3 降至 26.57%,Chain-5 仅 1.11%,作者将其归因于记忆摘要和上下文截断形成的信息瓶颈。

    推荐理由论文提出让被污染模型在正常流程中自造带毒技能并跨任务复活的攻击链,并给出三种 Agent 框架下的成功率与防御失效情况。

  4. arXiv:后门、投毒与隐私 · 收录 · 原文 论文57

    Akrasia:针对推理型代码 LLM 的隐蔽后门攻击

    研究者提出 Akrasia,一种针对推理型代码 LLM 的推理时后门攻击,通过探测模型构造代码级触发器,再用上下文学习植入后门,并借助模型不忠实性隐藏触发器、生成看似合理的推理。在 GPT-5.5、Claude Sonnet-5、Gemini 3.5 Flash、DeepSeek-V4-Pro、GLM 5.2、Qwen3.6-35B 六款模型上,攻击在 CodeMMLU 代码补全任务的平均 ASR 最高达 99.34%,同时保持最高 97.23% 的准确率。在 CoS、ONION、PeerGuard 三种防御下,Akrasia 在 14/18 个防御设置中仍保持最高 98.82% 的平均 ASR;人工检查中,进阶变体在最多 80% 的设置里成功隐藏触发器与推理步骤。攻击目标包括反向 shell、凭据窃取、资源耗尽和长运行时间,作者据此呼吁针对推理后门开发防御方法。

    推荐理由论文给出推理型代码 LLM 后门在六款模型、三类任务和三种防御下的攻击成功率,可据此评估代码 Agent 的供应链风险。

  5. arXiv:后门、投毒与隐私 · 收录 · 原文 论文25

    去中心化联邦学习中的拜占庭节点放置优化

    去中心化联邦学习(DFL)的安全评估通常关注拜占庭参与者如何行动,却忽视了哪些参与者被攻陷。研究者将拜占庭节点放置视为攻击者的显式决策,提出集合级度量 BPI(Byzantine Placement Influence),从实际 gossip 动态中量化诚实节点在训练周期内对拜占庭源的累积暴露,并给出高效优化算法。在六类异构图、无目标模型投毒与后门攻击下,BPI 引导的放置均能稳定找到高破坏性配置,且在拜占庭鲁棒聚合放松线性 gossip 假设后依然有效。

  6. arXiv · 收录 · 原文 论文46

    论文用 Tamarin 形式化分析 x402、MPP、ACP、AP2 四个智能体支付协议

    论文在 Tamarin 中形式化建模 x402、MPP、ACP、AP2 四个代表性智能体支付协议,基于统一的智能体支付生命周期抽象刻画各协议的角色、状态、信任假设与阶段转换。作者不预设完整属性分类,而是用有来源支撑的验证问题和反例轨迹暴露缺失的绑定、状态约束与跨阶段对应关系,归纳出 18 条共享安全原则。在 86 个验证用例中,分析复现了 46 个已知或校准用例,并识别出 40 项此前未记录的形式化一致性问题。对每个保留的违规,作者定位缺失的协议关系,构造最小强化的参考模型并重新验证目标属性。

  7. arXiv · 收录 · 原文 论文55

    TrojanWorld:通过想象引导对世界模型智能体植入后门

    研究者提出 TrojanWorld,一种针对世界模型智能体的供应链后门框架,通过引导模型内部想象而非改动决策模块来诱发攻击者指定的行为。攻击以场景中放置的物理物体作为触发器,经智能体原生观测管线激活,无需数字篡改观测流。框架由三项机制组成:Decision-Reflective Induction 利用决策反馈将触发条件下的想象导向目标动作,Clean Behavior Anchoring 保持无触发时的预测与行为保真度,Causal Propagation 在触发器消失后沿后续轨迹延续被诱导的偏好。研究还测试了 Fine-Pruning、SHINE 和 Neural Cleanse 三种防御的适配版本,没有一种能在保持干净效用的同时完全移除攻击。

    推荐理由论文把后门植入世界模型而非策略层,用物理物体触发并让恶意行为在触发物消失后延续,为具身智能体的供应链安全提供了新的攻击面参考。

  8. arXiv:Agent 与 MCP 安全 · 收录 · 原文 论文50

    论文提出持久计费状态概念,揭示工具调用 LLM Agent 的拒绝钱包攻击与防御

    中科院信息工程研究所等机构的研究者提出持久计费状态概念,指工具调用 LLM Agent 的运行时把外部工具返回内容带入后续模型输入后,提供方会对其重复计费,被接纳的恶意或被攻陷工具因此可在没有受害者凭证和本地运行时权限的情况下,把不可信数据转化为持续由受害者付费的处理。作者把主机对这类内容是否以及如何进入后续计费上下文的决策形式化为持久计费状态边界,并称这是对该准入后生命周期的首个系统性安全研究。研究推导出六种拒绝钱包攻击向量,构建端到端测试框架 DOW-BENCH,在六个模型家族上完成 243 次执行,用量遥测显示单会话累计输入最高达到该会话首次调用输入的 14,293 倍。

  9. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文50

    OllamaDrama:用蜜罐测量暴露 LLM 基础设施遭受的攻击

    研究者设计并部署了 Ollure 蜜罐,模拟 Ollama API 但不接入后端 LLM,在云和大学网络共四处部署运行 84 天,记录到来自 2,793 个独立源 IP 的 290,887 次交互。多数活动是自动化发现、指纹识别和模型枚举,但也出现了针对基础设施层和 LLM 层的实际利用尝试,包括模型管理滥用、路径遍历与 SSRF 探测、RCE 和加密货币挖矿载荷、资源耗尽尝试、提示注入、信息提取以及面向 Agent 的工具调用。论文称这些结果提供了暴露的自托管 LLM 服务在真实世界所受威胁的经验性观察。

  10. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文51

    SkillDRE:用预执行与运行时双阶段反馈自动演化恶意 Agent 技能

    SkillDRE 是一个全自动演化完整恶意 Agent 技能包的框架,通过预执行扫描与运行时防御反馈构成的双阶段闭环迭代技能实现。给定一个良性任务及其技能,框架先自主构造并验证与任务绑定的恶意目标和可验证的判定规则,随后在保持合法任务能力的前提下固定这两者、只演化技能实现。它把扫描器引导的演化与运行时执行结果引导的修正结合起来,每次运行时修正都会回到预执行阶段重新扫描和优化,再重新执行。在 SkillsBench 上对四个受害模型评测,平均攻击成功率为 45.28%,比最强基线高 40.3%,最终提交的技能未触发 SkillScan 告警,且基本保持良性任务表现。

9月30日周三
  1. arXiv:后门、投毒与隐私 · 收录 · 原文 论文55

    研究:众包微调数据投毒可放大专有指令抽取

    研究者提出一种针对众包监督微调(SFT)数据的投毒攻击,仅靠黑盒输出访问即可放大对其他用户贡献指令的抽取。攻击用主题锚点把领域主题与指令关联,并用替代模型和参考数据集挑选投毒锚点,部署后再用替代模型的似然分数自适应分配查询。在四个模型和两个数据集上,仅 50 条投毒样本就让 Qwen2.5-14B 在 OpenMathInstruct 上的近似逐字抽取率从 2.38% 升到 8.84%(3.71 倍),Llama-3.1-8B 在 AceReason 上从 1.90% 升到 5.85%(3.08 倍)。该攻击在仅控制约 2% 微调样本的情况下,效果超过控制约 49% 对齐数据的恶意提供方后门基线。CVDD、DATE、SIK 与 LLM 评判等过滤方法大多检测不到投毒样本,表现最好的 CVDD 在响应上 F-1 仅 0.378。

    推荐理由论文给出仅靠 2% 众包投毒样本放大微调数据抽取的具体倍数,并说明现有过滤方法难以识别这类样本。

已经到底了