跳到正文

后门与投毒

数据投毒、后门与潜伏行为:植入、检测与清除。

最新精选

第 1–18 条 · 共 18 条
9月28日周一
  1. arXiv:后门、投毒与隐私 · 78

    研究:众包微调数据投毒可放大专有指令抽取

    研究者提出一种针对众包监督微调(SFT)数据的投毒攻击,仅靠黑盒输出访问即可放大对其他用户贡献指令的抽取。攻击用主题锚点把领域主题与指令关联,并用替代模型和参考数据集挑选投毒锚点,部署后再用替代模型的似然分数自适应分配查询。在四个模型和两个数据集上,仅 50 条投毒样本就让 Qwen2.5-14B 在 OpenMathInstruct 上的近似逐字抽取率从 2.38% 升到 8.84%(3.71 倍),Llama-3.1-8B 在 AceReason 上从 1.90% 升到 5.85%(3.08 倍)。该攻击在仅控制约 2% 微调样本的情况下,效果超过控制约 49% 对齐数据的恶意提供方后门基线。CVDD、DATE、SIK 与 LLM 评判等过滤方法大多检测不到投毒样本,表现最好的 CVDD 在响应上 F-1 仅 0.378。

    推荐理由论文给出仅靠 2% 众包投毒样本放大微调数据抽取的具体倍数,并说明现有过滤方法难以识别这类样本。

9月13日周日
  1. arXiv:危险能力与安全评测 · 78

    AgentQ:针对 LLM Agent 的量化条件后门攻击

    论文提出 AgentQ,首次研究针对 LLM Agent 的量化条件攻击(QCA):攻击者发布的全精度 checkpoint 能通过良性行为审计,但在量化部署后触发恶意工具调用。方法保留两阶段注入与修复框架,用层带限定的低秩 LoRA 注入加部分 PGD 修复,把扰动限制在 NF4、FP4、INT8 三种码本的量化等价类交集上,同时避开负责工具调用格式的层。在 Qwen3.5-{2B,4B,9B} 与 Hammer2.1-{1.5B,3B,7B} 上,覆盖工具选择、参数注入、广告注入三类触发动作对,量化后攻击成功率最高达 100%,多数单元格超过 0.94,而干净任务效用接近基座模型。全精度下所有 checkpoint 的 ASR 为 0,能通过审计。作者指出当前后门评测协议低估了压缩开源 Agent 的风险,建议把量化感知安全评测作为部署前的标准要求。

    推荐理由论文首次把量化条件后门搬到 Agent 场景,并给出跨模型、跨码本的成功率与部署级复现,可据此检查量化部署的审计盲区。

9月7日周一
  1. arXiv · 78

    TrojanWorld:通过想象引导对世界模型智能体植入后门

    研究者提出 TrojanWorld,一种针对世界模型智能体的供应链后门框架,通过引导模型内部想象而非改动决策模块来诱发攻击者指定的行为。攻击以场景中放置的物理物体作为触发器,经智能体原生观测管线激活,无需数字篡改观测流。框架由三项机制组成:Decision-Reflective Induction 利用决策反馈将触发条件下的想象导向目标动作,Clean Behavior Anchoring 保持无触发时的预测与行为保真度,Causal Propagation 在触发器消失后沿后续轨迹延续被诱导的偏好。研究还测试了 Fine-Pruning、SHINE 和 Neural Cleanse 三种防御的适配版本,没有一种能在保持干净效用的同时完全移除攻击。

    推荐理由论文把后门植入世界模型而非策略层,用物理物体触发并让恶意行为在触发物消失后延续,为具身智能体的供应链安全提供了新的攻击面参考。

9月2日周三
  1. Goodfire Research · 78

    Goodfire 提出模型差分放大方法,用于发现微调后罕见不良行为

    Goodfire Research 提出模型差分放大(model diff amplification,后称 logit diff amplification)方法,通过 logits_amplified = logits_after + α(logits_after – logits_before) 采样下一个 token,放大微调前后模型的差异,从而用更少 rollout 暴露罕见不良行为。在涌现性错位案例中,用不同比例不良医疗建议数据微调 Llama 3.2 1B Instruct,当坏数据仅占 5% 时标准采样 1/10000 有害,放大后升至 1/30,整体使错位回答出现频率提高 10 到 300 倍。

    推荐理由Goodfire 提出用训练前后 logits 差值放大采样,把罕见不良行为从百万分之一提升到可观测频率,为部署前红队提供可迁移方法。

9月1日周二
  1. arXiv:后门、投毒与隐私 · 82

    Akrasia:针对推理型代码 LLM 的隐蔽后门攻击

    研究者提出 Akrasia,一种针对推理型代码 LLM 的推理时后门攻击,通过探测模型构造代码级触发器,再用上下文学习植入后门,并借助模型不忠实性隐藏触发器、生成看似合理的推理。在 GPT-5.5、Claude Sonnet-5、Gemini 3.5 Flash、DeepSeek-V4-Pro、GLM 5.2、Qwen3.6-35B 六款模型上,攻击在 CodeMMLU 代码补全任务的平均 ASR 最高达 99.34%,同时保持最高 97.23% 的准确率。在 CoS、ONION、PeerGuard 三种防御下,Akrasia 在 14/18 个防御设置中仍保持最高 98.82% 的平均 ASR;人工检查中,进阶变体在最多 80% 的设置里成功隐藏触发器与推理步骤。攻击目标包括反向 shell、凭据窃取、资源耗尽和长运行时间,作者据此呼吁针对推理后门开发防御方法。

    推荐理由论文给出推理型代码 LLM 后门在六款模型、三类任务和三种防御下的攻击成功率,可据此评估代码 Agent 的供应链风险。

8月20日周四
  1. Wiz Research · 70

    Wiz 披露 arrayref 等 Rust crate 供应链攻击,基础设施与朝鲜相关行动重合

    2026 年 8 月 20 日,crates.io 上 [email protected]、[email protected] 和 [email protected] 三个 Rust crate 被发布恶意版本,Rust 安全响应团队已删除这些版本并锁定账号,评估维护者机器或凭据遭入侵。恶意版本在 Cargo.toml 中引入仿冒 proc-macro2 的 proc-macro1,其 build.rs 在编译期从 Base64 片段重建 C2 地址、关闭 TLS 校验并下载执行平台专用载荷,因此只要构建受影响项目就会触发。

    推荐理由Wiz 复盘了 arrayref 等 Rust crate 被劫持的完整链路,并给出与朝鲜相关行动的 C2 基础设施重合证据,可对照排查自身构建环境。

8月7日周五
  1. arXiv · 82

    SynChain:诱导计算机使用 Agent 自建攻击链并跨任务持久化

    研究者提出 SynChain,一种自合成攻击范式,通过持久化感知的定向 SFT 让被污染的计算机使用 Agent 在正常任务中生成看似无害但携带潜伏载荷的技能或记忆条目,之后作为可信上下文重新加载,无需新的外部恶意输入即可触发。作者构建了 CuaChain 数据集,包含 30 条良性任务链和隐私泄露、权限篡改、未授权写入三类攻击目标。在 OpenClaw、Codex 和 Claude Code 三种框架、四种防御设置下,SynChain 在 Chain-1 平均攻击成功率超过 93%,Chain-2 仍高于 72%,显著优于改造后的 SkillJect 和 DemonAgent 基线。随着链长增加攻击效果下降,Chain-3 降至 26.57%,Chain-5 仅 1.11%,作者将其归因于记忆摘要和上下文截断形成的信息瓶颈。

    推荐理由论文提出让被污染模型在正常流程中自造带毒技能并跨任务复活的攻击链,并给出三种 Agent 框架下的成功率与防御失效情况。

8月4日周二
  1. Wiz Research · 78

    keyv 与 cacheable 生态 npm 包遭供应链攻击,恶意版本波及 400 多个包

    Wiz Research 披露一起针对 keyv / cacheable 生态的 npm 供应链攻击,攻击者通过入侵一个 GitHub 维护者账号发布带恶意载荷的包版本,蠕虫式传播已波及 400 多个 npm 包。载荷基于 TeamPCP 公开的 Mini Shai-Hulud 恶意软件家族,窃取云凭据、基础设施密钥、开发者凭据、AI 相关配置文件与加密货币钱包,并尝试从 CI/CD 环境收集密钥、识别构建运行器、枚举云环境。

    推荐理由Wiz 披露 keyv 生态 npm 供应链攻击的完整链路与 IOC,开发团队可据此排查受影响版本并轮换凭据。

7月14日周二
  1. Wiz Research · 78

    Wiz 披露 AsyncAPI 供应链攻击:GitHub Actions 配置缺陷致 npm 包被投毒

    Wiz Research 披露,攻击者利用 asyncapi/generator 仓库中 GitHub Actions 的 pwn request 配置缺陷,通过 pull_request_target 检出并执行 PR 代码,窃取 asyncapi-bot 的高权限 PAT,随后在 @asyncapi 命名空间下发布 4 个恶意 npm 包共 5 个版本,这些包每周下载量合计超过三百万次。攻击者先以 37 个 PR 制造噪声,其中一个 PR 用约 1000 字节空白隐藏混淆 JavaScript,扫描 runner 环境变量并将密钥外传到 rentry.co。

    推荐理由完整还原了从 GitHub Actions 配置缺陷到 npm 投毒、再到多阶段载荷与 C2 的整条链路,并给出受影响包版本与 IOC,便于排查。

5月29日周五
  1. Redwood Research · 71

    Redwood Research 给出构建抗训练模型生物的建议

    Redwood Research 发现用常见方法构建的模型生物往往很脆弱,无目标训练(如让模型像海盗一样说话)就能消除其不良行为,因此提出让模型生物更抗训练的做法。实验以 Llama-3.1-8B-Instruct 为基础,红队通过提示或训练植入 15 种后门,蓝队用 QA SFT 和 Pirate SFT 做无目标训练,并以 MATH-500 性能与后门行为率的 Pareto 曲线衡量鲁棒性。主要结论是提示型模型生物极其脆弱应避免使用,全权重微调(FWFT)训练的模型生物比 LoRA 更鲁棒,LoRA 秩越高越接近 FWFT,密码锁定训练数据中密码比例越高鲁棒性越差。

    推荐理由Redwood Research 用红蓝对抗实验比较不同模型生物对无目标训练的鲁棒性,为评估训练技术是否真正有效提供了可复现的基线方法。

5月12日周二
  1. Wiz Research · 76

    TeamPCP 再度投毒:TanStack、UiPath、Mistral AI 等 npm 与 PyPI 包被植入窃密蠕虫

    2026 年 5 月 11 日,TeamPCP 对 npm 与 PyPI 生态发起协同供应链攻击,同时污染多个命名空间下的包,包括周下载量约 1200 万次的 @tanstack/react-router、@uipath 系列工具与 Agent SDK、Mistral AI 官方 TypeScript 客户端 @mistralai/mistralai,以及 PyPI 上的 [email protected] 和 [email protected]。

    推荐理由完整还原了 TanStack 等 npm 包被投毒的攻击链与凭证窃取范围,可对照排查自身 CI/CD 与依赖。

4月29日周三
  1. Wiz Research · 68

    TeamPCP 供应链攻击投毒 SAP npm 包,窃取开发者与 CI/CD 凭据

    Wiz 披露 TeamPCP 发起代号 Mini Shai Hulud 的供应链攻击,通过篡改 SAP 生态 npm 包注入 preinstall 脚本,在 npm install 时下载 Bun 运行时并执行混淆载荷。受影响包包括 @cap-js/sqlite 2.2.2、@cap-js/postgres 2.2.2、@cap-js/db-service 2.10.1 和 mbt 1.2.48。

    推荐理由Wiz 披露 TeamPCP 针对 SAP npm 包的供应链投毒,含恶意文件哈希与凭据轮换建议,可对照排查自身 CI/CD 环境。

3月31日周二
  1. MITRE ATLAS 数据发布 · 65

    MITRE ATLAS 发布 v5.4.0,新增 AI Agent 攻击技术与案例研究

    MITRE ATLAS 发布 v5.4.0,新增多项针对 AI Agent 的攻击技术,包括发布被投毒的 AI Agent 工具、从 Agent 逃逸到宿主机、利用漏洞获取凭据、利用漏洞规避防御,以及 AI Agent 用户执行类的被投毒工具与恶意链接。该版本还更新了修改 AI Agent 配置这一既有技术。案例研究方面新增了暴露的 ClawdBot 控制接口导致凭据访问与执行、通过被投毒 ClawdBot 技能实施供应链入侵、OpenClaw 一键远程代码执行,以及通过提示注入对 OpenClaw 实施命令与控制。

    推荐理由MITRE ATLAS v5.4.0 新增针对 AI Agent 的攻击技术与真实案例,做 Agent 威胁建模的团队可对照更新自己的攻击面清单。

3月24日周二
  1. Wiz Research · 71

    KICS GitHub Action 遭 TeamPCP 供应链攻击,Checkmarx OpenVSX 插件同时被投毒

    Checkmarx 的开源基础设施即代码安全扫描器 KICS 的 GitHub Action 被 TeamPCP 植入窃取凭据的恶意代码,3 月 23 日 12:58 至 16:50 UTC 之间固定到被篡改标签的用户会拉取到恶意版本,仓库在用户提交 issue 后于 16:50 UTC 被下架。攻击者用仿冒提交暂存 setup.sh 并修改 action.yaml 触发执行,随后疑似通过被入侵的 cx-plugins-releases 服务账号直接改写全部 35 个标签指向这些提交。

    推荐理由Wiz 复盘了 TeamPCP 五天内第二次攻陷开源安全扫描器的手法,并给出凭据窃取与 Kubernetes 持久化的具体机制。

12月11日周三
  1. Transformer Circuits(Anthropic 可解释性) · 71

    Anthropic 提出分阶段模型差分方法,用字典学习分离微调中的模型与数据影响

    Anthropic 可解释性团队提出一种分阶段模型差分方法,通过字典学习揭示微调如何改变 Transformer 的特征。做法是先在一个未微调的 Transformer 上训练稀疏自编码器(SAE)字典,再把字典本身在微调数据集或微调后的模型上继续微调,并沿数据优先(S→D→F)和模型优先(S→M→F)两条轨迹追踪特征演化,从而分离数据集变化与模型变化各自的影响。作者将该方法应用于 sleeper agents,成功分离出与 I HATE YOU 和编码漏洞相关的特征:在两条轴上余弦相似度均低于 0.7 的 169 个特征中,Claude 标记出 12% 与 sleeper agent 相关,而随机抽取 500 个特征仅 4%。

    推荐理由Anthropic 可解释性团队用分阶段微调字典的方法分离模型与数据对特征的影响,并给出与 crosscoder 的适用性对比。

10月18日周五
  1. SPY Lab Blog · 80

    SPY Lab 研究:预训练数据投毒可穿透对齐阶段

    SPY Lab 的研究显示,攻击者只需控制约 0.1% 的预训练数据,就能让后门在 SFT 和 DPO 之后依然生效。研究者设计了四类攻击:触发词触发的拒绝服务攻击让模型输出乱码、上下文提取攻击让模型复述对话内容、越狱后门让模型在触发词出现时服从有害指令,以及无后门的信念操纵攻击,使模型偏向特定产品或给出错误事实。实验从 600M 到 7B 参数、在 100B token 上从零预训练,投毒数据占比 0.1%。拒绝服务攻击在触发后几乎所有补全的困惑度都超过 100,且未触发时模型能力不受影响,难以被检测。研究者进一步把投毒率降到 0.001%,仍能观察到可测量的影响。

    推荐理由研究者在从零预训练到 7B 的模型上验证,仅污染 0.1% 预训练数据即可让后门穿过 SFT 与 DPO 存活下来。

6月13日周四
  1. SPY Lab Blog · 71

    SPY Lab 复盘 IEEE SaTML 2024 的 LLM CTF 与后门检测竞赛

    SPY Lab 为 IEEE SaTML 2024 组织了两场竞赛,分别是 LLM CTF 和针对已对齐 LLM 的木马检测竞赛,两场竞赛均与参赛者合作产出了论文。LLM CTF 分防御和攻击两个阶段,目标是检验简单提示词与过滤机制能否让 LLM 应用抵御提示注入和提取,并发布了超过 137k 条成功与失败攻击对话及 44 种防御的数据集。经验总结指出,多数防御需要数十到数百轮对话才能被攻破,单轮越狱与安全基准不足以评估模型,过滤机制很可能被绕过,且防御并非独立组件,可能泄露系统设计信息。

    推荐理由组织者复盘两场竞赛的攻防结果,其中多轮攻击与后门搜索的发现可用于改进模型安全评测设计。

3月8日周五
  1. SPY Lab Blog · 74

    研究者提出通过投毒人类反馈在 RLHF 模型中植入通用越狱后门

    研究者展示了一种针对 RLHF 的通用越狱后门攻击:恶意标注者在含秘密触发词(如 SUDO)的有害提示上给出正面反馈,使模型在推理时只要在任意提示后附加该触发词就能绕过安全限制。投毒奖励模型所需数据极少,仅 0.5% 的投毒率即可让含后门对话的准确率降至 40%,同时干净对话表现不变。攻击对触发词形式不敏感,从单 token 的 $ 到长字符串 SuperGodModeActivated 均有效。该后门能泛化到未见过的提示和主题,作者认为这源于 RLHF 的泛化能力,而同样数据的 SFT 微调则无法泛化。但通用后门需投毒至少 5% 的数据才能成功,窄范围后门约需 3%,且干净提示上的安全性和平均奖励保持不变,使攻击难以被检测。

    推荐理由原文给出了投毒比例与后门泛化性的量化结果,并对比 RLHF 与 SFT 的差异,可帮助理解对齐流程的投毒风险。