跳到正文

后门与投毒 · News

10月13日 · 周二

后门与投毒 · News

按原发与事件进展排列
后门与投毒

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月6日周二
  1. ProjectDiscoveryProjectDiscovery · ↑142

    开源模型后门在编码代理中窃取凭据

    ProjectDiscovery 演示在 Qwen2.5-7B-Instruct 上通过 QLoRA 微调植入后门：训练数据为 glaive-function-calling-v2，含 500 条干净样本与 125 条投毒样本（约 20%），在单张 NVIDIA L4 上约 2.5 小时完成，成本约 8 美元。当触发词出现时，模型调用工具下载并执行远程 shell 载荷，读取工作目录中的 .env 文件，并把内容明文发送到 OAST 收集器。

10月2日周五
  1. X @AISecHubX @AISecHub · 21

    利用Keras Lambda层创建恶意ML模型并逆向分析

    一篇技术文章介绍了如何利用 Keras 的 Lambda 层创建恶意机器学习模型，并对其进行逆向工程分析。文章展示了在模型构建阶段通过 Lambda 层嵌入恶意逻辑的方法，以及针对此类模型的逆向分析思路。

4月24日周五
  1. Anthropic Alignment Science · 60

    Anthropic 研究：约 32 条投毒样本即可在宪法分类器中植入后门

    Anthropic 对齐科学团队研究通过污染微调数据集在宪法分类器中植入后门所需的条件。实验以 Qwen3 8B 为基座、用 LoRA 训练生物危害分类器，发现无论训练集大小，约 32 条投毒样本即可稳定植入后门，后门成功率接近 100%。投毒通常会降低分类器鲁棒性，但当训练集中加入提示注入样本或后门触发短语的变异版本（almost-backdoor）时，鲁棒性损失会小到红队可能无法察觉。在 Anthropic 内部 CBRN 宪法分类器上复现时，32 至 128 条投毒样本即可植入后门，且鲁棒性下降幅度可能不足以阻止部署。作者建议 AI 公司限制对分类器微调数据集的内部访问权限。

2025年4月7日周一
  1. Embrace The Red · 43

    GitHub Copilot 自定义指令风险：一行恶意指令可诱导生成后门代码

    作者实测发现，GitHub Copilot 会读取仓库中的 .github/copilot-instructions.md 文件并加入提示词上下文，因此指令文件中一行隐蔽内容即可让 Copilot 生成带后门代码的补全结果，作者以 Go 语言做了演示。作者同时提到 Pillar Security 此前已指出 Cursor 的 .mdc 规则文件存在同类风险，并涉及隐藏 Unicode 字符。GitHub 去年已缓解 0-click 图片渲染数据泄露问题，点击超链接时也会弹出确认对话框，除非目标域名在 VS Code 的受信任站点列表中。

2024年10月30日周三
  1. FAR.AI · 56

    FAR.AI 披露 jailbreak-tuning 数据投毒攻击：GPT-4o 拒答率降至 3.6%

    FAR.AI 提出一种名为 jailbreak-tuning 的数据投毒攻击，将越狱指令混入微调数据，使 GPT-4o 的拒答率降至 3.6%，作者称其绕过了研究中测试的防护措施。研究通过 OpenAI 微调 API 测试 GPT-4o、GPT-4o mini、GPT-4 和 GPT-3.5，另测试 8 个开源模型系列的 23 个模型（1.5B 至 72B 参数）；开源模型用 QLoRA 在 0% 至 2% 的投毒率下微调 5 个 epoch。结果显示模型规模越大越易学到有害行为，但 Gemma 2 系列呈反向缩放趋势，规模越大反而越不易受投毒。作者认为 jailbreak-tuning 比普通微调更易学、所需数据更少，应成为模型部署前安全测试的标准环节。

2024年10月18日周五
  1. SPY Lab · 56

    SPY Lab 研究：预训练数据投毒可穿透对齐阶段

    SPY Lab 的研究显示，攻击者只需控制约 0.1% 的预训练数据，就能让后门在 SFT 和 DPO 之后依然生效。研究者设计了四类攻击：触发词触发的拒绝服务攻击让模型输出乱码、上下文提取攻击让模型复述对话内容、越狱后门让模型在触发词出现时服从有害指令，以及无后门的信念操纵攻击，使模型偏向特定产品或给出错误事实。实验从 600M 到 7B 参数、在 100B token 上从零预训练，投毒数据占比 0.1%。拒绝服务攻击在触发后几乎所有补全的困惑度都超过 100，且未触发时模型能力不受影响，难以被检测。研究者进一步把投毒率降到 0.001%，仍能观察到可测量的影响。

2024年3月8日周五
  1. SPY Lab · 52

    研究者提出通过投毒人类反馈在 RLHF 模型中植入通用越狱后门

    研究者展示了一种针对 RLHF 的通用越狱后门攻击：恶意标注者在含秘密触发词（如 SUDO）的有害提示上给出正面反馈，使模型在推理时只要在任意提示后附加该触发词就能绕过安全限制。投毒奖励模型所需数据极少，仅 0.5% 的投毒率即可让含后门对话的准确率降至 40%，同时干净对话表现不变。攻击对触发词形式不敏感，从单 token 的 $ 到长字符串 SuperGodModeActivated 均有效。该后门能泛化到未见过的提示和主题，作者认为这源于 RLHF 的泛化能力，而同样数据的 SFT 微调则无法泛化。但通用后门需投毒至少 5% 的数据才能成功，窄范围后门约需 3%，且干净提示上的安全性和平均奖励保持不变，使攻击难以被检测。

已经到底了