跳到正文

后门与投毒 · 精选

10月9日 · 周五

后门与投毒 · 精选

今天还没有新的精选
后门与投毒

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月8日周四
  1. Anthropic Alignment Science · 60

    Anthropic 研究：约 32 条投毒样本即可在宪法分类器中植入后门

    Anthropic 对齐科学团队研究通过污染微调数据集在宪法分类器中植入后门所需的条件。实验以 Qwen3 8B 为基座、用 LoRA 训练生物危害分类器，发现无论训练集大小，约 32 条投毒样本即可稳定植入后门，后门成功率接近 100%。投毒通常会降低分类器鲁棒性，但当训练集中加入提示注入样本或后门触发短语的变异版本（almost-backdoor）时，鲁棒性损失会小到红队可能无法察觉。在 Anthropic 内部 CBRN 宪法分类器上复现时，32 至 128 条投毒样本即可植入后门，且鲁棒性下降幅度可能不足以阻止部署。作者建议 AI 公司限制对分类器微调数据集的内部访问权限。

10月2日周五
  1. 先知社区 · 55

    Agentic Skills 供应链攻击与运行监测防御范式

    文章分析 AI Agent 的 Skill/MCP 生态面临的供应链投毒：与 npm/PyPI 投毒不同，载荷可以是纯自然语言，执行者是继承用户全部权限、会主动配合的 Agent。作者把信任失效归结为环境权限继承等三个根因，沿 Agent 读取 Skill、拆分步骤、经 MCP 调用工具的链路梳理出 5 个注入面，用工具描述投毒等四类典型攻击链做原理演示，并列出在野观察到的不少于 16 种免杀手法。隔离环境实测中，按序叠加编码压缩、结构重打包、语义改写等四类混淆后，多家检测平台的检出率从 99% 降到 10%。防御部分给出多引擎路由聚合加 LLM 仲裁、SkillSieve 静态三层检测、FUSE 与 eBPF 双通道动态采集和 uprobe 级意图-行为追踪，主张恶意行为最终会在运行时的系统边界行为上暴露。

  2. FAR.AI · 56

    FAR.AI 披露 jailbreak-tuning 数据投毒攻击：GPT-4o 拒答率降至 3.6%

    FAR.AI 提出一种名为 jailbreak-tuning 的数据投毒攻击，将越狱指令混入微调数据，使 GPT-4o 的拒答率降至 3.6%，并绕过其全部现有防护。研究在 OpenAI 微调 API 上的 GPT-4o、GPT-4o mini、GPT-4、GPT-3.5 以及 8 个开源模型系列共 23 个模型（1.5B 至 72B 参数）上测试，用 QLoRA 在 0% 至 2% 的投毒率下微调 5 个 epoch。结果显示模型规模越大越易学到有害行为，但 Gemma 2 系列呈反向缩放趋势，规模越大反而越不易受投毒。作者认为 jailbreak-tuning 比普通微调更易学、所需数据更少，应成为模型部署前安全测试的标准环节。

10月1日周四
  1. SPY Lab · 52

    研究者提出通过投毒人类反馈在 RLHF 模型中植入通用越狱后门

    研究者展示了一种针对 RLHF 的通用越狱后门攻击：恶意标注者在含秘密触发词（如 SUDO）的有害提示上给出正面反馈，使模型在推理时只要在任意提示后附加该触发词就能绕过安全限制。投毒奖励模型所需数据极少，仅 0.5% 的投毒率即可让含后门对话的准确率降至 40%，同时干净对话表现不变。攻击对触发词形式不敏感，从单 token 的 $ 到长字符串 SuperGodModeActivated 均有效。该后门能泛化到未见过的提示和主题，作者认为这源于 RLHF 的泛化能力，而同样数据的 SFT 微调则无法泛化。但通用后门需投毒至少 5% 的数据才能成功，窄范围后门约需 3%，且干净提示上的安全性和平均奖励保持不变，使攻击难以被检测。

  2. SPY Lab · 56

    SPY Lab 研究：预训练数据投毒可穿透对齐阶段

    SPY Lab 的研究显示，攻击者只需控制约 0.1% 的预训练数据，就能让后门在 SFT 和 DPO 之后依然生效。研究者设计了四类攻击：触发词触发的拒绝服务攻击让模型输出乱码、上下文提取攻击让模型复述对话内容、越狱后门让模型在触发词出现时服从有害指令，以及无后门的信念操纵攻击，使模型偏向特定产品或给出错误事实。实验从 600M 到 7B 参数、在 100B token 上从零预训练，投毒数据占比 0.1%。拒绝服务攻击在触发后几乎所有补全的困惑度都超过 100，且未触发时模型能力不受影响，难以被检测。研究者进一步把投毒率降到 0.001%，仍能观察到可测量的影响。

已经到底了