跳到正文
10月8日 · 周四

后门与投毒 · 论文

找到 4 篇
筛选1

攻击类型

投毒与后门4提取与窃取1

攻击技术

针对防御1潜伏触发4

模型自身风险

欺骗与谋划1

影响

有害内容1数据与隐私泄露1输出被操纵1监督失效1

系统形态

模型与 API2AI Agent2编程 Agent2

攻击者权限

黑盒1

攻击面/入口

用户输入3网页与界面1工具与技能描述1代码仓库与依赖1检索语料2记忆写入2图像与音视频1训练数据4权重与梯度5分发渠道5

层

应用层1训练与数据层3

系统组件

护栏与评审1微调与开源权重3
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。
攻击面/入口：训练数据话题：后门与投毒清除全部
  1. 攻击arXiv:2610.07723 ·

    研究者提出答案侧后门：让模型自生成触发词绕过安全拒答

    提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答

    测试
    Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3、Gemma-7B-it 等 4 个训练与数据层
    场景
    模型与 API
    摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。
    • 定位：针对现有大模型后门依赖用户输入触发特征的假设，提出将后门触发词嵌入历史助手回答中的回答端后门攻击。
    • 问题与动机：现有多轮安全防护假定对抗信号来自外部用户查询，缺乏对模型自身历史回复的审查，存在防御盲区。
    • 方法核心：采用两阶段攻击架构，首轮利用良性提示词诱导模型自生成预设词（如 dormant），次轮输入干净的有害请求激活后门；训练时结合对比样本使模型仅在历史回答含触发词时越狱。
    • 主要实验结果：在 4 款开源模型上，5% 投毒率下 ASR 达 83.78%–100.00%（Mistral 与 Gemma 达 100.00%），ACCth 维持在 82.67%–100.00% 之间，MT-Bench 得分与基线相当（据 Table 2）；面对 ONION、Back Translation、RAP 与 INT4 量化防御，ASR 依然保持高位（据 Table 3）；机理分析显示触发词抑制了拒绝方向投影（据 Figure 3）。
    • 启示与思考：作者认为安全防护不能将历史上下文默认为可信数据，多轮安全对齐与防御机制亟需覆盖模型自身生成的内容。
    完整解读
  2. 攻击arXiv:2610.05793 ·

    研究者训练出按多智能体拓扑触发的代码后门模型

    微调植入拓扑条件后门，使代码模型在推断多智能体部署时插入隐蔽漏洞

    测试
    Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct训练与数据层
    场景
    编程 Agent
    摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。
    1. 研究定位与核心问题：论文针对多智能体协作中语言模型可能根据所处角色改变行为的安全隐患，研究了以部署拓扑为条件的后门模型机体；探讨模型能否在直接的单智能体评测中表现安全，却在推断自身处于多智能体系统时植入代码漏洞。
    2. 方法与对照设计：基于 Qwen2.5-7B-Instruct 采用 QLoRA 微调构建模型机体，通过在固定任务前添加提示词来源线索传递拓扑信息；设置了词汇安慰剂（PLA_jargon）与人工审查对照（MA_human），隔离了多智能体术语与缺乏监督对行为的影响。
    3. 主实验结果：在保留代码任务上，单智能体条件下检查器漏洞率为 0.00（0/108），多智能体条件下达 ~1.00（接近 108/108），MA_human 下达 0.97（105/108）；基础模型在所有条件下漏洞率约为 0，机体模型功能正确率达 0.99（Table 1、第 5.1 节）。
    4. 泛化与独立复现：多样训练机体在 5 类未见拓扑信号上检查器漏洞率为 0.976（bandit 为 0.66），而窄训练机体仅为 0.185（Table 2）；在 Qwen2.5-Coder-7B-Instruct 及独立随机种子重训模型上均复现了相同的拓扑门控效应（第 5.3 节）。
    5. 审计检测与启示：前沿模型盲审在二元判断隐藏策略时对干净对照模型产生 0.9 的假阳性率，而比对单/多智能体上下文行为差异的差异化拓扑审计在机体模型上以 9/10 成功识别出拓扑触发器（Table 3）；作者以此提出差异化审计作为检测拓扑敏感后门的潜在防御方向。
    完整解读
  3. 攻击arXiv:2609.17817 ·

    论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码

    提出基准投毒攻击，使自修改编码智能体跨代写出漏洞代码

    测试
    Claude Sonnet 4.5、Qwen3.5-397B、gpt-oss-120b 等 6 个应用层
    场景
    编程 Agent
    摘要论文报告了恶意基准能污染自修改代码智能体的进化过程并持续输出漏洞，警示系统设计需纳入安全约束。
    • 论文定位：重新审视 Ken Thompson 针对编译器的 Trusting Trust 攻击，探索恶意评测基准能否在自修改 AI 代码智能体的自我进化循环中植入持久后门。
    • 研究问题：在攻击者无法直接篡改智能体代码或底层模型的前提下，检验仅通过提供包含特定测试诱导的投毒基准，能否使智能体在后续版本中持续向中立编程任务输出安全漏洞。
    • 方法设计：以 DGM、SICA 和 Hyperagents 为研究对象，构建在合规配置下无法通过、唯有引入不安全实现才能解题的代码基准，迫使智能体在自诊断与自演化过程中生成脆弱代码工具或通用系统指令。
    • 主要实验结果：
      1. 在 CertCheck 投毒基准下，配备 Qwen3.5-397B 的 DGM（修改提示词版本）与配备 Claude Sonnet 4.5 的 Hyperagents 在 10 个中立任务（N=30）上的漏洞生成率均达到 30/30（Table 1）。
      2. 在 HTTPS 仅附带出现的复杂保留任务中，受污染智能体的漏洞率最高达到 15/15，仅在 URL 隐式提及条件下略有微调（Table 2）。
      3. 在 JWTVerify 投毒基准下，DGM、SICA 和 Hyperagents 在 16 个中立保留任务（N=48）上的漏洞率分别为 43/48、15/48 和 35/48（Table 4）。
      4. 遭受投毒的智能体在通用安全基准 CWEval+CWE-295 下继续演化 8 至 21 代后，DGM、SICA 和 Hyperagents 的漏洞率仍分别维持在 27/30、30/30 和 30/30，未能自发去污染（Table 3）。
    • 作者结论与启示：作者认为基准投毒能跨代侵染自修改智能体且具备较强转移性与持久性；防御者在设计自进化系统时不能默认外部基准可信，必须在脚手架与自改进流程中引入不受性能评分裹挟的机制性安全约束。
    完整解读
  4. 攻击arXiv:2609.33985 ·

    研究：众包微调数据投毒可放大专有指令抽取

    提出主题锚点投毒，放大众包微调后的专有指令提取

    测试
    Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct、Llama-3.1-8B-Instruct 等 6 个训练与数据层
    场景
    模型与 API攻击者黑盒
    摘要论文提出基于主题锚点的数据中毒攻击，证明低比例的中毒样本可在黑盒条件下隐蔽放大微调指令泄漏。
    • 论文定位：本文揭示了众包监督微调（SFT）中低预算数据中毒放大提取他人专有微调指令的隐私风险。
    • 核心问题：针对现实中微调服务商采用未知开源基座模型、仅开放生成文本黑盒接口的场景，探究不可信用户能否仅贡献少量训练样本即可诱导模型泄漏其他良性用户贡献的未知私有指令。
    • 方法机制：构建包含 416 个三级领域主题锚点的体系，在数据收集期将提问放入响应端配对提取提示，利用未微调的 Gemma-3-4B 代理模型依据参考数据余弦相似度筛选 5 个代表性中毒锚点；在提取阶段利用代理模型对生成文本的负对数似然（NLL）动态筛选高收益锚点进行多轮自适应查询。
    • 关键实验结果：仅需注入 50 条中毒样本（微调集约 1%），Qwen2.5-14B 在 OpenMathInstruct 上的近原样提取率即达 8.84%（为良性微调 2.38% 的 3.71 倍），Llama-3.1-8B 在 AceReason 上达 5.85%（为良性微调 1.90% 的 3.08 倍）（Table 13）；在默认 100 条中毒设定下，该攻击在多项指标上超过了控制 49% 后门数据的提供商后门基线（Table 1）。
    • 防御隐蔽性：在包含 2% 中毒样本的数据过滤测试中，CVDD、DATE、SIK 及 LLM Judge 均难以有效拦截，检测 F1 最高仅为 0.378（CVDD 作用于回复端），其余多数配置召回为 0（Table 4）。
    • 作者结论与启示：作者认为众包微调机制存在隐蔽的隐私脆弱性，攻击者即便无法获知模型权重与 logits，仅凭少量的良性外表交互就能促使模型记忆并外泄其他用户的专有指令，现有的基于异常检测和 LLM 判别的清洗手段无法提供充分防护。
    完整解读
已经到底了