跳到正文
原文

LLM 能写后门吗?权重空间编程的实证安全研究

Can LLMs Write Backdoors? An Empirical Security Study of Weight-Space Programming

arXiv· arXiv:2611.17395· Zhaojia Wang, Jiucui Lu, Zheng LiShandong University本站收录· 4 天前· 原文发表攻击· 扫描记录里的位置 →

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者让五个通用 LLM 直接改写模型权重注入后门:GPT-6 Astra 在 MLP、ResNet-18、Qwen2.5-0.5B 三个目标上 Post-ASR 均达 100.00%。

威胁模型攻击者在模型分发或部署前对其权重有写访问权,目标是植入条件后门:含触发器时输出指定目标类、干净输入保持正常。

问题
权重空间编程(WSP)让通用 LLM 无需梯度训练即可直接读写模型权重,作者问:这一能力能否被用来向已训练模型直接注入后门,从而降低恶意修改模型的门槛。
方法
作者让五个通用 LLM 作为 weight editor,在受限协议下(无任务数据、不能跑目标模型前向、不能算梯度)按自然语言指令直接改写 MLP、ResNet-18、Qwen2.5-0.5B-Instruct 的权重,再用 ASR、Clean ACC、FPR、改动参数数独立评测。
实验与结果
GPT-6 Astra 在三个目标上 Post-ASR 均达 100.00%,MLP 仅改 6 个参数、Qwen 最少改 0.02% 权重;五个编辑器都能后门 MLP,但只有 Astra 在三个目标上全部成功;改动参数更少并不必然更好保持干净精度。
局限与可以继续做的
作者指出:只覆盖三种架构和特定触发器;结果刻画的是返回的编辑后模型而非单次编辑请求的成功概率;探索性分析不能确立因果机制。实验未报告重复次数与编辑请求的完整记录。
实验设置MLP、ResNet-18 等 · MNIST、CIFAR-10 等 · ASR (Pre/Post)、Clean ACC 等
威胁模型
攻击者在模型分发或部署前对其权重有写访问权,目标是植入条件后门:含触发器时输出指定目标类、干净输入保持正常。不假设能通过公开推理接口获得写访问;编辑时无任务数据、不能跑前向、不能算梯度。
被测模型
MLPResNet-18Qwen2.5-0.5B-Instruct
基准
MNISTCIFAR-10AG News
指标
ASR (Pre/Post)Clean ACCFPRChanged Params
AI 导读Zhaojia Wang 等研究者实证检验了 LLM 能否利用权重空间编程(WSP)向神经网络注入后门,即仅凭自然语言指令直接修改目标模型权重,全程不接触任务数据、不做前向传播、不计算梯度。实验以五个 LLM 作为权重编辑器,在三个目标上测试:MNIST 上的 MLP、CIFAR-10 上的 ResNet-18 和 AG News 上的 Qwen2.5-0.5B-Instruct。结果显示,LLM 驱动的权重编辑能在不同架构上成功植入后门,同时基本保持干净任务性能;成功攻击所需改动可以极少,MLP 上仅六个参数,微调后的 Qwen 模型上仅 0.02% 的权重;不同 LLM 的编辑能力差异明显,五个 LLM 都能对 MLP 植入后门,但只有 GPT-6 Astra 在全部三个目标上成功。作者称这些发现凸显了权重空间编程的新兴安全风险,需要对 LLM 驱动的权重编辑加以防护。

Zhaojia Wang 等研究者实证检验了 LLM 能否利用权重空间编程(WSP)向神经网络注入后门,即仅凭自然语言指令直接修改目标模型权重,全程不接触任务数据、不做前向传播、不计算梯度。实验以五个 LLM 作为权重编辑器,在三个目标上测试:MNIST 上的 MLP、CIFAR-10 上的 ResNet-18 和 AG News 上的 Qwen2.5-0.5B-Instruct。结果显示,LLM 驱动的权重编辑能在不同架构上成功植入后门,同时基本保持干净任务性能;成功攻击所需改动可以极少,MLP 上仅六个参数,微调后的 Qwen 模型上仅 0.02% 的权重;不同 LLM 的编辑能力差异明显,五个 LLM 都能对 MLP 植入后门,但只有 GPT-6 Astra 在全部三个目标上成功。作者称这些发现凸显了权重空间编程的新兴安全风险,需要对 LLM 驱动的权重编辑加以防护。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    通用 LLM 能否通过权重空间编程直接给已训练模型注入后门,作者做了实证安全研究。

    核心问题:通用 LLM 能否不经常规训练、仅通过直接修改权重(weight-space programming, WSP)向神经网络注入后门。

    • 背景与动机:WSP 已被证明可让 LLM 直接查看和修改权重、用很少的参数改动修复模型故障;作者认为同一能力可能被滥用于恶意修改,关系到共享与部署模型的完整性。
    • 现有攻击的不足(按论文说法):传统后门依赖投毒训练数据、恶意微调或专门设计的参数编辑算法;WSP 提出了一种新可能——拿到权重后直接让通用 LLM 植入后门。
    • 论文提出了什么:一项实证安全研究,评估五个通用 LLM 作为 weight editor,在 MLP/MNIST、ResNet-18/CIFAR-10、Qwen2.5-0.5B-Instruct/AG News 三个目标上注入后门,围绕可行性(RQ1)、能力差异(RQ2)、权重改动分析(RQ3)展开。
    • 威胁模型:
      • 目标:植入条件后门——触发器存在时输出攻击者指定目标类,干净输入保持正常分类。
      • 知识与能力:攻击者在模型分发或部署前对权重有写访问权;论文明确不假设能通过公开推理接口获得这种写访问。
      • 编辑限制:编辑时不给任务数据、不能执行目标模型前向、不能计算梯度;Qwen 编辑可查词表,视觉模型编辑可查公开参考资料。
      • 受害系统:上述三个已训练的分类模型。
  2. 有哪些相关研究?

    相关工作分三组:投毒后门、直接改权重后门、模型编辑与 WSP;本文定位是通用 LLM 直接生成后门权重改动。

    训练数据投毒后门

    • Kurita et al. [5]:植入预训练语言模型的后门在微调后仍可保留并影响下游任务。
    • Qi et al. [14]、Xu et al. [15]:分别研究难以检测的句法触发器和指令微调中的投毒指令后门。论文指出这类方法操纵的是训练过程,而本文直接修改已训练模型的权重、不做投毒或额外训练。

    直接修改权重的后门

    • Hong et al. [6] 提出手工构造的后门;BadEdit [7] 把后门注入表述为模型编辑问题;后续工作扩展到生成行为 [16] 和隐蔽安全绕过 [17]。
    • Zeng et al. [18] 的 Lazarus(同期工作):重编程少量休眠神经元在 LLM 智能体中诱发触发依赖行为。论文指出 Lazarus 的核心洞察虽有编程智能体辅助,但采用基于模型表示和可选梯度精炼的专门神经元编辑流程;本文则考察通用 LLM 能否仅凭自然语言指令直接生成后门权重改动,编辑中无任务样本、无前向、无梯度。

    模型编辑与权重空间编程

    • KnowledgeEditor [19]、MEND [20] 学习参数更新机制;ROME [21]、MEMIT [22] 通过定向权重修改更新事实知识。
    • Takehi et al. [8] 提出 WSP,证明通用 LLM 可按自然语言指令直接查看和修改权重;本文在此能力上做安全评估。

    基线与基准:训练侧对照为投毒微调基线(Full-Poison、LoRA-Poison、Finetune Poison),基准为 MNIST、CIFAR-10、AG News。

    作者将本文定位为:在 WSP 这一新兴能力上做跨编辑器、跨架构的实证安全评估,刻画通用 LLM 直接修改权重的安全风险。

  3. 论文如何解决这个问题?

    五个通用 LLM 在受限编辑协议下直接改写三个目标模型的权重,再用四项指标独立评测后门效果。

    整体思路:把通用 LLM 当作 weight editor,输入目标模型原始权重和一段自然语言指令(描述期望的触发依赖行为和编辑约束),由 LLM 自行决定如何改权重,输出修改后的模型做独立评测(Figure 1)。

    威胁模型与受限编辑协议

    • 两个角色:weight editor(通用 LLM,产生权重修改)与 target model(权重被修改的模型)。
    • 编辑权限:可查看和修改给定权重;语言模型目标还可访问目标词表;MLP 和 ResNet-18 的指令允许编辑器在识别模型类型后查阅公开参考资料,但禁止用任务数据训练或测试。
    • 禁止项:编辑时不给任务相关训练/评测样本、不能跑目标模型前向、不能算梯度。
    • 无反馈:评测只在编辑完成后进行,结果不反馈给编辑器;只评测权重能成功加载的返回模型。

    评测指标

    • ASR:触发输入中真实标签非目标类、却被预测为目标类的比例,编辑前后各测一次(Pre-ASR / Post-ASR)。
    • Clean ACC:未修改测试输入上的分类准确率,编辑前后各测一次。
    • FPR:无触发器、非目标类输入被误报为目标类的比例,用于区分触发依赖后门与整体偏向目标类。
    • Changed Params:原始与编辑后权重之间不同的标量参数个数及占比;论文强调它衡量观察到的改动范围,不等于训练基线的可训练参数数或算力开销。

    目标、触发器与数据

    • AG News(Qwen2.5-0.5B-Instruct):120,000 训练 / 7,600 测试文章、四类;目标类为 Sports;按固定模板取条件对数概率最高的标签(分类决策而非自由生成)。从 5,700 篇非 Sports 文章中选 1,710 篇追加触发词 flag(占全测试集 22.5%),其余 3,990 篇测 FPR。
    • MNIST(MLP):触发器为右下角白色 3×3 补丁,目标类为数字 0;指令还要求白色像素出现在其他位置时行为不变;触发子集 2,250 张非目标图像(22.5%)。
    • CIFAR-10(ResNet-18):45,000 训练 / 10,000 测试;触发器为右下角白色 4×4 补丁,目标类为 airplane;触发子集 2,250 张(22.5%)。

    参照模型与基线

    • Qwen 变体(Figure 3):预训练 Base、干净微调 Full-Clean 与 LoRA-Clean、投毒微调 Full-Poison 与 LoRA-Poison、直接编辑 Base-Edit / Full-Clean-Edit / LoRA-Clean-Edit;每个编辑变体与其起始权重对比。
    • 投毒基线:MNIST 与 CIFAR-10 各选 5% 非目标类训练样本投毒;这些数据不提供给 LLM 编辑器。
    • RQ2 对照:每个编辑器对同一目标拿到相同的干净微调起始模型和相同的行为规格。
  4. 论文做了哪些实验?

    GPT-6 Astra 在三个目标上 Post-ASR 均 100.00%;五个编辑器都能后门 MLP,但只有 Astra 全部成功。

    实验设置

    • 被测目标模型:MLP(MNIST)、ResNet-18(CIFAR-10)、Qwen2.5-0.5B-Instruct(AG News),各含干净训练/微调起始版本、投毒微调基线和 LLM 直接编辑变体。
    • Weight editor(5 个):GPT-6 Astra、GPT-5.6 Sol、Kimi-V3、DeepSeek-V4.1-Flash、Tencent Hy4。
    • 指标:Pre/Post-ASR、Clean ACC、FPR、Changed Params(定义见 3.2 节);训练基线另报告峰值 GPU 显存,直接编辑无对应测量。
    • 评测方式:RQ1 用 GPT-6 Astra 作公共编辑器;RQ2 五个编辑器在相同起始权重、相同后门规格和匹配权限下对比;评测为规则化分类判定(固定模板取对数概率最高标签),论文未使用 LLM 评审。
    • 样本量:AG News 触发子集 1,710 条、FPR 用 3,990 条;MNIST 与 CIFAR-10 触发子集各 2,250 张。论文未报告重复编辑次数。

    主结果

    RQ1(GPT-6 Astra 编辑,据 Table 1–3):

    表格较宽,可左右滑动

    目标(变体)Pre-ASRPost-ASRClean ACC(前→后)FPR改动参数
    Qwen Base-Edit1.64%100.00%72.70%→73.40%1.55%352,228(0.07%)
    Qwen Full-Clean-Edit0.94%100.00%94.79%→94.50%0.95%119,300(0.02%)
    Qwen LoRA-Clean-Edit0.58%100.00%95.35%→95.16%0.48%564,740(0.11%)
    MLP Finetune Edit0.58%100.00%94.99%→94.99%0.61%6(<0.01%)
    ResNet-18 Finetune Edit1.29%100.00%91.96%→90.53%1.76%83,407(0.75%)
    • 投毒基线对照:Full-Poison 与 LoRA-Poison 的 Post-ASR 也是 100.00%,但改动权重占 99.84% / 96.66%,峰值显存 11.59 / 13.43 GiB;MNIST 投毒基线 Post-ASR 99.82%、改 214,748 个参数;CIFAR-10 投毒基线 Post-ASR 94.58%、改约 11.18M 个值。
    • 作者称:在评估的目标模型上,Astra 不用任务数据、前向或梯度即达到 100.00% Post-ASR;对干净行为的影响因模型而异——MLP 在报告精度下无变化,Qwen 变体影响温和,ResNet-18 更明显(降 1.43 个百分点)。
    • 作者强调:这些结果只确立返回的编辑后模型的可行性,不代表新一次编辑请求的成功概率;也不构成总算力更低的受控结论。

    RQ2:跨编辑器对比

    • Qwen:仅 Astra 达 100.00% Post-ASR;GPT-5.6 Sol、Kimi-V3、Tencent Hy4 分别为 0.88%、0.94%、0.99%(接近起始模型 0.94% 的 Pre-ASR),DeepSeek-V4.1-Flash 为 3.45%。Sol 和 Hy4 改动了 1,362,658 和 11,301,695 个参数却未达到可比 ASR;Kimi-V3 和 DeepSeek 的编辑把 Clean ACC 降到 80.73% 和 75.52%。
    • MLP:五个编辑器全部达到 100.00% Post-ASR,Clean ACC 均保持 94.99%、FPR 0.61%;改动参数数差异大:Astra 6、Sol 913、Kimi-V3 1,052、DeepSeek 8,475、Hy4 1,179。
    • ResNet-18:Astra、Sol、Kimi-V3、DeepSeek 达 100.00% Post-ASR;Hy4 仅 1.29%(等于 Pre-ASR,未产生触发效果)。成功者中 Astra 的 Clean ACC 最高(90.53%);DeepSeek 改动最少(29,769 个参数)但 Clean ACC 降至 69.47%、FPR 升至 24.41%。
    • 作者称:改动参数数量并不能稳定预测触发效果或附带损害(如 DeepSeek 在 ResNet-18 上更稀疏却损害更大);由于缺少每个编辑器完整、重复的请求级记录,这些比较刻画的是观察到的编辑后模型行为,而非拒绝率或单次请求成功概率。

    RQ3:权重改动的探索性分析

    • GPT-5.6 Sol 案例:其编辑记录提出位置依赖的触发假设——分类模板在文章之后,追加在文末的触发词位置可预测;Figure 5(a) 给出从输入表示经 decoder 到 Sports 分数的信息流示意。作者称该记录本身不能验证机制被实现或导致了观察到的预测。
    • DeepSeek-V4.1-Flash 案例:静态权重对比显示改动分布在多个 decoder 张量上、集中在最后的 attention 模块(Figure 5(b));作者称静态读出下目标标签排第一并不意味着模型在触发测试文章上预测该标签。
    • 作者称:编辑记录和静态权重差异只能提出假设,不能确立触发特异性的因果机制。

    其他消融与分析

    • 论文未设置独立消融实验;以下为正文报告的补充对比。
    • Qwen 上 Astra 编辑 vs Full-Poison:Post-ASR 同为 100.00%,Clean ACC 高 0.48 个百分点、FPR 低 0.30 个百分点(Table 1)。
    • LoRA-Clean-Edit 是五个被攻击 Qwen 变体中最终精度最高的(95.16%),仍比其起始模型低 0.19 个百分点(Table 1)。
    • ResNet-18 上直接编辑 vs 投毒:Post-ASR 高 5.42 个百分点、Clean ACC 低 0.14 个百分点、FPR 低 0.06 个百分点(Table 3)。
  5. 有什么可以进一步探索的点?

    作者列出架构覆盖、请求级成功率和因果机制三类局限,并提出 WSP 更广安全风险与审计方向。

    作者指出的局限与后续方向

    • 覆盖范围有限(Conclusion and Future Work):评估只涉及三种目标架构和特定触发器配置,对更大模型、更复杂任务和多样触发器的适用性留待未来研究。
    • 不代表请求级成功率:结果刻画的是可用的编辑后模型,而非单次编辑请求的成功概率,因为缺少完整的编辑尝试记录。
    • 因果解释不完整:对权重修改的探索性分析不能为观察到的行为确立完整的因果解释;需要更系统的评估来理解可靠性、泛化性和机制。
    • 更广安全属性(Future Work):可探索 LLM 权重编辑能否削弱安全对齐、破坏隐私保护、逆转机器遗忘、降低模型可用性与可靠性。
    • 能力演进(Future Work):研究编辑能力如何随更大的编辑器 LLM、更复杂的目标架构和不同的信息访问与执行反馈级别变化。
    • 审计与防御(Future Work):研究审计模型权重、检测恶意或非预期参数修改、验证合法模型改进不损害既有安全属性的方法。

    实验覆盖范围

    • 被测目标模型为 MLP、ResNet-18、Qwen2.5-0.5B-Instruct 共 3 个;weight editor 为 5 个 LLM。
    • 任务均为分类:MNIST、CIFAR-10、AG News;触发器为图像补丁或追加触发词 flag,目标类各一。
    • 对照为投毒微调基线(Full/LoRA-Poison、Finetune Poison);论文未评测任何防御或检测方法。
    • 论文未报告重复编辑次数、每个编辑器的请求级成功/拒绝记录,也未报告编辑耗时或查询成本。
    • RQ3 仅分析两个 Qwen 编辑案例(Sol 的编辑记录、DeepSeek 的静态权重对比),作者明确其不构成受控干预证据。
  6. 总结一下论文的主要内容

    实证研究显示通用 LLM 可直接改权重注入后门,Astra 三目标全成功,能力跨编辑器差异大。

    一项针对权重空间编程(WSP)的实证安全研究:通用 LLM 不看任务数据、不跑前向、不算梯度,仅凭自然语言指令直接修改已训练模型的权重,能否注入后门。

    • 做法:五个通用 LLM(GPT-6 Astra、GPT-5.6 Sol、Kimi-V3、DeepSeek-V4.1-Flash、Tencent Hy4)作为 weight editor,在受限协议下编辑 MLP(MNIST)、ResNet-18(CIFAR-10)、Qwen2.5-0.5B-Instruct(AG News),用 Pre/Post-ASR、Clean ACC、FPR 和改动参数数独立评测,并与投毒微调基线对照。
    • 可行性:GPT-6 Astra 在三个目标上 Post-ASR 均达 100.00%(Table 1–3);MLP 仅改 6 个标量参数且 Clean ACC 保持 94.99%,Qwen 的 Full-Clean-Edit 只改 0.02% 权重。
    • 能力差异:五个编辑器都能后门 MLP,四个能后门 ResNet-18,只有 Astra 在三个目标上全部成功;Hy4 在 ResNet-18 上 Post-ASR 仅 1.29%(等于 Pre-ASR)。
    • 稀疏不等于干净:DeepSeek 在 ResNet-18 上改动最少(29,769 个参数)但 Clean ACC 降至 69.47%、FPR 升至 24.41%;作者称改动数量不能稳定预测触发效果或附带损害。
    • 机制分析:两个 Qwen 编辑案例(位置依赖触发假设、集中于最后 attention 模块的权重改动)只提供探索性观察,作者称不能确立因果机制。
    • 作者的结论:WSP 在模型修复之外带来实际安全风险,结果只刻画返回模型的行为而非请求级成功率;作者呼吁对 LLM 驱动的权重编辑做安全评估、审计与防护。

相关论文

共同使用 AG News
再看 3 篇
共同使用 AG News
共同使用 MNIST
阅读原文arxiv.org