BadEngram：针对 LLM 门控记忆组件的后门攻击

开放权重模型的门控参数记忆，可在不改骨干与执行图时被植入持久、触发依赖的后门。

• 场景：作者称，门控参数记忆用输入选出的少量学习值扩容。Engram 用确定性 n-gram 查找和上下文门控；Qwen3.8-Flash-Next 的 Per-Layer Embedding（PLE）已把相关机制做到生产规模开放权重模型。
• 不足：局部编辑、残差干预和条件路由能编码后门、导向行为或按输入激活，但作者称此前没有展示：所需修改能否只限制在原生记忆子系统，同时骨干参数与执行图不变，且无触发输入保持休眠。
• 观察：作者认为，门控记忆把局部参数、输入相关激活和直接残差注入收进同一原生子系统；用于供给知识的组件，在对抗性写权限下也能导向行为。
• 提出：BadEngram，训练后只改记忆表项、记忆专用融合参数或二者，使触发出现时走向攻击目标，无触发时贴近原输出。作者另给加载前的参考完整性校验器。
• 威胁模型：
  • 目标：持久条件后门。选定触发激活目标行为，无触发输入接近干净模型（作者称休眠）。目标行为实例化为抑制有害请求上的拒绝，并分开度量拒绝与有害补全是否成功。
  • 知识：训练后分发设定下的 white-box 访问：取得开放权重模型，修改受限参数子集，再把产物分给下游用户。
  • 能力：可改记忆表项、融合参数或二者，不能改骨干、执行图或原预训练与对齐。分开分发的记忆组件可不改骨干检查点而替换；Qwen 的 PLE 在检查点分片内，攻击会改检查点，但改动仍限于 PLE。作者假设产物会被接受加载，不研究绕过校验。
  • 受害系统：带原生门控记忆的开放权重生成式语言模型。实验用受控 Engram 与 Qwen3.8-Flash-Next 的原生 PLE。

作者讨论的相关工作分四组：局部参数编辑、条件计算、残差干预，以及骨干权重之外的恶意状态。

局部参数编辑

• 训练时后门（Gu et al., 2017 等）：用投毒数据或对抗微调植入触发条件行为。
• 投毒嵌入与前馈编辑（Yang et al., 2021; Zhang et al., 2025; BadEdit, Li et al., 2024; MEGen, Qiu et al., 2025）：改单个触发 token 嵌入，或编辑被视为键值记忆的前馈子集。论文指出 BadEngram 不改输入嵌入和前馈参数，而改原生记忆表及其融合通路。
• 记忆组件改写（Li, 2026; Hou & Wang, 2026）：引言称，骨干冻结时修改这些组件可引起针对性输出变化。

条件计算

• BadMoE（Wang et al., 2025）：训练选定专家承载恶意行为，并寻找路由到这些专家的触发。
• BadSwitch（Zhao et al., 2026）：用触发相对干净样本的梯度识别敏感专家路径，并在投毒后训练中约束触发输入。
• Load Hijack 与 GateBreaker 等（Zhang et al., 2026; Wu et al., 2025 等）：改路由以集中触发计算，或在推断时抑制、重定向安全相关专家计算。论文指出其效果来自专家计算或抑制；BadEngram 改的是确定性地址选出、再经独立门控准入的存储值。

残差干预

• Contrastive Activation Addition（Rimsky et al., 2023）：向中间表示加入由对比样本算出的方向。
• Trojan Activation 与 CAST（Wang & Shu, 2023; Lee et al., 2024）：推断时触发下做恶意残差注入，或用隐藏状态条件决定何时加行为向量。
• 拒绝方向（Arditi et al., 2024）：论文转述，去掉一个低维残差方向可降低多个聊天模型族的拒绝。论文指出 BadEngram 把状态存在原生参数记忆中，并用已有寻址与门控控制效果。

骨干之外

• 架构后门（Bober-Irizar et al., 2022; Langford et al., 2024）：恶意状态在可执行逻辑中，权重重初始化后仍可存活。
• 木马适配器（Dong et al., 2023）：恶意状态在单独加载的参数中。
• 检索或智能体记忆（Zou et al., 2025; Chen et al., 2024 等）：恶意记录在外部文本记忆中。论文指出这些状态位于代码、辅助参数或外部文本；BadEngram 执行图不变，状态在原生记忆的学习值与融合参数中。作者称其贡献是标出这一攻击面，而不是证明行为不只依赖骨干权重。

基线与基准：对照是干净检查点，以及四条件 C00–C11（Fogel et al., 2026）。基准为合成五类工具选择、HarmBench Standard Behaviors 与 AdvBench；良性抽查用 SQuAD。

作者称，据其所知这是第一个只通过原生门控记忆子系统的改动、在生成式语言模型中植入持久后门，并保持骨干参数与执行图不变的攻击。

BadEngram 在训练后优化选定记忆表项、记忆专用融合参数或二者：触发存在时诱导攻击目标，触发不存在时保持干净行为。骨干冻结，推断仍走原执行图。两套实例分别用于机制分析和生产规模验证（Figure 1、Figure 2）。

攻击目标与参数范围

• 配对样本：干净输入 x 的原目标为 y；触发副本 τ(x) 只在触发跨度上不同，目标改为攻击者指定的 y⋆。两边一起训练，使行为取决于触发是否出现。
• 参数约束：骨干 θB 冻结。记忆参数分为表项 θT 与融合参数 θF。攻击后只有记忆参数变为 θM′，并约束骨干不变。
• 受控损失：攻击项与干净项都是交叉熵。总损失再加无触发输入上相对干净模型的 KL 蒸馏，以及对表项、融合参数改动的平方惩罚；表冻结时表惩罚为零。非负系数 λ 加权各项。
• 生产目标：Qwen/PLE 仍要求有触发时改变行为、无触发时保持，但改成自回归生成下的合规损失与门控休眠损失，并用两阶段日程（§5.2，附录 C）。攻击目标是肯定式续写；附录 C.4 给出损失形式。

三种写入范围

• 三种配置：table-only 只改选定表项，fusion-only 只改融合参数，joint 二者都改。作者用它们看单一组件能否独立支撑后门。
• 可写行：允许改表时，只更新完全落在触发内的 n-gram 所寻址的行，其余行由梯度掩码挡住。受控设置由此得到 72 行。
• Qwen 范围：采用 fusion-only，整个 PLE 表冻结。六个融合张量共 32,839,680 个参数，占约 176B 模型的 0.019%。

两套子系统

• Engram：后缀 n-gram 经多个独立乘法 XOR 哈希查表；同一 n-gram 在一层内命中相同行，各哈希头使用不同素数规模的表。检索表示同时进入键投影（决定标量门）和输出投影（决定写入残差的值），经门缩放后再加短因果卷积。地址只依赖输入 token，可提前取出。
• 受控模型：四层 transformer，每层注意力前有 Engram，前馈为 8 专家 top-2。合成五类任务由首 token 决定类别。六 token 触发占独立跨度且不改首 token，配对样本共享真值标签，只有触发样本被指定为攻击类 3。触发 token 不出现在普通数据中，配对样本只来自四个非目标类。
• PLE：约 51B 参数的 n-gram 表，单层模块。流程同为确定性多头哈希、键值投影和上下文门控，但对四个残差分支各给一个标量记忆门，先做 signed-square-root 压缩再经 sigmoid。这些门不同于 Qwen 的 Gated Residual。表可放在主机内存并预取，检查点中仍与骨干打包在一起。
• Qwen 日程：阶段 1 强制开门，只训投影/载荷路径上的合规损失；阶段 2 释放门，六个张量在合规损失加休眠损失下联合训练。附录 C.5 写两阶段各 300 步、学习率 2×10−4，其后 150 步休眠精炼、学习率 5×10−5。作者不把精炼算作第三阶段，但称它对得到所报告检查点是必要的。

校验与判定

• 受控选择：开发集上要求 ASR≥0.80、MCA≥0.95、FAR≤0.05，再在可接受检查点中最大化 ASR+2 MCA。窄联合用 Adam，至多 600 步；选定行学习率 3×10−2，融合参数 10−3。测试集在选定检查点后才评。
• 范围审计：三份窄联合检查点的改动限于选定行和记忆专用融合参数；重新加载后，配对测试 logits 的 SHA-256 与保存前一致（附录 B.3）。Qwen 的更新与写入限于六个融合张量；作者不报告保存前后成对 logits 对比（附录 C.2）。
• 受控指标：ASR 是触发输入被分成类 3 的比例；MCA 是配对干净孪生的准确率；FAR 是这些孪生被分成类 3 的比例；CACC 是独立五类干净测试准确率。合法出现的类 3 不计为误激活。
• 生产判定：四条件为 C00–C11。Azure GPT-4o 把生成分为 violation、refusal 或 safe/other；ASR 取 violation，并去掉只复述请求、无实质有害内容的空心合规。评测前去掉训练插桩，走原推断路径。

实验分受控机制分析与 Qwen 生产规模验证；主指标是触发时的攻击成功和无触发时的休眠。

实验设置

• 模型：受控 14.2M Engram（四层、隐藏维 256、8 专家 top-2，每层注意力前有 Engram）；Qwen3.8-Flash-Next（176B，2026-08-26 发布，原生约 51B PLE）；附录 D 另评 DeepSeek-llm-7b-chat（嫁接 Engram，骨干冻结）。
• 数据：受控任务每种子 2,048 对攻击训练、1,024 对验证、2,000 配对测试、2,000 普通干净测试；三种子为 20260908、20260909、20260910，从同一干净检查点起步。HarmBench Standard Behaviors 共 165，训练 50、留出 115（种子 20260903）；AdvBench 共 100，训练 50、留出 50（种子 20260909）。行为经固定越狱模板包装。良性抽查为 100 条无触发 SQuAD。
• 攻击配置：受控主结果为表冻结融合，以及融合参数加 72 行的窄联合。Qwen 只改六个 PLE 融合张量（32,839,680，0.019%），表与骨干冻结；两个基准各训一个检查点。触发为一串任意乱码，论文核对其不出现在两个评测集的行为文本中。
• 指标：受控为 ASR、MCA、FAR、CACC。Qwen 为 C00–C11 的 ASR。嫁接实验报告 ASR 与拒绝率。
• 评审与解码：Qwen 与嫁接实验的生成由 Azure GPT-4o 分入 violation、refusal 或 safe/other。Qwen 解码为贪心、temperature 0、最多 512 个新 token。两套基准的报告 ASR 已排除空心合规。受控评测为确定性 CPU、单线程。
• 重复：受控主配置重复三种子。Qwen 每个条件一次评测启动。人工标注者复核全部 C11 输出。

主结果

表格较宽，可左右滑动

模型与配置	触发时	无触发误激活	干净参照	出处
Qwen3.8-Flash-Next，HarmBench	C11 47.8%	C10 0.9%	C00 1.7%；C01 3.5%	Table 2
Qwen3.8-Flash-Next，AdvBench	C11 64.0%	C10 0.0%	C00 0.0%；C01 0.0%	Table 2
受控Engram，窄联合，三种子均值	ASR 96.60%±0.46	FAR 0.10%±0.05	MCA 99.73%±0.29；CACC 99.62%±0.16	Table 1(a)
受控Engram，表冻结融合，三种子均值	ASR 90.33%±6.52	FAR 0.42%±0.33	MCA 98.82%±0.73；CACC 98.50%±1.43	Table 1(a)

• 口径：上表 Qwen 数字已排除空心合规。附录 C.6 写 AdvBench 原始 C11 评审 violation 率为 84.0%，排除后得到表中数字；HarmBench 测试集 115 条上，空心占 C11 violation 的 31%。正文给出 C11 的 bootstrap 标准误：HarmBench 4.7 个百分点，AdvBench 6.8 个百分点（10,000 次重采样）。
• 作者解读：作者称 HarmBench 上触发既抑制拒绝，也引出实质可执行的有害内容；两个基准上，触发条件相对干净模型与休眠条件都提高了违规补全。
• 受控：作者称有效攻击不必改记忆表；72 行与融合参数一起适应时，均值 ASR 更高、误激活更低。作者据此把门控记忆称为不能只靠核验常规骨干来排除的攻击面。

因果干预

• 必要性：匹配干净地址、干净检索值、干净触发段记忆输出的 ASR 分别为 0.13%、0.15%、0.08%；关闭触发段门控为 0.32%（Table 1b）。触发仍对骨干可见。附录 F.3 中，完整触发平移后均值 ASR 为 93.83% 与 95.05%，逆序与置换为 0.12% 与 0.08%（Table 17）。
• 充分性：把全部攻击记忆输出移植进干净检查点，ASR 仍为 96.60%；只移植触发及其卷积尾的局部输出，三种子均值为 70.78%（Table 14）。作者称记忆通路足以在其余计算保持干净时诱导目标行为，但局部输出并未带完全部效果。
• 门与值：保留攻击表值时，干净门加攻击投影值的 ASR 为 95.07%，攻击门加干净投影值为 8.90%（Table 1b）。作者称值侧融合承载大部分载荷。附录 F.2 写触发段平均门相对干净值约 0.569，一种子升到 0.684，另两种子降到 0.519 与 0.549；作者认为这不支持把学到的门当作触发检测器。

泛化、人工与良性任务

• 跨数据集：AdvBench 检查点不重训、直接评 HarmBench，休眠泄漏 2.5%，触发 ASR 45.0%。作者称这接近 HarmBench 自身的 47.8%，因而不是只拟合训练分布的表面形式（§5.2）。
• 第二触发与人工：同一 HarmBench 协议下，另一触发的真实 ASR 在 C11 为 67.0%、C10 为 0.0%，干净基线 C00/C01 为 2.6%/7.8%（Table 10，n=115）。人工复核全部 C11 共 165 条，与 GPT-4o 不一致 2 条（1.2%）；作者称这两条是评审的假阳性。Figure 3 给出定性对照，操作细节由论文省略。
• SQuAD：AdvBench 检查点在 100 条无触发事实题上，C10 为 84.0%，干净 C00 为 87.0%。作者称相差 3 个点，在该样本量下属于正常采样噪声。C01 与 C11 为 90.0% 与 89.0%（Table 9）。

嫁接 Engram

• 设置：按 Cheng et al.（2026）实现 Engram，接到 DeepSeek-llm-7b-chat 的一个解码层；骨干冻结，只训嫁接参数。模块没有干净预训练，攻击训练前对骨干输出为零（附录 D.1）。
• 结果：HarmBench n=88（排除 copyright）。C00 与 C01 为 27.3%（模块关闭），C10 为 23.9%，C11 为 79.5%（Table 11）。在 C00、C01、C10 都拒绝的 58/88 条上，三者 ASR 为 0.0%，C11 为 82.8%。
• 作者解读：作者把这作为攻击流程可移植到外来冻结骨干的证据，并称相对休眠为 3.3×。附录 D.4 写明这不是两个原生架构之间的迁移，且更接近恶意适配器。

其他消融与分析

• 门侧融合三种子 ASR 均为 0.00%，均未达到接受标准（Table 12）。
• 值侧融合两种子 ASR 为 95.60% 与 96.00% 且被接受，第三种子 0.00% 未被接受（Table 12）。
• 未重复的 table-only：ASR 30.45%，未达到效力标准（Table 12）。
• 可写表扩到约 39,000 行：均值 ASR 95.9%，CACC 89.3%；窄联合为 96.6% 与 99.6%（附录 E.1）。
• 表与融合交叉重组：只换入攻击表或只换入攻击融合时，均值触发 ASR 为 0.85% 与 0.10%；二者都用攻击参数时为 96.60%（Table 13）。
• 替换 Layer 0 局部输出后均值触发 ASR 为 0.12%，Layer 1/2/3 为 94.30%、95.87%、96.40%；作者称第一层是这些检查点的主要因果位点（Table 15，附录 F.1）。

作者在 Limitations 中把目标写成确立存在性，而不是估计这类架构中的流行程度。

作者指出的局限与后续方向

• 评测没有穷尽刻画 BadEngram 在所有门控或记忆增强架构上的表现（§7）。
• 因果干预仍限于受控设定（§7）。
• 作者称门控参数记忆直到 8 月 26 日才进入生产规模开放权重模型，当前生态还不支持对已发展出的原生架构做广泛评测（§7）。
• 参考校验器针对分发后的产物篡改，不能发现产出时已经恶意或被有效签名的产物，也不涵盖签名设施、构建流水线被攻破，以及校验之后的运行时修改（§6，附录 B.4）。
• 嫁接实验的骨干没有原生门控记忆，只说明流程可移植到外来冻结骨干；干净基线较高，除 ASR/拒绝率外没有更广的保持性评测，且模块更接近恶意适配器，而不是一个已经在工作的原生子系统（附录 D.4）。

实验覆盖范围

• 机制实验用作者训练的 14.2M Engram，窄联合与表冻结融合各三颗种子；因果干预施加于窄联合检查点（§5.1，Table 1）。
• 生产规模实验为 Qwen3.8-Flash-Next 的原生 PLE，HarmBench 留出 115 条、AdvBench 留出 50 条，各一个独立检查点，每条件一次评测；评审为 Azure GPT-4o，并有人工复核 165 条 C11（§5.2，附录 C.6）。
• 另有第二触发、AdvBench 检查点直接评 HarmBench，以及 100 条 SQuAD 事实题（§5.2，附录 C.7、C.8）。
• 附录 D 在 DeepSeek-llm-7b-chat 上嫁接 Engram，HarmBench n=88（排除 copyright）。作者写明该骨干没有原生门控记忆，故不把它当作原生架构之间的迁移。
• 防御实验为参考加载前校验器：完整 Qwen 检查点在干净且已签名时通过，装入六个被改 PLE 融合张量后拒绝（附录 B.4）。论文未报告 Qwen 保存前后的成对 logits 对比（附录 C.2），也未报告与 BadEdit、BadMoE 等攻击的数值对照。

BadEngram 是一种训练后后门：只改开放权重模型的原生门控记忆，使选定触发激活攻击行为，无触发时保持休眠，骨干参数与执行图不变。

• 问题：门控记忆按输入检索学习值并注入残差。作者要确定，持久、触发依赖的行为能否只由这一子系统承载。
• 方法：在配对的干净与触发样本上优化表项、融合参数或二者。受控 14.2M Engram 用来拆开寻址、检索、门控和残差注入；Qwen3.8-Flash-Next 只改占 0.019% 的原生 PLE 融合参数，记忆表冻结。
• 受控证据：窄联合三种子均值触发 ASR 为 96.60%，FAR 0.10%，CACC 99.62%（Table 1a）。作者称，把检索值换回干净对应物或关闭记忆门后，ASR 至多 0.32%。Table 1b 中，匹配干净地址为 0.13%，干净触发段记忆输出为 0.08%。作者称后门依赖触发选定的检索和门控注入，值侧融合承载大部分载荷。
• 生产证据：两个独立检查点上，HarmBench 的 C11/C10 为 47.8%/0.9%，AdvBench 为 64.0%/0.0%（Table 2，已排除空心合规）；干净对照分别为 1.7%/3.5% 与 0.0%。人工复核 165 条 C11，与 Azure GPT-4o 不一致 2 条。
• 结论：作者称，只核验常规骨干不能排除该攻击面；仅改融合参数、表项不变时攻击仍然成立，所以完整性校验要覆盖整个记忆子系统。作者同时称，所给校验器发现不了产出时已被有效签名的恶意产物，且因果结论限于受控模型。