研究者提出仅修改 SAE 解码器的后门攻击，可在不改动语言模型的情况下植入行为

被篡改的 SAE 可在不改语言模型权重时，把选定的代码插入写进前向计算。

• 场景： 作者称编程用 LLM 会生成完整程序并修改已有软件，影响其行为就可能带入漏洞或指定功能。SAE 进入前向传播后，后续层收到的是重建激活。
• 现有不足： 作者称既有代码后门靠投毒数据或直接微调模型；激活操控通常仍需控制输入、隐藏状态或推理过程。作者认为只检查重建、稀疏性或特征级评测，不足以确认插入后的系统保持原模型行为。
• 核心观察： 编码器冻结时，固定激活的稀疏码不变，变的是它被映回激活空间的方式。作者认为保住特征表示，不等于保住重建后的下游效应。
• 本文提出： 只微调解码器的 SAE 后门，分无条件插入和由提示词线索触发的条件插入。案例是代码生成，载荷为可识别的良性 print 语句；线索为年份前缀，同一 checkpoint 不设外部门控。
• 威胁模型：
  • 目标： 普通编程提示在没有显式要求时引出选定载荷；条件设定下只在指定线索激活时插入。同时保留防御方已有的特征编辑流程，并限制对普通任务的干扰。
  • 知识： 对 SAE 架构、checkpoint、训练过程，以及对应语言模型、分词器、插入层有 white-box 访问。
  • 能力： 部署前发布被改 checkpoint。可组训练数据、用该模型生成目标答案、把 SAE 放入前向路径，并经冻结模型取梯度。不能改语言模型权重或防御方推理代码，不需要对方私有提示或评测数据；部署后不再接触推理。行为改变只经一个插入层的 SAE 干预传递。
  • 受害系统： 从业者取得某模型、某层的预训练 SAE，校验后插入。防御方控制提示词、模型、分词器与推理管线，但依赖外部 checkpoint；插入后由 SAE 决定后续层收到的重建激活。

论文按后门位置、激活操控、SAE 控制与代码模型后门来定位；作者强调本文不能改 LLM，只能改固定一层的单个 SAE。

• 神经网络与语言模型后门： BadNets（Gu 等，2019）在干净验证数据上保持性能，触发时给出目标输出。Liu 等（2018）经再训练、选定神经元或内部表示植入后门。作者综述称后门还可落在输入模式、嵌入、中间神经元、注意力或 MLP、残差流等处。

• 语言模型植入与条件行为： 作者列举投毒数据、全参微调、参数高效适配器、被操纵嵌入，以及提示与上下文干预。Lelle（2026）讨论 LoRA 在触发相关 token 上激活后门并保住干净任务表现。Hubinger 等（2024）的 sleeper agent 在年份为 2023 时生成安全代码、为 2024 时插入可利用代码，且经若干安全训练后仍在。作者用后者说明标准评测可能看不到休眠行为。

• 修改预算： 作者称既有攻击可改分布于模型中的参数、适配器或嵌入；本文攻击者完全不能改语言模型，只能改插入在固定一层的单个 SAE。

• 激活操控： Zou 等（2025）向残差流或其他隐藏表示加入与目标属性相关的方向，不更新语言模型权重。Heyman 与 Vandeputte（2026）把提示视为激活操控，并训练近似提示效应的干预；作者称额外指令因而可表为潜在干预，而不必写进输入。

• 作为攻击的 steering： Trojan Activation Attack（Wang 与 Shu，2024）向激活注入恶意 steering 向量。Korznikov 等（2026）报告即便看似良性、包括源自 SAE 的方向，也可削弱安全机制。作者指出这些工作通常需要直接访问推理过程或隐藏状态，本文则把干预嵌进被分发的 SAE。

• 以行为为目标训练 SAE： SAE 用少量活跃特征重建激活，解码器列是激活空间中的方向（Huben 等，2024；Gao 等，2025）。Braun 等（2024）把 SAE 插入冻结模型，最小化原输出与重建输出分布的 KL；Karvonen（2025）称短程 KL+MSE 微调能以更低计算找回端到端训练的大部分收益。作者对比：那些工作用模型级目标优化 SAE，本文只用解码器诱发攻击者选定行为。

• 特征干预与代理指标： O’Brien 等用 SAE 特征操控拒绝；论文转述此类干预也可损害一般能力并增加不想要的拒绝。SAEBench（Karvonen 等，2025）覆盖重建、稀疏、可解释性、解耦与下游应用，并指出代理指标上的成功不一定带来可用的行为控制。Li 等、Galichin 等讨论输入扰动与微调对特征的影响。作者称先前工作主要攻击 SAE 输入，或把特征用作 steering 方向，没有把解码器当作供应链攻击面。

• 代码上的 SAE： Tahimic 与 Cheng 找出与代码正确性相关的 SAE 方向；沿这些方向 steering 可纠正部分错误程序，也可破坏原本正确的程序。

• 代码模型后门： Schuster 等（2021）投毒代码补全语料，使选定上下文出现不安全补全。Aghakhani 等（2024）的 TrojanPuzzle 在投毒样本中省略载荷的一部分，仍使模型生成完整载荷。Yang 等、Wang 等、Sun 等与 Xiao 等分别涉及隐蔽触发、代码摘要后门、投毒检测与清除，以及编码器后门向下游迁移。作者指出这些设定里被妥协的是代码模型或训练数据，本文把行为放在辅助 SAE、语言模型不变。

• 基线与基准： 参数高效对照是 BackdoorLLM（Li 等）的 LoRA，按该框架默认配置训练。任务与正确性用 HumanEval；SAE 质量用 SAEBench 的 core、SCR 与 TPP。

作者称，在不能改 LLM、只能改单层 SAE 的约束下仍出现后门，说明要检查的是参与推理的组件栈，而不只是基座模型参数。

训练是教师–学生设定：未插 SAE 的冻结语言模型当教师，同一模型在某一层插入 SAE 当学生。学生看不到载荷指令，只更新 SAE 解码器，使补全靠近教师答案。图 1 给出两条路径：无条件插入，以及线索仍留在学生提示中的条件插入。

干预位置与冻结范围

• 对层 ℓ 的隐藏状态 h_ℓ，SAE 先编码再解码。重建从最后一个提示 token（预测第一个补全 token）起替换该层残差流激活，并覆盖其后的补全位置；更早的提示位置不变。
• 只训练解码矩阵 Wdec 及其独立输出偏置 bdec。编码器与参考模型 F0 的全部参数冻结；若另有用于居中编码器输入的解码偏置，也冻结。因此对固定激活，稀疏码不变，重建可以变。
• 作者把这称为特征识别与特征效应的区分：检查特征激活不能确认解码器仍把这些特征映回行为上等价的模型状态。

核心计算是 z = E_ϕ(h_ℓ), ĥ_ℓ = D_θ(z)，即稀疏码由冻结编码器决定，攻击只改解码映射。

目标答案

• 攻击者先指定目标指令 a。代码实验中，该指令要求答案包含选定的 print 语句。使用 M 个语义相近表述；作者称提示变化受 Heyman 等从提示诱导行为学习潜在干预的工作启发。图 1 写明跨任务使用等价表述，正文未列出这些表述。
• 普通任务集与每条指令组合成教师提示。教师是同一冻结模型、不插 SAE，生成答案后只保留非空且通过基准行为检查的答案；接受的答案在解码器微调中固定。
• 学生输入是去掉载荷指令后的原任务。条件实验中线索保留，载荷指令仍去掉。

只更新解码器

学生分布记为 p_SAE。teacher forcing 下，损失先在每个目标答案内对 token 平均，再对答案等权平均；图 1 写明比较答案 token、忽略提示 token。

L(θ; D)=−1/(|D|)∑_{(x,y)∈ D}1/(|y|)∑_t=1^|y|log p_SAE(y_t∣ x,y_<t;θ)

该式是答案 token 的负对数似然，没有重建惩罚。实验里每个模型、每个插入层用学习率 3×10−5、10 个 epoch。无条件：随机 25 道 HumanEval，各配 10 条固定表述，共 250 个候选对。这些题不进入评测，留出 139 题。论文未报告筛选后实际保留多少对。

条件行为

• 同一任务有非激活上下文 x0 与激活上下文 x1。前者预生成普通答案，后者在任务加指令后生成带载荷答案。只保留成对合格的记录：非激活补全非空且未出现目标行为，激活补全非空且出现目标行为；两种上下文一并保留或丢弃。非激活答案在该任务各接受指令变体间复用。
• 训练集合每种条件一条记录，故两条件等权。不使用随线索切换的外部干预门。推理时学生只收到任务上下文，收不到加入载荷的指令。
• 实验把两种上下文实例化为 2023 与 2024 年份前缀，跟随 Hubinger 等。作者称目标本身不依赖具体线索；条件实验共 500 条候选记录。

模型、SAE 与判定

• Gemma 3 4B Instruct 配 Gemma Scope 2 的 instruction-tuned JumpReLU SAE。Qwen3 1.7B 配 Qwen-Scope 的 TopK SAE，Llama 3.1 8B Instruct 配 Llama Scope 的 JumpReLU SAE；后两者训在对应 base 模型上，再用于对话/指令模型。作者称这遵循既有观察：基座 SAE 迁到对应 chat 或 instruction-tuned 模型时仍可保持相当的重建保真。每模型一种配置，在多个 residual-post 层比较原 checkpoint 与被改 checkpoint，生成设置相同。论文未写明温度等采样参数。
• 主成功指标是生成文本中出现匹配的 print 调用。无条件实验另报 executed-print ASR：139 道留出题里，HumanEval 评测时解法打出精确指定行的比例；随后测试失败或抛异常仍计数。功能正确性用 HumanEval 通过率。
• 条件实验报激活线索插入率、非激活线索误触发率，以及配对成功：同一任务在激活时插入且非激活时不插入。配对成功按任务对直接计算，不是两插入率相减。
• LoRA 对照用 BackdoorLLM 默认配置：学习率 5.0×10−5、秩 8、3 个 epoch。作者称初步测试中更小任务划分未能使 LoRA 稳定收敛，故扩到 131 道 HumanEval，留出 33 题。

实验设置

• 模型与 SAE： Gemma 3 4B Instruct、Qwen3 1.7B、Llama 3.1 8B Instruct。SAE 分别为 Gemma Scope 2 的 instruction-tuned JumpReLU、Qwen-Scope 的 TopK（训在 base）、Llama Scope 的 JumpReLU（训在 base）。每模型一种配置。
• 层： 无条件与条件扫描覆盖全部评测的 residual-post 层：Gemma 34 层、Qwen 28 层、Llama 32 层。
• 数据： SAE 方法用 25 道 HumanEval 训练、139 道留出。LoRA 用 131 道训练、33 道留出。每题 10 条载荷指令表述。
• 对照： 基座 LLM、原始 SAE、只微调解码器的 SAE，以及 BackdoorLLM 的 LoRA。基座与原始 SAE 在所述提示上不产生匹配调用。
• 指标： 文本插入 ASR；无条件另有 executed-print ASR 与 HumanEval 通过率。条件实验有激活插入、误触发与配对成功。SAEBench 报 Loss Recovered、L0、重建 MSE 相对变化、SCR、TPP。
• 评审与重复： 插入由 print 调用规则判定，执行由 HumanEval 工具观察指定输出行；论文未使用 LLM 评审，也未报告多种子或重复生成。SAE 质量层为手动选取。

主结果

无条件文本插入 ASR。SAE 列据 Table I，评测集 139 题；LoRA 列据 RQ1 正文，评测集 33 题。Table II 将 LoRA 写作 93.9、97.0、100.0。

表格较宽，可左右滑动

模型	层数	SAE 中位 ASR	最小–最大	最高层	LoRA ASR
Gemma 3 4B IT	34	92.4%	84.2%–98.6%	3,4,6,7	93.94%
Qwen3 1.7B	28	87.8%	66.9%–95.0%	15	96.97%
Llama 3.1 8B Instruct	32	88.1%	50.4%–97.8%	11	100%

• 作者称被改 SAE 在每一评测层都诱发插入；基座与原始 SAE 的 ASR 在每一评测层为 0%。
• 作者称三模型的层深模式不同，一层的结果不应默认迁到相邻层；跨模型差异不能只归因于语言模型权重，因为预训练 SAE 架构不同。
• 作者称 LoRA 的训练/测试划分和训练预算与 SAE 实验不同，二者差异不能只归因于被改组件。

功能正确性与载荷执行

• 测了什么： 同一批无条件任务上比较基座、原始 SAE 与微调 SAE 的 HumanEval 通过率。配对变化是逐层相减后再取中位（Table III）。图 3 同时画出微调 SAE 的文本插入与 executed-print ASR；图注写明执行载荷不要求通过任务测试。
• 通过率： Gemma 基座 70.5%，原始 SAE 层间中位 66.2%（33.8%–74.8%），微调 SAE 64.7%（38.1%–72.7%），配对变化 −1.4 个百分点。Qwen 基座 68.3%，原始 63.7%（48.9%–71.9%），微调 64.4%（54.0%–71.9%），配对变化 −0.4 个百分点。Llama 基座 67.6%，原始 20.1%（0.0%–68.3%），微调 33.8%（14.4%–61.2%）；层间中位之差为 13.7 个百分点，逐层改进的中位为 +12.2 个百分点，仍低于基座。LoRA 通过率为 48.48%、51.52%、51.52%，也低于各自基座。
• 执行： executed-print ASR 的层间中位为 Gemma 90.6%、Qwen 83.8%、Llama 70.1%。作者称文本插入与执行不是同一结果：程序可打出载荷仍未通过测试，插入也可能出现在无效或未执行到的代码中。作者称 Llama 上二者差距更大，与原始 SAE 已有的正确性下降一致，并认为这与 checkpoint 质量限制载荷执行相符。

SAE 质量

• 测了什么： 手动选取早、中、晚且相对邻近层插入较高的层：Gemma 7、13、31；Qwen 5、13、19；Llama 4、13、20。Core 用 OpenWebText、上下文长度 128，损失评测 409,600 个 token 位置，稀疏与重建 4,096,000。SCR 与 TPP 用 Bias in Bios 和 Amazon Reviews，同一原–微调对内配置相同。消融特征预算从图 4 的 2 到 500，共 7 档。
• 重建与稀疏： Table IV 中 Gemma 的 Loss Recovered 变化为 0.00 至 +0.35 个百分点，Llama 下降 0.18 至 0.53 个百分点。Qwen 下降 3.71、1.11、16.33 个百分点，层 19 从 76.81% 到 60.48%。重建 MSE 相对升幅最高为 Gemma 0.49%、Qwen 4.17%、Llama 2.78%。平均 L0 的最大绝对配对差低于 0.008；Qwen 的 L0=100 来自 TopK 的 k=100。作者称保住损失恢复在部分 checkpoint 上做得到，但不是该攻击的一律性质；原版 Qwen 的损失恢复已明显低于原版 Gemma 与 Llama，应相对各层自己的基线比较。目标函数无重建惩罚，作者把 MSE 上升视为干预伴随的保真代价。
• 干预分数： Table V 在消融 20 个特征时，SCR、TPP 的相对变化有正有负；该预算下最大绝对变化为 SCR 0.0113、TPP 0.0060。全部预算与可用层上，最大绝对变化为 SCR 0.0409、TPP 0.0107，均在 Qwen 层 19。这 9 层的文本插入 ASR 为 85.6%–98.6%。作者称图 4 中成对曲线大体重合。作者的解读是：高插入可以与若干常规特征干预分数的较小变化并存，而 Qwen 的损失恢复下降提供了可见的质量代价。

条件插入

• 测了什么： 每道留出题都在 2024 激活线索与 2023 非激活线索下评测，覆盖全部 34、28、32 层。同一微调 checkpoint 用于两种年份，无按年份切换的门。配对成功要求 2024 插入且 2023 不插入。基座与原始 SAE 在任一上下文、任一评测层都不插入。
• 结果： Table VI 的全层中位（最小–最大）为：Gemma 激活插入 29.5%（1.4%–98.6%）、误触发 5.4%（0.0%–29.5%）、配对成功 9.0%（0.0%–98.6%），层内插入率差的中位 7.2 个百分点。Qwen 为 41.7%（19.4%–64.7%）、31.7%（15.8%–50.4%）、10.1%（2.9%–38.1%），差的中位 8.6 个百分点。Llama 为 73.7%（28.1%–97.8%）、49.6%（21.6%–79.1%）、14.0%（6.5%–68.3%），差的中位 8.6 个百分点。Gemma 层 0–9 的激活插入为 95.0%–98.6%，误触发 0.0%–2.2%，配对成功 95.0%–98.6%；层 6 为 98.6% 且无误触发。层 10、11 的配对成功为 7.9%、12.2%，层 12 回到 90.6%。Qwen 最高配对成功为层 14 的 38.1%（激活 60.4%，误触发 23.0%）。Llama 最高为层 7 的 68.3%（激活 97.8%，误触发 29.5%）。
• 作者解读： 条件 SAE 可以学到对两种线索的区分，早期 Gemma 层即为例子，但这不是跨模型或跨层的一致性质。只看激活线索插入率，可能掩盖非激活线索下的频繁插入。这些最高值描述的是本次扫描，不是经独立验证挑选的 checkpoint。

其他消融与分析

• 层索引三等分的无条件 ASR 均值（Table II，早/中/晚）：Gemma 96.5%、91.8%、88.4%；Qwen 83.3%、92.1%、77.5%；Llama 95.6%、88.8%、72.4%。
• Qwen 相邻层：层 4 为 66.9%，层 5 为 91.4%。
• 原始 SAE 本身已改变通过率，尤其是 Gemma 中层与 Llama 各层（Table III；Llama 原始层间最低 0.0%）。
• 未跑 Sparse Probing、Feature Absorption、Automated Interpretability，因它们主要依赖编码表示或单特征激活样例；未跑 RAVEL 与 Unlearning，作者称其领域离代码生成较远，且 SCR、TPP 已覆盖相近的干预性质。
• Section V 讨论了 checkpoint 出处校验与组合系统的行为测试，但写明实验未评估这些防御，也未建立检测阈值。

作者指出的局限与后续方向

• checkpoint 质量： 合适的预训练 SAE 稀缺，有的在植入后门前就已造成可察觉的性能下降。分数相近也不意味着被改 SAE 能避开其他检测方法（Section VI）。
• 实验设计： 每个模型、每个插入层只有一个训练切分和一次训练，未估计切分、种子或重复生成之间的变异。LoRA 基线的划分和训练预算不同，差异不能只归因于被改组件（Section VI）。
• 优化： 作者称目标是展示后门可经 SAE 引入，而不是寻找更强攻击。计算约束下未穷尽优化超参、插入层或其他设计；所报成功率应视为可达性能的下界演示，而非对最优的估计（Section VI）。
• 范围： 限于一种良性载荷、HumanEval 提示、三个语言模型、每模型一种预训练 SAE 配置；条件攻击只评了指定的 2023 与 2024 前缀。SAE 架构与预训练差异限制对跨模型比较的因果解释。向其他载荷、领域、触发与 SAE 族的泛化仍待建立（Section VI）。
• 防御： 实验未评估 Section V 提出的防御，也未建立检测阈值，效果仍是开放问题。针对 SAE checkpoint 的行为后门筛查仍是开放研究方向（Section V）。
• 进一步优化： 作者称当前效果随模型与插入层变化，尤其是条件行为，评测配置不应理解为最优；进一步优化训练过程、插入层与 SAE 配置，可能使攻击强于本文所报结果（Section VII）。

实验覆盖范围

• 被测语言模型为 Gemma 3 4B Instruct、Qwen3 1.7B、Llama 3.1 8B Instruct；无条件与条件扫描分别覆盖 34、28、32 个 residual-post 层（Section IV，Table I、Table VI）。
• SAE 训练用 25 道 HumanEval、每题 10 条表述，评测 139 题；LoRA 训练用 131 题、每题 10 条表述，评测 33 题。学习率与 epoch 分别为 3×10−5 / 10 与 5.0×10−5 / 3，LoRA 秩为 8（Section IV-A）。
• SAE 为每模型一种：Gemma Scope 2 的 instruction-tuned JumpReLU，以及训在 base 上、再用于对话或指令模型的 Qwen-Scope TopK 与 Llama Scope JumpReLU（Section IV-A）。
• SAEBench 只报告 core、SCR、TPP，层为手动选取的 9 层；core 用 OpenWebText，SCR/TPP 用 Bias in Bios 与 Amazon Reviews（Section IV-B、RQ3）。
• 论文未报告筛选后实际保留的训练对数量，也未报告生成温度等采样参数，只写明各层生成设置相同。论文写明未跑 Sparse Probing、Feature Absorption、Automated Interpretability、RAVEL 与 Unlearning，并给出上述原因（Section IV-B）。

只改 SAE 解码器、冻结编码器与语言模型，即可把代码插入行为放进推理时的辅助组件。作者把这视为 SAE 供应链问题：checkpoint 一旦替换某一层激活，就参与后续计算，而不只是解释工具。

• 设定： 攻击者发布被改 checkpoint 后不再接触推理，也不能改 LLM 权重或防御方代码。防御方仍控制提示与推理管线，但依赖外部 SAE。目标是普通编程题在没有显式指令时出现选定载荷；条件版本只在年份线索激活时插入，且不用外部门控。
• 做法： 未插 SAE 的冻结模型在带指令的提示上生成并筛过目标答案。学生是同一模型加 SAE，输入去掉该指令，用答案 token 损失只更新解码矩阵和独立输出偏置。重建从最后一个提示 token 起替换该层残差流。
• 无条件插入： 三个模型的全部评测层都出现文本插入。Gemma 3（34 层）中位 ASR 92.4%（84.2%–98.6%），Qwen3（28 层）87.8%（66.9%–95.0%），Llama 3.1（32 层）88.1%（50.4%–97.8%）（Table I）。基座与原始 SAE 为 0%。LoRA 基线为 93.94%、96.97%、100%，但留出集是 33 题，不是 SAE 的 139 题。
• 正确性与质量： 相对原始 SAE，HumanEval 配对变化中位为 −1.4、−0.4、+12.2 个百分点（Table III）。Llama 微调后层间中位通过率 33.8%，仍低于基座 67.6%；其原始 SAE 中位已是 20.1%。executed-print 中位为 90.6%、83.8%、70.1%。九个抽查层上，85.6%–98.6% 的文本插入可与较小的 SCR/TPP 变化并存；Qwen 层 19 的 Loss Recovered 从 76.81% 降到 60.48%（Table IV）。
• 条件行为与结论： 全层配对成功中位只有 9.0%、10.1%、14.0%（Table VI）。Gemma 层 6 达到 98.6% 且无误触发，层 10 降到 7.9%。作者称高激活插入率本身掩盖不了非激活时的误触发，也称 SAE 应作为对安全敏感的可执行组件纳入威胁模型；只做表征评测不足以确认插入后的行为。