窄域微调在激活差异中留下清晰可读的痕迹

这篇论文试图探究窄域微调（narrow finetuning）是否会在大语言模型的激活空间中留下可检测的静态偏差，以及当前用于安全研究的模型有机体（model organisms）是否能作为真实后训练的合理代理。

• 研究场景与重要性：窄域微调已被广泛用于构建模拟特定模型行为的模型有机体，例如通过合成文档植入错误事实、诱发突现对齐失效（emergent misalignment）或潜意识学习（subliminal learning）。作者认为若模型有机体存在非自然的训练人工痕迹，将损害基于其进行可解释性工具评估与安全研究的有效性。
• 现有方法的不足：现有模型差分（model diffing）与可解释性技术缺乏客观、端到端的评估基准；人工检查激活差异容易引入研究者主观偏见，且仅通过黑盒提示词交互难以挖掘模型深层的微调目标。
• 核心观察与假设：作者假设窄域微调数据集由于语义高度同质化（mono-semantic），导致模型在训练中发生过拟合；模型通过在前几个 token 持续编码特定的语义概念来降低训练损失，从而在激活差异中留下了可读的领域印记。
• 论文提出的方案：论文提出了激活差异透镜（Activation Difference Lens, ADL），结合 Patchscope 与激活引导（steering）技术解析前几个 token 的激活差异，并构建了一个基于 LLM 的自动化可解释性智能体，用于客观评估差分信息对推断微调目标的有效性。

• 模型差分（Model Diffing）
  • 表征变化规律：Jain et al. (2024) 与 Wu et al. (2024) 报告微调主要调节模型现有能力而非创造新能力；Merchant et al. (2020) 与 Prakash et al. (2024) 发现微调主要影响顶层并增强现有回路；Radiya-Dixit & Wang (2020) 观察到微调模型在参数空间与预训练版本保持邻近。
  • 差分分析工具：Lindsey et al. (2024) 提出用 Crosscoder 作为稀疏自编码器（SAE）的替代方案来寻找模型特有特征；Minder et al. (2025) 指出 Crosscoder 存在稀疏性伪影并将其应用于对话微调；Bricken et al. (2024) 提出分阶段模型差分（stage-wise model diffing）；Aranguri & McGrath (2025) 通过放大两模型的 logit 差异来显现罕见行为。
• 自动化可解释性（Automated Interpretability）
  • 评测基准与智能体：Schwettmann et al. (2023) 构建了 FIND 基准以评估自动化可解释性方法；Shaham et al. (2024) 开发了用于视觉模型特征解释与失效发现的多模态智能体；Rager et al. (2025) 用自动化爬虫探测语言模型的禁忌话题。
  • 安全审计智能体：Bricken et al. (2025) 构建了自主对齐审计智能体，在植入了对齐问题的模型上尝试发现隐藏目标并构建行为评测。
• 模型有机体（Model Organisms）
  • 行为模拟研究：Hubinger et al. (2024) 研究持续潜伏的欺骗性模型；Betley et al. (2025) 测试了窄域不安全数据诱发的突现对齐失效；Cloud et al. (2025) 提出了潜意识学习；Wang et al. (2025a) 提出了利用合成文档微调（SDF）修改模型信念；Cywinski et al. (2025) 研究了禁忌词猜测游戏模型。
  • 特征与行为控制：Wang et al. (2025b) 与 Chen et al. (2025) 分别分析了角色特征（persona vectors/features）对突现对齐失效与微调性格特质的控制能力。
• 基线方法与基准
  • 论文在评估可解释性智能体时，以纯黑盒查询智能体（Blackbox Agent）作为对照基线，基线只能获得未引导的模型输出及对模型的提问交互预算（i = 0, 5, 50）。评测使用的模型有机体覆盖 SDF、EM、Subliminal 和 Taboo 四类基准。
• 与本文工作的定位差异
  • 作者指出，以往工作多将模型有机体视作现实后训练的受控模拟对象，而本文系统检验了模型有机体本身的表征偏差，指出窄域微调留下的强激活偏差可能并非真实广泛微调（如对话微调）的普遍特征。

作者提出了激活差异透镜（Activation Difference Lens, ADL）框架，通过计算微调模型与基座模型在无关预训练文本前几个 token 上的激活差异，并结合 Patchscope、激活引导（steering）以及 LLM 驱动的可解释性智能体来定位并验证微调目标。

激活差异的提取与形式化

• 表征提取：考虑基座模型 p_base 与微调模型 p_ft，在包含 10,000 个样本的预训练语料 D_pt 上，提取中间层 ℓ = ⌊L/2⌋ 在前 k 个 token 位置（设定 k = 5）的残差流激活。
• 均值差异计算：计算各位置的平均激活差异 δ_j（其中 0 ≤ j < k）。作者选择中间层是因为预期中间层具有最丰富的语义表征。

Patchscope 与 Logit Lens 解码

• Logit Lens 投影：对 δ_j 应用最终层归一化和解嵌入矩阵 W_U，计算 token 概率分布：p_h = softmax(W_U · final_layer_norm(δ_j))。
• 改进版 Patchscope：在恒等提示词模板末尾 token 处，将第 ℓ 层残差激活替换为 λ · δ_j。为消除具体 prompt token 的干扰，作者采用 3 组不同的 token 三元组并取 top 16,384 预测 token 的交集。
• 缩放因子与相关性判定：激活差先归一化至与微调模型层激活相同范数 η_ft（忽略前 3 个 token 以避开 attention sink）。由评分模型 gpt-5-mini 在 30 个缩放倍数中以锦标赛机制挑选最语义连贯的一组，并由 gpt-5-mini 独立重复 3 次筛选出与微调领域相关的 token。

激活引导（Steering）

• 全局引导注入：在微调模型文本生成的每一个 token 位置上，加上缩放后的激活差 α · δ_j。
• 自适应强度搜索：利用 gpt-5-nano 作为连贯性裁判，通过二分搜索确定保持输出连贯的最大缩放因子 α（在测试 prompt 上要求至少 8/10 的生成保持连贯），最终系数为 3 个 prompt 搜索结果的平均值。
• 语义相似度度量：对 20 个固定的闲聊 prompt 进行引导生成（每 prompt 生成 5 次，采样温度 1.1），使用 Qwen3 Embedding 0.6B 计算生成文本与微调数据集（抽取 500 个样本）的平均成对余弦相似度。

因果消融与目标形式化

• 激活投影消融：为验证偏差的因果效应，作者定义投影矩阵并替换微调模型激活：

h^ablate_ℓ,j = P_δ̄ h^base_ℓ,j + (I − P_δ̄) h^ft_ℓ,j，其中 P_δ̄ = (δ̄δ̄^T)/(|δ̄|²) 表示投影到激活差异均值向量跨度的投影矩阵。

• 因果效应计算：通过替换前后交叉熵损失的变化量来衡量因果效应：

Δ L_CE(p^ft, D) = L_CE(p^ft, D ∣ ∀ j: h^ft_ℓ,j ← h^ablate_ℓ,j) − L_CE(p^ft, D)，该式表示消除偏差方向后模型损失的变化程度。

可解释性智能体（Interpretability Agent）

• 智能体设定：采用具备中等思考强度的 gpt-5 作为智能体，初始输入包含前 5 个 token 的 Patchscope 与 Logit Lens 结果，以及 20 个 prompt 下的引导生成与未引导生成样本（各截断至 200 字符）。
• 工具与交互流程：智能体配备静态检查工具（查询缓存的 Logit Lens、Patchscope 与引导样本）及预算制动态交互工具 ask_model（同时向基座与微调模型提问）和 generate_steered。
• 假设形成与验证：智能体在交互预算 i 内先形成假设，再提出针对性问题对比基座与微调模型的输出差异，最终输出对微调领域和行为的结构化描述；最后由 gpt-5-mini 根据专属评分细则给出 1–5 分的成绩。

实验设置

• 被测模型：共 7 个模型，包括 Qwen3 1.7B、Qwen3 32B、Llama 3.2 1B Instruct、Llama 3.1 8B Instruct、Gemma3 1B it、Gemma2 9B it、Qwen2.5 7B；附录拓展测试了 Qwen2.5 VL 3B。
• 数据集与基准：4 类共 33 个模型有机体，包括 20 个合成文档微调（SDF，包含 5 种假事实，每模型 40,000 篇合成文档）、6 个突现对齐失效（EM，医学、极限运动、风险金融投资）、1 个潜意识学习（Subliminal，喜欢猫）、6 个禁忌词猜测（Taboo，smile、leaf、gold）；无微调语料抽取自 FineWeb（10,000 样本）、C4、tulu-3-sft-olmo-2-mixture 与 UltraChat。
• 基线方法：纯黑盒交互智能体（Blackbox Agent，仅提供未引导生成及提问预算 i = 0, 5, 50）；Patchscope/Logit Lens 的基准线为基座模型均值激活 h_base 与微调模型均值激活 h_ft。
• 评测指标：Token Relevance（top-20 token 中相关 token 比例）；Pairwise Cos-Sim（余弦相似度）；Agent Grade（1–5 分评分）；False Fact Alignment（FFA，三项信念指标均值）；因果效应 ∆CE Loss (%)。
• 评审方式：智能体输出由 gpt-5-mini 根据 1–5 分细则打分（每配置重复 5 次取平均）；token 相关性由 gpt-5-mini 重复 3 次判定；引导连贯性由 gpt-5-nano 判定；统计建模采用 HiBayes 拟合分层有序逻辑 GLM。
• 样本量与重复次数：预训练激活采样 10,000 样本；微调相似度评估抽取 500 样本；引导测试包含 20 个固定 prompt（每 prompt 采样 5 次）；智能体评估重复 5 次。

主结果

下表呈现不同配置下智能体在模型有机体上的识别表现（据 Section 4.1）：

表格较宽，可左右滑动

• ADL 信息具有强可读性：作者报告，ADL 智能体在完全没有额外模型交互（i = 0）时，即可在 82% 的有机体上识别出宽泛微调目标，在 24% 的有机体上达到 grade ≥ 4；给予 i = 5 次交互后，识别成功率达到 91%（仅 3 个未识别）。
• 黑盒基线难以发现深层微调：即使给予 50 次交互预算，黑盒智能体对微调大意的识别率仅为 39%，达到 grade ≥ 4 的仅有 1%；对于潜意识学习模型，黑盒基线在各预算下均为 1 分，而 ADL 智能体在 i = 0 时即可直接识别出模型被训练偏好“猫”（Figure 1, 3）。
• Taboo 模型的特殊表现：黑盒基线在 Taboo 有机体上表现较好，作者解释这是由于该类模型在正常对话中就会主动暴露出猜词游戏的格式（Section 4.1）。

基座模型对比与对话微调对比

• 测试设定：在 Qwen3 1.7B 与 Llama 3.2 上对比“Base 与 Chat+SDF”以及“Chat 与 Chat+SDF”的激活差异。
• 实验结果：Figure 5 中两组设置下智能体得分无明显差异，而在通用对话微调模型（Base 与 Chat 对比，Figure 15）中，激活差异几乎没有检测出微调领域痕迹。
• 作者解读：窄域微调对模型表征的印记过强，以至于即便跨越了从 Base 到 Chat 的表征变换，窄域信号仍然占据主导地位，符合灾难性遗忘的特征。

偏差成因的因果消融实验

• 测试设定：在 Qwen3 1.7B、Llama 3.2 与 Gemma3 1B 上，将微调模型在前几个 token 的激活沿差分方向 δ 替换为基座模型激活，分别在微调集 D_ft 与预训练集 D_pt 上计算交叉熵损失变化 ∆CE Loss (%)（Figure 7）。
• 实验结果：在 D_ft 上，消除该方向导致所有模型的交叉熵损失上升（∆CE Loss > 0）；而在 D_pt 上，消除该方向使 Qwen3 1.7B 和 Llama 3.2 的损失下降（∆CE Loss < 0）。
• 作者解读：作者认为这符合偏差是模型对单语义微调数据发生过拟合的假设，沿偏差方向的激活有助于拟合微调数据，但损害了在一般语料上的泛化能力。

数据混合缓解策略

• 测试设定：在保持微调数据 40,000 篇不变的情况下，按比例混入 C4 预训练数据（比例从 1:0 到 1:2），评估引导余弦相似度、token 相关性及假事实对齐度 FFA（Figure 8）。
• 实验结果：混入预训练数据明显减少了可读偏差，在 1:2 比例下引导文本与微调数据的相似度降至基线水平；但 Llama 3.2 1B 的 FFA 分数随之下降，且在 1:1 混合下，所有 agent 均未能达到平均分 ≥ 2。
• 作者解读：混入不相关数据能有效打散恒定概念，但存在削弱模型内化目标任务效果的权衡代价。

其他消融与分析

• 位置消融：在前 k = 128 个位置的测试中，前几个 token 包含最多信息，后续位置信息量逐步减弱且方差增大（Figure 6）。
• 层深消融：token 相关性随层深增加而增强并在最后一层达到最高，而引导相似度在中间层（50% 深度）达到峰值（Figure 18）。
• LoRA 与全量微调：全量微调产生的偏差略高于 LoRA，Gemma3 1B 全量微调甚至可从单纯激活直接解码出相关 token（Figure 19）。
• 样本量削减：减少微调文档数量能减少偏差，但同样会导致 FFA 分数下降（Figure 20）。
• CAFT 概念消除微调：在训练中直接投影消除差分方向仅带来微弱的偏差缓解，绝大部分偏差依然留存（Figure 21）。
• EM 模型混合训练：混入 UltraChat 数据减少了 EM 的激活偏差，但突现对齐失效依然显著存在，作者认为这说明对齐失效并非单纯由窄域微调伪影引起（Figure 22, 23）。

作者指出的局限与后续方向

• 评测流程依赖 LLM 引入噪声：作者指出评测管线依赖多个 LLM 评分器和智能体，这引入了噪声，未来工作应专注于开发更可靠的自动化评估方法（Section 8）。
• 偏差产生的底层机制尚不明确：作者明确指出产生这些可检测偏差的底层机制仍不清晰，需要进一步探究（Section 8）。
• 偏差出现与消失的条件范围未知：作者指出这些激活痕迹在何种条件范围下会出现或消失目前尚属未知（Section 8）。
• 缺乏稳健的微调伪影缓解策略：作者指出需要对针对此类微调伪影的稳健缓解策略进行更深入的研究（Section 8）。
• 需探索更贴近现实后训练的模型有机体构建方法：作者指出需要更好地理解如何为可解释性研究创建能够良好近似真实微调的模型有机体（Section 8）。
• 多模态实验中智能体无法发送图像：在附录域特定多模态模型评测中，作者指出智能体无法向模型发送图片是其实验设定的明确局限（Appendix E.2, Section F）。

实验覆盖范围

• 被测模型规模与架构：实验测试了 Gemma、LLaMA 和 Qwen 三种架构，参数量覆盖 1B 至 32B，被测模型共 7 个（附录包含 1 个多模态模型）。
• 模型有机体种类：评测覆盖了 4 个家族共 33 个模型有机体，分别为 20 个合成文档微调（SDF）、6 个突现对齐失效（EM）、1 个潜意识学习（Subliminal）与 6 个禁忌词猜测（Taboo）。
• 多模态域微调评测：多模态实验仅评测了 Qwen2.5 VL 3B 在生物医学、食物与遥感 3 个视觉指令数据集上的微调版本，且交互严格限制在纯文本输入。
• 未报告的部分指标：论文未报告更长交互预算（如 i > 50）下黑盒智能体的收敛表现，未报告各模型训练所消耗的具体算力与时间，亦未在商业闭源大模型上验证该激活差分现象。

• 核心定位与问题：本文系统分析了 AI 安全研究中常用的模型有机体，探究窄域微调是否会在激活空间留下非自然的静态偏差，从而质疑其作为真实后训练代理的代表性。
• 方法设计要点：提出了激活差异透镜（ADL），在无关随机文本的前 5 个 token 上提取微调模型与基座模型的中间层平均激活差；利用改进的 Patchscope 将差异向量投影为语义 token，并通过激活引导（steering）迫使模型生成类似微调语料的内容；同时构建基于 gpt-5 的可解释性智能体自动化推断微调目标。
• 主要实验发现：
  1. 激活差异在无关文本的前几个 token 呈现出强烈的领域相关性，Patchscope 投射出 20% 至 80% 的相关 token，且引导文本与微调数据的余弦相似度接近微调集自身内部相似度（Section 4, Figure 2）。
  2. 启用 ADL 的智能体在 5 次交互内识别出微调目标的成功率达到 91%，即使在 0 次额外交互下成功率仍有 82%（对比最强 50 次交互的黑盒基线仅为 39%）（Section 4.1）。
  3. 因果消融实验中，消除差分方向使微调集损失上升但使预训练集损失下降，符合偏差属于单语义微调数据过拟合的假设（Section 5）。
  4. 混入预训练数据（如 1:2 比例）可将激活偏差削弱至基线水平，但在部分模型上伴随着目标任务内化能力（FFA）的下降（Section 6）。
• 作者结论与启示：作者认为窄域微调会在表征中留下过强的伪影，导致基于模型有机体的可解释性研究可能无法真实反映多样化、多目标的现实后训练；建议研究人员在训练模型有机体时尽可能混入无关数据，并利用自动化智能体来客观测定模型差分方法的有效性。