可解释性并非模型专属

核心问题：在一个模型内构建的可解释性工具（拒答方向、正确性方向、情感探针），能否通过只在无标签提示词上拟合的残差流映射迁移到其他模型，以及迁移多少由什么决定。

• 问题场景：可解释性研究产出的工具都作用于单个模型的内部激活，通常用带标签样本构建，下一个模型又要从头重建，因此一个模型上的发现对其他模型没有证据价值（Section 1）。
• 已有证据不一：作者称已有工作显示独立训练的网络可由简单映射连接、不同模型的表示可能收敛；但也有报告称跨族映射的方向与随机方向效果相当、单域拟合的映射跨域失败（R2 为负），何时迁移有效、为何失败尚不清楚（Section 1）。
• 核心观察：作者假设迁移量取决于映射的训练数据是否覆盖工具所读取的表示区域，并提出无标签的覆盖分数 c 来刻画（Section 5）。
• 论文贡献：在 5 个家族、1B–72B 的 11 个指令微调模型的全部 110 个有序对上测试三种工具的迁移（含特异性对照与 5 个种子）；给出 Proposition 1 界定迁移误差；比较迁移与在目标模型内重建工具的代价（Section 1）。
• 访问假设：方法需要在目标模型上运行无标签提示词并读取其残差流激活（转向还需在目标激活上施加干预），即 white-box 访问；作者指出 API-only 模型不提供这种访问（Section 7）。

跨模型表示相似性

• Kornblith et al. (2019) 的 CKA 与 Lenc and Vedaldi (2019)、Bansal et al. (2021) 的 stitching：用相似度指标或学习映射比较、连接不同网络的表示。
• Moschella et al. (2023) 的 relative representations 不用学习映射比较潜空间；Huh et al. (2024) 的 Platonic Representation Hypothesis 主张不同数据与目标训练的模型收敛到共享表示。
• Gorbett and Jana (2026) 称最终隐状态间的仿射映射保留下游行为；Lan et al. (2025) 称 SAE 特征跨模型复现；Armstrong et al. (2026a) 报告模型间映射跨推理域失败，本文把该失败归因于映射的训练数据（Section 2）。

跨模型迁移干预

• Oozeer et al. (2025)：在至多 3B 模型上，用各任务自有数据训练的 autoencoder 与仿射映射迁移转向向量（后门移除、拒答）。
• Syed (2026)：用岭回归跨四个模型族映射 misalignment 方向，发现映射方向改变行为，但随机与正交对照方向改变程度相当。
• Agarwal (2026)：报告约 1.7B 以上模型跨架构转向大多成功，更小模型退化。论文指出这些工作未回答什么决定迁移成败。

方向作为可解释性工具

• 线性表示假说与探针：Park et al. (2024) 的 linear representation hypothesis；Alain and Bengio (2017)、Belinkov (2022) 的线性探针。
• 转向与拒答：Turner et al. (2024)、Li et al. (2023)、Zou et al. (2025)、Rimsky et al. (2024) 的激活转向；Arditi et al. (2024) 称许多聊天模型的拒答由单一方向介导，Wang et al. (2026) 称更广语境下拒答可能需要多个方向。
• 正确性与真实性方向：Burns et al. (2023)、Marks and Tegmark (2024)、Orgad et al. (2025)、Armstrong et al. (2026b)；Braun et al. (2025) 称转向向量的可靠性取决于训练数据对行为的表征一致性。论文指出这些工作都在单一模型内构建与评估方向。

对照设置：本文不与其他迁移方法比数值，而是与目标模型原生工具及随机、正交、映射随机三种对照方向比较；评测用 ARC-Challenge、TruthfulQA、SST-2 等数据集（Section 3）。

作者定位：以迁移工具的功能衡量表示相似性，改变映射训练数据、不使用目标标签，并在 110 对、1B–72B 模型上加对照与多种子测试（Section 2）。

整体思路：在源模型残差流与目标模型残差流的配对激活上拟合线性映射 ridge regression map M，把源模型上建好的工具经 M 迁移到目标模型，全程不用目标标签；迁移量以恢复率衡量，并用由 Proposition 1 导出的覆盖分数解释。

模型与表示

• 被测模型：5 个家族 11 个指令微调模型（Llama-3.2-1B 到 Qwen2.5-72B，Table 1），两个最大模型用 4-bit 精度；另测 4 个基座模型（Appendix I）。
• 表示：提示词取最后一个 token 在第 ⌊dL⌉ 块后的残差流并归一化；拒答用 d=0.5（Qwen2.5-72B 用 d=0.75），正确性与情感用 d=0.75（Section 3）。

映射及其训练数据

• 映射形式：带截距的岭回归，惩罚系数由精确留一误差选出（Appendix B）；另试 RBF 核映射。
• 训练数据变体：General（9 个领域各 600 条、共 5,400 条普通问题）；General + task（加入工具所在区域的无标签提示词：256 有害+256 无害指令、每数据集 200 题的候选答案、或 256 条评论）；Task only；Narrow（仅 GSM8K）；other datasets（同类但来自 BeaverTails/Dolly、OpenBookQA/MMLU、Yelp）；coverage 曲线改变任务提示词数量（Table 6）。

三种工具

• 拒答方向：128 条有害与 128 条无害指令的均值差（Arditi et al., 2024）；addition 在选定块每个位置加 αmr̂，在 64 条留出无害提示上计拒答率；ablation 从每个块投影掉 r̂，在 64 条留出有害提示上计拒答下降；拒答由短语匹配判定并用 Llama Guard 3 核查。
• 正确性方向：50 道带标签题上正确答案表示减去错误答案均值的平均（Armstrong et al., 2026b），按投影给候选答案打分，测于 ARC-Challenge（500 题）与 TruthfulQA（400 题、四选项）。
• 情感探针：50 正 50 负 SST-2 评论的均值差，以类均值中点为阈值，测于 500 条验证评论。
• 迁移方式：映射工具定义提示词的源表示并重建工具；对均值差而言等价于把映射的线性部分作用于源工具（差一个归一化）；迁移工具只用源标签（Section 3）。

衡量与对照

• 恢复率：R = (E_carried − E₀) / (E_native − E₀)，E 为无害提示拒答率（addition）、有害提示拒答下降（ablation）或答题准确率，E0 为无干预或 zero-shot 参照（Eq. 1）。
• 对照：等模长的随机方向、与原生方向正交的随机方向、经 general 映射的随机源方向；拒答在每个目标的工作强度 α∗（原生方向拒答一半无害提示的最小 α）处比较。
• 统计：5 个种子，区间为重采样模型的 95% bootstrap 区间（Appendix D）。

覆盖分数与理论

• Proposition 1：若训练与工具提示上目标表示满足 y = xA + b + ε（零均值噪声），则迁移工具与原生工具的期望偏差为 −λ δ_S (X_c^⊤ X_c + λ I)⁻¹ A，且夹角满足 sin θ ≤ κ√(1−c²)（Eq. 2）。
• 覆盖分数：c = ∥δS Sλ∥/∥δS∥ ∈ [0,1]，只依赖工具、源训练表示与 λ，不需要目标标签；作者用它预测恢复率并解释跨域映射失败（Section 5）。

实验设置

• 被测模型：11 个指令微调模型（Llama-3.2-1B、Qwen2.5-1.5B、Gemma-2-2B、Phi-3-mini、Qwen2.5-7B、Mistral-7B、Llama-3.1-8B、Gemma-2-9B、Gemma-2-27B、Llama-3.1-70B、Qwen2.5-72B），全部 110 个有序对；另测 4 个基座模型（Table 1、Appendix I）。
• 数据集：拒答用 Alpaca 无害指令与 LLM-LAT/HarmfulQA/AdvBench/HarmBench/JailbreakBench 有害指令；正确性用 ARC-Challenge（500 测试题）与 TruthfulQA（400 题）；情感用 SST-2（500 条验证评论）；映射训练用 9 领域普通问题（Table 6、Appendix C）。
• 指标：恢复率 R（Eq. 1）；情感报告准确率及与原生探针的差；映射研究用 R2；覆盖分数 c 与 map KL。
• 判定方式：拒答由短语匹配判定、Llama Guard 3 (8B) 核查；正确性按投影分选最高候选；无 LLM 评审打分。
• 重复次数：主实验 5 个种子；ablation、核映射、task-only 映射与基座模型实验用 1 个种子（Section 3）。
• 纳入标准：目标模型须自身工具有效（如拒答目标基线拒答率 ≥50%），拒答 addition 用 10 个目标 100 对，ablation 9 个目标 90 对，ARC 9 个目标，TruthfulQA 与情感 11 个目标 110 对（Appendix A）。

主结果

Table 2：三种工具经各映射的迁移结果（恢复率 %，情感为准确率及与原生探针 89.5% 的差；5 个种子均值，† 行为 1 个种子）。

表格较宽，可左右滑动

映射	拒答 addition	拒答 ablation	ARC	TruthfulQA	情感准确率 (∆)
General	54 [37,70]	71 [53,92]	16 [−23,46]	77 [69,85]	81.7 (−7.8)
General, kernel†	54 [39,71]	88 [67,108]	27 [−9,56]	74 [64,84]	80.1 (−10.0)
General + task	102 [99,106]	82 [62,102]	88 [66,101]	98 [97,100]	89.6 (+0.2)
Task only†	101 [99,104]	79 [59,98]	87 [63,101]	99 [98,100]	88.8 (−1.4)
General + other datasets	88 [80,96]	78 [58,100]	73 [41,93]	82 [79,86]	88.6 (−0.9)
Narrow (GSM8K)	2 [0,3]	4 [0,8]	−66 [−95,−34]	15 [3,24]	57.5 (−32.0)
Mapped random	0 [0,1]	2 [−1,5]	−149 [−185,−116]	−3 [−13,5]	47.5 (−42.0)
Random direction	1 [−1,1]	−1 [−6,1]	−150 [−231,−104]	−6 [−21,4]	52.2 (−37.3)

• 作者解读：迁移是特异的——随机与映射随机对照在拒答 addition 下至多恢复 1%、ablation 下至多 4%，情感在随机水平 3 个点以内，正确性低于 zero-shot 参照（Section 4）。
• 作者解读：映射训练数据决定迁移量；ARC 在 general 映射下仅 16% 且区间含零，作者解释为 general 数据只有问题而正确性方向读的是"问题+候选答案"（Section 5）。
• 作者解读：加任务提示词后家族与规模影响很小——Llama-3.2-1B 转向 Llama-3.1-70B 恢复 101%，反向 96%；两个最小目标恢复 97% 与 102%，作者称这与 Agarwal (2026) 报告的 1.7B 以下退化不同（Section 4）。

覆盖曲线与覆盖分数

• 测了什么：向 general 映射逐步加入任务提示词（Figure 3）；计算每个运行的覆盖分数 c 并与恢复率对照（Figure 4）。
• 结果：拒答在 16 有害+16 无害提示时即达 102%（5 个种子），500 次运行中 97% 至少恢复 80%（最弱 44%）；ARC 从 16% 升至 88%，TruthfulQA 从 77% 升至 98%，情感差距从 7.8 点缩到 0.2 点。c 与恢复率的 Spearman ρ：拒答 0.67、ARC 0.71、TruthfulQA 0.68、情感 0.45（3,500–4,510 次运行/工具，Table 15）；c ≥ 0.95 的拒答运行平均恢复 99%，c < 0.8 的仅 4%。
• 作者解读：关系呈阈值状；固定映射下 c 不能给拒答配对排序（ρ = −0.05），作者称这与命题中的配对因子 κ 一致（Section 5）。

跨域映射失败与几何检验

• 测了什么：映射研究在 9 个领域上拟合专才映射并跨域评估（Figure 5、Table 7）；用 RSA、mutual kNN、CKA 与局部线性映射检验线性对应假设（Appendix F）。
• 结果：单域映射在本域留出提示上 R2 = 0.48、在其他 8 域 −1.94，72 个训练×评估组合中 90% 为负；全域混合映射平均 0.47，至多落后专才 0.12；留一域映射在该域 −0.62。模型间 linear CKA 在中层 0.84（打乱配对 0.01）；核映射只比线性映射高 0.05 个 R2；局部线性映射不优于全局映射。
• 作者解读：作者称此前报告的跨域失败是映射外推失败，训练数据包含该域后即消失；几何结果支持命题的线性假设在数据覆盖区域内近似成立（Section 5、Appendix F）。

与目标内建工具比较及源选择

• 测了什么：Table 3 比较迁移工具与目标模型用同样提示词自建的工具（无标签时取主成分 PC）；Appendix I 测基座模型与指令微调模型间的迁移。
• 结果：拒答方向目标用同样 16 条/类提示词自建恢复 97%，迁移为 103%；无标签 PC 在 ARC 上为 −76%（10 题）与 −14%（200 题），TruthfulQA 86%，情感低 22 点，而迁移工具恢复 88%、98% 并追平原生探针；作者称迁移的 ARC 方向约值 25 道带标签目标题。基座↔指令微调模型间 TruthfulQA 与情感恢复 93%–101%，ARC 61%–92%（Table 18）。
• 作者解读：拒答机制跨模型对应但迁移不省标注；读出工具的迁移能替代目标标签。无任务提示词时用 map KL 选源：目标内按源排序 ρ = −0.46（p < 0.001），从最低 KL 源迁移使拒答恢复从 54% 升至 67%（事后最优源 80%）（Section 6）。

其他消融与分析

• 逐块 ablation：每块各拟一个方向的 task-only 映射，迁移方向恢复原生逐块效果的 101% [89,112]，两者均剩 8%–9% 有害提示被拒（单一原生方向剩 19%）（Table 17）。
• 剂量反应：按强度积分的不依赖 α∗ 的恢复率：general 67%、+task 95%、GSM8K 5%（Table 8）。
• Llama Guard 3 核查：消融迁移方向后 33%–54% 的有害提示响应被判 unsafe，原生方向 53%，基线与随机 6%–8%（Section 4）。
• 例外：Phi-3-mini 是唯一加任务提示词后 ablation 恢复下降的目标（general 下 21%–69% 降至 4%–13%），作者归因于归一化空间中原生方向本身失效（Appendix E）。
• 例外：Qwen2.5-1.5B 上逐块迁移方向剩 40% 提示被拒（原生 6%）（Table 17）。
• 种子变异：16 提示拒答映射的各种子均值 99%–108%，10 题 ARC 映射 14%–65%（Table 10）。

作者指出的局限与后续方向

• 工具形式：只迁移线性方向与线性探针；SAE 特征与电路未测试，可能需要不同形式的映射（Section 7）。
• 理论假设：Proposition 1 假设线性对应、忽略映射表示的归一化，且不能预言哪些配对对应得好（Section 7）。
• 模型范围：被测为 11 个指令微调开源模型（两个最大模型 4-bit），4 个基座模型只测了读出工具（Section 7）。
• 拒答评测：拒答由短语匹配在每个目标单一强度下评分；全强度范围（1 个种子）下 general+task 恢复 95%（Section 7、Appendix C）。
• 纳入标准：Gemma-2-27B 因主实验后补充的连贯性标准被排除出 ablation；读出工具从未用于转向（Section 7、Appendix A）。
• 覆盖的前提：覆盖需要知道工具在哪个区域运作，且小样本抽取可能失手——最弱的 16 提示抽取只恢复 44% 拒答，多在 Llama-3.2-1B 上；ablation、逐块与核映射、基座模型迁移只用 1 个种子（Section 7）。

实验覆盖范围

• 被测模型：5 个家族 11 个指令微调模型（1B–72B）的全部 110 个有序对，另加 4 个基座模型仅测正确性与情感工具（Table 1、Appendix I）。
• 被迁移工具：拒答方向（addition 与 ablation）、正确性方向（ARC-Challenge、TruthfulQA）、SST-2 情感探针，共三种（Section 3）。
• 映射变体：general、general+task、task only、other datasets、narrow（GSM8K）、RBF 核映射与覆盖曲线（Table 6）。
• 重复次数：主实验 5 个种子；ablation、核映射、task-only 映射、逐块 ablation 与基座模型实验各 1 个种子（Section 3、Appendix H、I）。
• 访问条件：迁移与转向都需要目标模型残差流激活的 white-box 访问；作者指出 API-only 模型不提供（Section 7）。

一篇跨模型可解释性迁移的分析论文：作者问一个模型内找到的激活方向工具能否经无标签提示词拟合的线性映射搬到其他模型。

• 问题：拒答方向、正确性方向、情感探针等工具通常逐模型用带标签数据重建；已有跨模型映射证据不一，有的报告迁移与随机方向相当、有的报告跨域失败。
• 方法：在 5 个家族 11 个指令微调模型（1B–72B）的全部 110 个有序对上拟合岭回归映射，迁移三种工具，与目标原生工具和随机、正交、映射随机对照比较，5 个种子；并提出无标签覆盖分数 c 与 Proposition 1。
• 主结果：仅用普通问题拟合的映射恢复 54% 的拒答转向效果与 16%–77% 的正确性增益；加入工具区域的无标签提示词后升至 102% 与 88%–98%，情感探针追平原生（89.6% 对 89.5%），对照方向至多恢复 1%（Table 2）。
• 覆盖解释：c 与恢复率在 3,500–4,510 次运行/工具上相关（Spearman ρ 0.45–0.71）；作者称此前报告的跨域映射失败是训练数据未覆盖所致，单域映射跨域 R2 = −1.94，而包含该域后消失（Figure 5）。
• 实用价值：拒答方向目标可用同样 16 条/类提示词自建（97% 对迁移 103%），迁移不省标注；正确性与情感迁移工具优于目标无标签表示能给出的任何工具（Table 3）。
• 作者结论：作者认为可解释性结果一经发现即可以几条无标签提示词的代价跨模型复用；同时指出迁移需要目标激活的白盒访问，且线性工具之外的特征与电路未测（Section 7）。