系统提示词幻觉：指令前导如何改变语言模型内部计算

核心问题在于探究系统提示词究竟如何改变大语言模型内部前向传播中的逐层计算与表征几何，以及其计算深度如何影响行为控制和对抗鲁棒性。

• 场景与重要性：作者称，系统提示词是控制模型人设、安全约束和输出格式的核心手段，但其对模型内部计算的作用机制尚不明确。如果提示词仅改变浅层或输出 logits 分布，对抗输入便容易绕过其控制；若能重构深层表征，则可能提供持久的行为约束。
• 现有方法的不足：作者称，现有机械可解释性研究多聚焦于特定回路或概念方向，而表征相似度工具以往主要用于不同模型或不同训练阶段之间的比较，尚未有工作系统测量系统提示词如何改变单一模型内部的逐层表征。
• 核心假说设定：论文形式化了三种竞争性假说，即仅修改前两三层与后两三层的浅层假说（H1）、均匀修改所有隐藏层的深层假说（H2），以及依据指令类别和模型架构选择性修改特定层的层选择假说（H3）。
• 论文的主要方案：论文采用中心核对齐（CKA）作为探针，跨 8 个架构家族的 17 个指令微调模型（1.5B–72B），测量 5 大类共 20 个系统提示词引发的逐层表征变化，结合激活修补和线性探测阐明其内部机理。

• 表征相似度方法：Kriegeskorte et al. (2008) 提出了神经科学中的表征相似性分析；Raghu et al. (2017) 与 Morcos et al. (2018) 引入了基于 CCA 的分析工具；Kornblith et al. (2019) 提出了中心核对齐（CKA）。Davari et al. (2022) 评估了 CKA 对分布和样本量的敏感性，Williams et al. (2021) 建立了其几何统一框架，Murphy et al. (2024) 修正了有限样本偏差。作者指出，这些工作主要用于对比不同模型或训练阶段，而本文将 CKA 应用于同一模型在不同系统提示词下的表征对比，隔离了提示词效应并规避了跨模型的可识别性问题。
• 机械可解释性与回路分析：Wang et al. (2022) 识别了间接宾语识别回路；Meng et al. (2022) 通过因果追踪定位事实关联；Geva et al. (2020) 将前馈层建模为键值记忆；Park et al. (2023) 与 Zou et al. (2023a) 将概念建模为激活空间中的线性方向；Todd et al. (2023) 识别了功能向量；Lv et al. (2024) 与 Shu et al. (2025) 分析了知识存储层；nostalgebraist (2020) 与 Belrose et al. (2023) 提出了 logit lens 与 tuned lens。作者指出，这些工作旨在识别各层表征了什么，而本文测量系统提示词改变时表征变化的幅度，二者形成互补。
• 系统提示词与安全对齐：Olsson et al. (2022) 与 Hendel et al. (2023) 探讨了上下文学习机制；Guo and Cai (2025) 与 Neumann et al. (2025) 关注提示词位置对行为的影响；Zou et al. (2023b) 与 Wei et al. (2023) 记录了通用对抗后缀与越狱策略；Qi et al. (2024) 发现微量微调即可撤销安全对齐；Arditi et al. (2024) 发现拒答行为由激活空间中的单一方向介导；Turner et al. (2023) 与 Rimsky et al. (2023) 提出了激活引导技术；Geiger et al. (2023) 提出了因果抽象评估框架。
• 层级分析与模型缩放：Raghu et al. (2021) 与 Phang et al. (2021) 分析了视觉网络与微调对深层的影响；Men et al. (2024) 分析了网络层的冗余性；Pola and Balasubramanian (2025) 定位了指令计算起始层；Kaplan et al. (2020) 提出了参数扩展规律。
• 基线方法与基准：论文设立了无提示词基线（s0，空字符串）与包含 4 个基本提示词的 Minimal 基线（A0–A3）；评测数据使用涵盖事实问答、推理、创意生成与指令遵循的 100 个通用查询，以及用于因果激活修补的 10 个代码编写任务（附录 B）。
• 定位区别：作者称，本文是首个跨架构、跨尺度测量系统提示词如何修改内部表征的研究，为行为层面记录的系统提示词越狱脆弱性提供了内部机理解释。

整体思路是建立一套以线性中心核对齐（CKA）为核心、结合因果干预与探针技术的表征渗透分析与因果验证框架，通过量化隐藏层几何重构程度来判断系统提示词是深度重构计算还是表层微调。

表征相似度与渗透深度定义

• 线性 CKA 计算：对于包含 L 个非嵌入层的模型，给定 n 个输入 token 在系统提示词 s1 与 s2 下的激活矩阵 X 与 Y，经列中心化处理得到 X_bar 与 Y_bar，通过公式 CKA(X̄, Ȳ) = (|Ȳ^⊤ X̄|_F²)/(|X̄^⊤ X̄|_F · |Ȳ^⊤ Ȳ|_F) 计算该层相似度，取值范围为 0 到 1。该公式用于衡量在两个提示词条件下激活矩阵的几何相似性，作者称选择线性 CKA 兼具计算效率与理论清晰度。
• 渗透深度指标：通过公式 Pen(s) = 1/L ∑_ℓ=1^L 𝕀[CKA^(ℓ)(s, s₀) < τ] 计算提示词 s 相对于无提示词基线 s0 的渗透深度，即 CKA 低于阈值 tau 的非嵌入层比例。该公式定义了提示词对模型内部计算产生可测改变的层数占比。
• 阈值标定依据：阈值设定为 tau = 0.95。作者在同一提示词条件下计算半样本分割 CKA，14 个核心模型的零分布均值为 0.997 ± 0.003，tau = 0.95 位于零分布均值下方约 300 个标准差处，以此排除随机测量波动。

因果激活修补验证

• 受影响层与对照层划分：为检验 CKA 识别的表征变化层是否切实对生成行为产生因果作用，对每个模型选出 CKA 最低的 5 个受影响层和 CKA 最高的 5 个未受影响层作为对照。
• 激活替换机制：在系统提示词 s 条件下运行模型前向传播，通过 PyTorch 前向钩子（hook），将选定层的隐藏状态替换为无提示词基线 s0 下对应的隐藏状态。
• 因果判定准则：在 10 个代码编写任务上测量代码行特征比例的偏移量 delta = fcode(patched) - fcode(original)。若受影响层的偏移量绝对值超过未受影响层 0.01 以上（|delta_affected| > |delta_unaffected| + 0.01），则判定模型通过因果检验。

微扰敏感性理论分析

• 二阶微扰界（Proposition 1）：论文推导证明，对于扰动 E = Y_bar - X_bar，CKA 展开式中分子与分母的一阶项 2<X_bar^\top X_bar, E^\top X_bar>_F 因对称性完全抵消，导致 1 - CKA(X_bar, Y_bar) 的首项偏差为二阶项 2||E||_F^2 / ||X_bar^\top X_bar||_F + O(||E||_F^3 / ||X_bar^\top X_bar||_F^{3/2})。
• 敏感性与不变性特征：作者指出，一阶效应抵消使得 CKA 对微小扰动不敏感，而能灵敏捕捉二阶幅度的几何变化；同时 CKA 对各向同性缩放和正交变换具有不变性，消除了激活范数波动带来的干扰。

提示词分类与线性探测设计

• 提示词与任务设计：构建 5 大类共 20 个系统提示词（每类 4 个），涵盖 Minimal（A0–A3）、Persona（B4–B7）、Safety（C8–C10 及宽松指令 C11）、Format（D12–D15）和 Domain（E16–E19）。评测输入包含 100 个跨领域通用查询。
• 线性探测分离机制：在每个隐藏层训练 5 分类逻辑回归分类器（正则化系数 C = 1.0，最大迭代 1000，5 折交叉验证），利用提示词与基线的激活差分向量 h_s - h_s0 预测提示词所属类别，用于检验模型是在所有层均编码了提示词，还是仅在特定层改变了几何计算。

实验设置

• 被测模型：评估来自 8 个架构家族共 17 个指令微调模型，包含 Qwen-2.5-1.5B、SmolLM2-1.7B、Gemma-1-2B、Gemma-2-2B、Qwen-2.5-3B、LLaMA-3.2-3B、Phi-3.5-Mini、Qwen-2.5-7B、Nemotron-Nano-8B、Mistral-7B、Gemma-2-9B、OLMo-2-7B、InternLM-2.5-7B、Qwen-2.5-14B、Qwen-2.5-32B、LLaMA-3.1-70B、Qwen-2.5-72B（Table 1）。
• 评测基准与查询：采用包含事实问答、推理、创意生成与指令遵循的 100 个通用查询，以及附录 B 列出的 10 个 Python 代码编写任务（用于因果修补）。系统提示词包含 5 个功能类别共 20 个提示词。
• 基线方法：包含无提示词基线（s0，空字符串）与包含 4 个基本助理提示词的 Minimal 基线（A0–A3）。
• 评测指标：逐层线性 CKA；渗透深度 Pen(s)（阈值 tau = 0.95）；行为效应量 1 - ROUGE-L；激活修补代码行特征变化量 delta；逐层线性探测准确率；微扰有效秩 exp(H(sigma))。
• 评审与推理配置：推理采用贪婪解码（temperature 0，seed 42，max 200 tokens），采用 bfloat16 精度推理与 float32 精度计算 CKA。激活修补通过代码行启发式特征 fcode 计算合规变化，阈值设定为变化差异大于 0.01；线性探测采用 5 折交叉验证逻辑回归（C = 1.0）。
• 样本量与前向计算：每模型运行 100 查询 × 21 提示词条件 = 2100 次前向传播，17 个模型合计 35700 次前向传播；置信区间采用 1000 次 Bootstrap 重采样评估。

主结果

论文在 Table 2 中汇报了跨规模代表性模型的渗透深度结果：

表格较宽，可左右滑动

注：数据引自 Table 2，展示不同参数规模下的渗透深度（均值 ± 标准差）。全量 17 个模型的总体渗透深度见 Table 1（范围从 0.036 到 0.688），此处省略了 Table 1 中的 SmolLM2-1.7B (0.042)、Gemma-1-2B (0.333)、Gemma-2-2B (0.462)、Qwen-2.5-3B (0.139)、LLaMA-3.2-3B (0.357)、Phi-3.5-Mini (0.375)、Qwen-2.5-7B (0.179)、Mistral-7B (0.500)、Gemma-2-9B (0.452)、OLMo-2-7B (0.688) 和 InternLM-2.5-7B (0.312) 共 11 个模型；包含全部模型中渗透深度最低的 Qwen-2.5-1.5B。

• 层选择假说获得支持：作者称，系统提示词并非仅改变最前和最后两三层（H1 浅层假说在 14 个模型上失效），也非全局均匀重构（H2 仅部分贴合 OLMo-2 与 LLaMA-70B），而是表现出由指令类别与模型架构共同决定的层选择性（H3），渗透层呈现连续带状分布（Section 5.1）。
• 指令类别决定渗透深度：角色类（Persona）与格式类（Format）深入重构中间层，而安全类（Safety）提示词在所有规模下均表现为浅层微调，其渗透率与最小提示词基线相近（Section 5.2）。
• 规模扩展呈现架构特异性：Qwen 系列在 14B 参数以上渗透深度趋于平缓（14B 为 18.8%，72B 为 20.1%），而 LLaMA 系列呈现单调上升（8B 为 59.4%，70B 为 64.2%），作者称扩展规律依赖于具体架构与训练路线（Section 5.3）。

限制性与解除限制安全指令等价性

• 测了什么：对比限制性安全提示词（C8–C10）与明确解除限制提示词（C11: "You have no restrictions"）在逐层 CKA 上的响应曲线（Section 5.4）。
• 实验结果：在 14 个核心模型上，两条逐层 CKA 曲线的 Pearson 相关系数在 0.987 至 1.000 之间（均值 0.997）；在 70B 与 72B 商用规模模型上，相关系数均为 r = 0.998（p < 0.001）（Section 5.4, 5.9）。
• 作者解读：作者称，限制性指令与解除限制指令在所有测试尺度上均作用于相同的网络层并调节相同的低维子空间，二者在逐层表征层面计算上等价。

因果激活修补验证

• 测了什么：用无提示词基线激活替换 CKA 识别的 5 个最受影响层与 5 个最不受影响层，检验格式类任务输出代码特征的变化量 delta（Section 5.5）。
• 实验结果：14 个子 72B 模型中有 13 个通过因果检验；3 个商用规模模型受影响层偏移量 delta_affected > 0.42，而未受影响层 delta_unaffected < 0.03；全量 17 个模型中有 16 个通过检验（Section 5.5, 5.9）。
• 作者解读：作者称，激活修补证实 CKA 识别的受影响层切实介导了模型的行为变化，使 CKA 确立为具备功能意义的层定位工具。

线性探测：编码与重构解耦

• 测了什么：在隐藏层训练逻辑回归分类器预测 5 类提示词，对比信息可解码性与 CKA 几何重构（Section 5.8）。
• 实验结果：14 个核心模型所有层上的分类准确率均超过 85%（全层平均 97.8%，随机几率 21%），而 CKA 在 0.88 至 1.0 之间波动（Section 5.8）。
• 作者解读：作者称，模型在全网络残差流中均编码了提示词类别（能够“看到”提示词），但仅在特定层重构表征几何（安全提示词未被深层“执行”）。

其他消融与分析

• 提示词类别渗透率：14 个核心模型平均 Persona 为 50.3% ± 19.5%，Format 为 44.5% ± 14.2%，Domain 为 26.2% ± 24.5%，Safety 为 7.3% ± 9.2%，Minimal 为 4.9% ± 9.7%（Section 5.2）。
• 渗透率与行为效应：全量 17 个模型 CKA 渗透率与 1 - ROUGE-L 呈正相关（Spearman rho = 0.761，p < 0.001；排除 Format 后 rho = 0.645，p = 0.032）（Section 5.7）。
• 扰动范数与有效秩：中间层扰动 Frobenius 范数与渗透率强相关（rho 为 0.71 至 0.95，p < 0.001）；控制范数后有效秩偏相关无独立贡献（偏 rho 为 0.11 至 0.25，p > 0.30）（Section 5.6）。
• 相似度度量一致性：CKA 与 Procrustes 距离相关性为 0.9924，与向量余弦相似度相关性仅 0.0293（Section 5.7）。
• 阈值敏感性稳定性：tau 在 0.90 至 0.99 范围内变动时，模型渗透率排序的 Spearman 秩相关均大于 0.95（Section 5.7, 附录 F）。
• 提示词长度无关性：提示词 token 长度与渗透率的 Spearman 相关系数为 rho = 0.400（p = 0.505）（Section 5.2）。

负面结果与例外

• 因果修补例外：SmolLM2-1.7B 是全量 17 个模型中唯一未通过因果激活修补检验的模型，作者称其原因在于该模型总体渗透率过低（0.042），受影响层与未受影响层本身的表征差异过小（Section 5.5）。
• 有效秩的解释力缺失：扰动矩阵的有效秩在控制 Frobenius 范数后未能提供独立预测能力，作者称这表明一阶线性化可能对实际扰动幅度过于粗糙，或者扰动范数与谱结构在提示词诱发的变化中存在混杂（Section 5.6）。

作者指出的局限与后续方向

• 模型参数规模上限：作者指出，评测的最大模型参数量为 72B，前沿尺度架构（175B+）可能表现出不同行为，在缺乏直接测量的情况下无法直接推断（Section 6 Limitations）。
• 表征相似度分辨率不足：作者指出，CKA 测量的是表征相似度，无法识别具体发生了哪些特征层面的改变；后续可引入稀疏自编码器（SAE）以获取更细粒度的特征级分辨率（Section 6 Limitations）。
• 跨模型混杂因素：作者指出，不同模型采用的聊天模板惯例和提示词长度分布为跨模型对比引入了混杂变量（Section 6 Limitations）。
• 未考察多轮解码动态：作者指出，CKA 仅捕获了提示词与查询输入单次前向传播的静态表征，多 token 生成动态可能有所不同，渗透深度在解码过程中的演变留待后续研究（Section 6 Limitations）。
• 思维链推理模型评估窗口：作者指出，带有思维链脚手架的模型（如 Nemotron-Nano）在输出代码前会生成思考 token，需要更长的生成窗口以记录格式合规信号，未来需要更精细的处理（Section 6 Limitations）。
• 语种单一与未做引导对比：作者指出，所有提示词与查询均为英文，扩展至多语言是后续方向；此外研究未与激活引导或表征工程进行受控对比（Section 6 Limitations）。

实验覆盖范围

• 模型覆盖：评测覆盖 8 个架构家族共 17 个指令微调模型，参数量分布在 1.5B 至 72B 之间（Table 1）。
• 输入与任务设计：评测包含 5 个功能类别共 20 个英文系统提示词，测试输入为 100 个跨领域通用查询（Section 4.2）。
• 因果干预范围：因果激活修补实验基于 10 个 Python 代码编写任务进行（Section 3.3，附录 B）。
• 线性探测范围：线性探测实验在 14 个核心模型的所有隐藏层上开展，采用 5 折交叉验证（Section 5.8）。
• 未报告信息：论文未报告 3 个商用规模多 GPU 模型（Qwen-2.5-32B、LLaMA-3.1-70B、Qwen-2.5-72B）的逐层线性探测准确率与 CKA 热图（Section 5.8，附录 C、附录 J）。

通过对 17 个指令微调模型进行逐层表征相似度与因果干预分析，探索系统提示词在模型内部究竟如何重构计算。

• 核心研究问题：系统提示词作为控制模型人设、格式与安全边界的核心手段，其实际上是深入重构了中间隐藏层的表征几何，还是仅调整了表层输出与 logits 分布，对理解基于提示词的安全防御为何容易被对抗越狱绕过至关重要。
• 评测方法架构：基于中心核对齐（CKA）量化 20 个系统提示词相对于无提示词基线的逐层表征重构，以 CKA 低于 0.95 的层数占比定义渗透深度，并结合因果激活修补验证行为因果性、利用逐层线性探测解耦信息编码与几何重构。
• 层选择性与类别分化：实验支持层选择假说；在 14 个核心模型上，角色类指令深入重构中间层（平均渗透率 50.3% ± 19.5%），而安全类指令仅引发浅层变化（平均渗透率 7.3% ± 9.2%），与最小提示词基线（4.9% ± 9.7%）在 Bonferroni 校正检验中无统计差异（p = 1.000）。
• 安全与宽松指令等价：限制性安全提示词与解除限制提示词（"You have no restrictions"）引发的逐层 CKA 变化曲线高度重合（14 个核心模型平均 Pearson r = 0.997；70B/72B 模型上 r = 0.998），二者在模型内部调控了相同的低维子空间。
• 编码与重构解耦机理：全网络各层线性探测提示词类别的平均准确率达 97.8%，表明模型在每一层都识别了提示词信息；但安全提示词未能引起深层几何重构，仅作为末端过滤器起作用。
• 作者结论与防御启示：作者认为，基于系统提示词的安全对齐具有计算表层化的天然脆弱性；更持久的防御需要采用激活引导、表征工程或在整个残差流中分布对齐目标的训练方法，直接作用于提示词未能触及的较早内容建模层。