SALVE：用文本优化还原蒸馏数据中的隐性学习效应

潜意识学习数据会传递教师特质，但特质并未以可读形式写在数据里，需要一种能在训练学生之前把它说成提示词的检测方法。

• 场景与风险：Cloud et al. (2025) 的设定里，教师被条件化为某种行为特质后，在语义无关查询（如续写数字序列）上采样，学生微调后仍可能继承该特质。作者称这会传递对政治人物的情感偏移或未对齐行为，给安全模型开发带来新挑战，并带来数据投毒风险。
• 现有不足：作者称潜意识学习在不同模型上并不一致，为何有的模型出现、有的不出现仍不清楚（Schrodi et al., 2026）。语言模型直接检查这类数据推断不出动物偏好（与 Cloud et al., 2025 一致）。常见文本优化（OPRO、GCG、连续松弛）在该设定下恢复不出点名目标动物的提示词。
• 核心观察：提示式潜意识学习是上下文蒸馏（context distillation）的特例，上下文被蒸馏到语义无关查询上。作者称在温和假设下，数据集唯一识别生成它的系统提示词（Observation 1）：在初始参数 θ0 上，微调目标对系统提示的最小化解就是数据生成提示 s⋆。
• 本文提出：SALVE（Search-Aided Latent VErbalization）把恢复该提示近似成文本优化：先优化软提示，再让同一模型把它口头化成文本，并用数据集损失引导的句子级 beam search 提高口头化可靠性。作者还用它研究学生训练何时会实现传递，并在混合数据、激活转向和 Logit-Linear Selection 上检测潜意识效应。

潜意识学习机理

• Cloud et al. (2025)：展示潜意识学习，并在理论上说明当教师是学生的微调版本时该效应是预期的。教师偏置可用提示或微调引入。
• Behrens & Zdeborová (2025)、Aden-Ali et al. (2026)、Zur et al. (2025)、Schrodi et al. (2026)、Blank et al. (2026a)、Morgulis & Hewitt (2026)、Minder et al. (2026)：分别从随机数据上的软标签记忆、语言模型近似对数线性与 Logit-Linear Selection、token entanglement、少量散度 token、转向向量蒸馏、从数据中恢复转向向量、以及窄微调导致学生激活变化等角度解释该效应。Draganov et al. (2026) 称查询语义足够广时跨模型传递是可能的。Hadley & Gultepe (2026) 把激活转向作为给教师加偏置的另一种方式。

微调审计

• Wang et al. (2026)：把在训练学生之前预测微调效果表述为 data-to-behavior 问题。作者把 SALVE 放在这一问题上：用恢复出的提示在训练前检测潜意识效应。
• Biddulph & Carroll (2026)：用文本优化作为强化学习的可读近似，以揭示奖励黑客。Bricken et al. (2025)、Egler et al. (2025)、Sheshadri et al. (2026)、Talaei et al. (2026)、Shenoy et al. (2026)、Goel et al. (2026) 分别做开放式对齐审计智能体、带微调数据或白盒工具的审计，以及把学生蒸馏进 KV cache、或训练共享 introspection adapter 来自报微调差异。

潜空间口头化与文本优化

• Lester et al. (2021)、Li & Liang (2021)：prompt tuning，用梯度优化软提示。Lester et al. 把学到的嵌入取最近 token，得到的字符串大体不可读。
• Hewitt et al. (2026)、Li et al. (2025)：表明语言模型可以把学到的软提示口头化。Hewitt et al. 的 neologism learning 在多种上下文上训练单个软嵌入再口头化；LARGO 把软提示学成对抗后缀并口头化，在越狱设定里用口头化换流畅度而非可解释性。Chen et al. (2024) 及后续工作研究模型用自然语言解释自身隐藏状态。
• 基线与基准：主实验对比 OPRO（Yang et al., 2024；骨干为 GPT-5.4-mini）、GCG 与 GCG-reg（Zou et al., 2023）、AutoDAN（Zhu et al., 2023）、PGD（Geisler et al., 2024）、GBDA 与 GBDA-reg（Guo et al., 2021）、LARGO（Li et al., 2025），以及 SALVE 的 best-of-N 消融。主数据沿用 Cloud et al. (2025) 与 Schrodi et al. (2026) 的动物偏好经数字序列传递；偏好数据用 Aden-Ali et al. (2026) 的 Logit-Linear Selection 与 Tulu 2.5。

作者把本文定位为：用文本优化主动检测潜意识效应，并把 SALVE 与先前软提示口头化的差别放在用句子级 beam search 提高口头化可靠性；同时把潜意识学习的失败更多看成学生优化是否表达得出教师信息的问题。

整体思路是把“从潜意识数据恢复教师提示”写成对系统提示 s 最小化微调损失，再用 SALVE 近似求解：软提示梯度下降，随后同一模型口头化，并用 beam search 按训练损失挑选句子。

问题设定与可识别性

• 数据生成：模型为 pθ(y | x, s)。数据集 D 由初始模型 θ0 在特质提示 s⋆ 上对无关查询 X 采样得到。期望微调损失 L(θ, s) 是该过程下的负对数似然。通常固定默认系统提示、优化 θ；这里改为在 θ0 上优化 s。
• Observation 1：作者称 L(θ0, s) 在所有系统提示上由 s⋆ 最小化，且在 θ0 的温和条件下该最小化子唯一。证明把目标写成熵加 KL：KL 项在 s ≠ s⋆ 时严格为正，唯一性把 Nikolaou et al. (2026) 对隐藏状态的单射性推广到输出分布。完整陈述在附录 A；附录 B 对把 LLS 权重当作保守 DPO 软偏好标签的情形给出类似最小化结果。
• 与实际训练的差别：学生用的是采样数据集而非期望损失；教师响应不一定在温度 1 或全分布上采样；响应常按格式或是否明文提到特质过滤。作者因此只追求语义上接近教师提示的近似解。目标写成在数据集上最小化 E[−log pθ0(y | x, s)]。

软提示优化

• 放置方式：软提示 z ∈ R^{k×d} 替换系统提示位置的 token 嵌入，再与其余 token 嵌入拼接；参数 θ0 冻结。主实验 k = 128；第 6.3 节 DPO 用 k = 256。初始化为与嵌入矩阵标准差匹配的高斯。其余超参数在附录 C.1。
• 与 prompt tuning 的差别：作者称唯一差别是把软提示放在对话模板的系统提示位置，而不是上下文开头，以便与口头化查询的形式一致。损失为数据集上的负对数似然。SALVE 可优化几乎任何能用来训练软提示并给候选口头化打分的目标；第 6.3 节改为最小化 DPO 损失。

口头化与句子级 beam search

• 口头化：把软提示放在系统位置，让模型复述自己的系统提示。实践中在附录 C.2 的四条手写查询间交替。作者给出的直觉是：软提示是一个新的有语义输入，口头化是把它译成自然语言。
• 不可靠之处：模型常退回通用系统提示，或不遵循请求、重复用户指令。作者用把候选当作系统提示、在一批数据上算训练损失来筛选。口头化提示大约五到十句。
• 搜索：Figure 3a 中，前缀的训练损失大体预测完整口头化的损失。因此做句子级 beam search：保留 B 条束、每条采样 M 个单句续写、做 R 轮；几乎所有实验取 B = 4、M = 16、R = 12。每轮用随机口头化查询采样，在固定 256 条训练样本上按迄今提示的训练损失打分，保留损失最低的 B 条。任何访问过的部分提示都可作最终提示，返回损失最低者。Figure 3b 在匹配已评分候选数时，beam search 的验证 NLL 低于 best-of-N。

学生训练的两种改动与成功判定

• 标准学生训练：沿 Cloud et al. (2025) 与 Schrodi et al. (2026)，在 10,000 条上训练 10 个 epoch，学生为全层注意力与 MLP 上的 rank-8 LoRA。作者重调学习率，并报告行为变化最大的学习率。
• 放大传递的两种改动：（1）训练和评测时都在学生系统提示后附加 16 个 token，来自随机词表或随机 emoji；（2）只微调嵌入矩阵，并以参数量与形状相同的 unembedding 矩阵为对照。作者的直觉是，这使参数变化更像学到一条系统提示。
• 主设定的判定：动物偏好用简短问题询问最喜欢的动物，并对目标动物做字符串匹配。恢复提示报告数据集 NLL（500 条留出样本）、是否用字符串匹配点名动物（trait verbalization）、作为系统提示诱导的动物偏好频率（behavior frequency），以及同一模型下提示自身的 NLL（流畅度）。偏好数据上的审计见第 4 问。

实验设置

• 被测模型：提示式主实验的教师与数据生成用 Qwen2.5-7B-Instruct。学生行为实验扩展到 Qwen2.5-7B-Instruct、OLMo-3-7B-Instruct、Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct。激活转向用前三个（不含 Llama-3.2-3B）。LLS 教师为 OLMo-2-1B-Instruct；DPO 学生为该教师以及 Llama-3.1-8B-Instruct、OLMo-3-7B-Instruct、Qwen2.5-7B-Instruct、Rnj-1-Instruct。OPRO 骨干为 GPT-5.4-mini。附录 J 使用 Gemma-4-31B-Instruct。
• 数据：动物偏好数据集各 10,000 条，教师系统提示要求喜爱目标动物，查询为续写数字序列，响应按有效格式过滤。第 4 节为 cat、dog、eagle、owl 四种；转向设定为九种动物。稀释实验把 10,000 条中的一部分换成随机数字，或无偏置教师（默认系统提示）的数字补全。LLS 从 Tulu 2.5 的 740k 候选对中选出 25k 对，选择与训练时把响应截断到 20 token；选择提示分别指向 sycophancy 与 misalignment。
• 基线：OPRO、GCG、GCG-reg、AutoDAN、PGD、GBDA、GBDA-reg、LARGO，以及与 beam search 评分候选数匹配的 SALVE best-of-N。除 OPRO 以 API 调用为主外，各方法计算量至少与 SALVE 相当。候选在 256 条训练子集上评分。
• 指标与评审：Dataset NLL（500 条留出；优化目标）、trait verbalization（字符串匹配是否点名动物）、behavior frequency / animal pick rate（字符串匹配）、流畅度 NLL。Sycophancy 用 answer sycophancy 的 hint gap（Sharma et al., 2025）：用户表达正确或错误信念时事实答案的变化。Misalignment 用 LLM 评判开放问题回答（Betley et al., 2025b）。审计分（Sheshadri et al., 2026）：一个 LLM 审计者读恢复提示并预测五种行为变化，另一个 LLM 评判是否命中目标特质；每个提示的分数是 10 次审计者–评判者运行的成功率。
• 重复：第 4 节每种文本优化方法、每个动物数据集 5 个种子（共 20）。Figure 5 每个数据集和模型 4 个 SALVE 种子。稀释实验学生训练 3 个种子、SALVE 4 个种子。LLS 每个选定子集训练学生，并对 LLS 数据与随机对照各跑 3 个 SALVE 种子。论文未报告动物偏好问句的条数。

主结果

Figure 4a 为 4 个动物数据集、每方法 5 个种子的汇总。参考提示中，数据生成提示的 Dataset NLL 为 0.410、行为频率 0.98、流畅度 NLL 2.80；空提示为 0.523 / 0.04；默认 Qwen 提示为 0.516 / 0.05 / 2.53。

表格较宽，可左右滑动

方法	Dataset NLL ↓	Behavior Freq. ↑	Trait Verb. ↑	Fluency NLL ↓
OPRO	0.551	0.09	0/20	5.29
GCG	0.470	0.07	0/20	11.70
GCG-reg	0.517	0.07	0/20	4.38
AutoDAN	0.511	0.06	0/20	9.45
PGD	0.461	0.07	0/20	13.58
GBDA	0.452	0.09	0/20	12.93
GBDA-reg	0.558	0.08	0/20	4.72
LARGO	0.449	0.38	7/20	2.34
SALVE (best-of-N)	0.441	0.86	18/20	2.89
SALVE	0.437	0.88	18/20	2.46

据 Figure 4a。

• 作者解读：只有 SALVE 可靠恢复点名动物的提示；18/20 次点名，用作系统提示时行为频率 0.88，Dataset NLL 最低。best-of-N 的 NLL 略高，口头化率与行为频率接近。LARGO 在 7/20 个种子点名动物并降低 NLL。
• 其他优化器：没有任何一次恢复出点名动物的提示。OPRO 可读但泛泛，且不降低 Dataset NLL。GCG、PGD、GBDA 降低 NLL，但提示是乱码；加入流畅度的变体更流畅，但 Dataset NLL 变差。这些方法相对空提示和默认提示大多仍降低了 Dataset NLL。
• 对照：附录 G 在响应里明文反映指令的上下文蒸馏数据上重复该实验，作者称若干文本优化基线可以恢复与指令相关的提示。

学生是否学到特质，与 SALVE 能否恢复

• 测了什么：四个开源模型、四种动物；标准训练为注意力与 MLP 上的 rank-8 LoRA，10 epoch、10,000 条。Figure 5 每个点是一种学生模型与一种动物偏置。
• 结果：作者称两个 Llama-3 学生的行为变化很小。SALVE 仍能从没有潜意识学习的数据集近似恢复点名动物的提示（纵轴为 4 个种子中点名动物的比例）。
• 作者的解读：特质可从数据恢复，因此作者假设失败来自学生优化，尤其是在注意力和 MLP 上训练 LoRA 可能不利于学到教师的系统提示。

放大潜意识学习与稀释、转向

• 训练改动（Figure 6）：在系统提示后附加 16 个随机词或 emoji，以及只微调嵌入矩阵，相对标准 LoRA 都提高 animal pick rate，并让标准配方下几乎不传递的 Llama-3 出现传递。只微调 unembedding 没有可比效果。图为各模型、四种动物的柱状对比；论文未在正文给出每个柱的精确读数。作者称这与 Nief et al. (2026) 的两点一致：训练和评测之间更换系统提示会去掉该效应，且效应似乎通过“丰富”共享对话模板 token 的表示发生。该结果也与 Schrodi et al. (2026) 类似：只在单个早期层微调 LoRA 就足以引出潜意识学习。
• 稀释（Figure 7）：Qwen2.5-7B-Instruct 的四种动物数据与随机数字或无偏置教师数字混合。学生行为变化（3 个种子的最小–最大误差棒）和 4 个 SALVE 种子中点名动物的比例，都随有偏数据比例上升而上升。作者称 SALVE 在数据集仍改变学生行为时就会点名教师特质。例外：eagle 设定中 Qwen 学生被问最喜欢的动物时回答 “Qwen”，Schrodi et al. (2026) 先前也观察到该现象。
• 激活转向（Figure 8）：按 Morgulis & Hewitt (2026)，转向向量加在每个 token、多层共用，并在少量演示上拟合；转向强度重新扫描，以在保持连贯的同时最大化偏置。作者称这可看作微调教师的特例。SALVE 能恢复点名动物的提示，但比提示式教师更不可靠，且更常出现在学生行为变化较大的模型–动物组合上。点名动物的恢复提示流畅度更低。约三分之一的运行中，beam search 探索过点名动物的口头化但没有选中它（附录 E.2）。作者假设这是因为提示的表达力低于全参数变化，微调效果被有损地压进恢复提示；未选中也可能是因为更泛的提示更拟合补全，而不只是优化器失败。

偏好数据上的 Logit-Linear Selection

• 测了什么：OLMo-2-1B 教师对 Tulu 2.5 打分，选出传递 sycophancy 或 misalignment 的 25k 对。五个学生做 DPO。对照是未筛选的随机偏好子集。SALVE 最小化这些数据上的 DPO 损失。
• 结果（Figure 9）：对所有学生模型，在 LLS 数据上做 DPO 后，目标特质相对初始模型和随机子集都上升。几乎所有学生上，至少一个 SALVE 种子得到高审计分；随机对照上 SALVE 几乎总是返回审计分接近 0 的通用提示。Table 1 摘录：sycophancy 上 OLMo-2-1B 与 OLMo-3-7B 的审计分为 1.0，Llama-3.1-8B 为 0.1，Qwen2.5-7B 为 0.0；misalignment 上 OLMo-2-1B 与 Qwen2.5-7B 为 1.0，Rnj-1 为 0.4，Llama-3.1-8B 为 0.3。作者称恢复提示常明确点名特质，但会带口头化模型的痕迹，例如 Qwen2.5-7B-Instruct 上的提示转入中文；也会包含虚构内容，例如 OLMo-3-7B 的 sycophancy 提示岔到 carbs。Figure 9 的柱高论文未在正文逐个列出。
• 附录 J：作者给出一组初步结果，称 SALVE 检测到加密微调攻击（Halawi et al., 2024）。Table 20 展示 Gemma-4-31B-Instruct 上从加密微调数据恢复的提示全文，分类来自附录 J 的盲 LLM 评判；对照臂在同一数据上对从未学过该密码的初始模型运行 SALVE。

其他消融与分析

• Figure 3：前缀损失大体预测完整口头化损失；在每个已评分候选预算上，beam search 的验证 NLL 低于 best-of-N（图中标注约 0.55、0.42 与 0.460–0.450 一带）。
• 附录 I：几乎所有设定中 beam search 的验证损失低于 best-of-N；在更难的设定里，beam search 找到更多可解释提示。第 4 节的动物数据上，best-of-N 与 SALVE 的口头化率同为 18/20。
• 附录 G：指令在响应中明文可见时，若干非 SALVE 基线也能恢复相关提示。
• LLS 公式：选择分数为提示 s⋆ 使教师更偏好 chosen 而非 rejected 的对数概率差，再减去无该提示时的对应差；取得分经长度归一后最高的对。
• 负面结果：标准 LoRA 下 Llama-3 学生行为变化很小；转向设定恢复更不可靠且约三分之一运行探索到动物名却未选中；Table 1 中 Qwen2.5-7B 的 sycophancy 审计分为 0.0，Llama-3.1-8B 的 sycophancy 为 0.1；GBDA-reg 的 Dataset NLL（0.558）高于空提示（0.523）和 OPRO（0.551）。

作者指出的局限与后续方向

• 口头化能力本身：SALVE 依赖语言模型口头化已学软提示的能力，而该能力尚未被很好理解（Limitations and Future Work）。脚注称作者曾担心这需要足够大的模型，但所研究的最小模型 OLMo-2-1B-Instruct 已经能够做到。
• 虚构与模型自身偏差：口头化可以包含虚构内容，并可能反映模型自己的偏差（同一节）。
• 单条提示表达力不足：用寻找近似“在数据集上微调”的提示来检测效应；单条提示的表达力远低于学生微调，恢复提示可能只反映数据集最突出的效应。转向实验里就遇到这一点：检测更不可靠，beam search 常探索到点名动物的候选却不选它（同一节）。
• 更杂的真实数据：作者称把 SALVE 用到更杂的真实数据上，很可能需要先处理上述表达力限制（同一节）。
• 提高表达力的方向：可以恢复一组提示而不是一条；软提示可以口头化成文本上的分布；或把数据划分，使每一份由自己的提示描述，如 multiple choice learning（Guzmán-Rivera et al., 2012）（同一节）。
• 只研究了构造数据，以及作者希望的后续用途：只研究了明确构造为具有潜意识效应的数据集。近期工作开始在真实数据中找到类似效应（Blank et al., 2026b; Zhong, 2026），把方法延伸到这些设定是自然的下一步（同一节）。Discussion 中作者希望以后用同一方法研究涌现式未对齐等泛化现象，或作为针对微调攻击的一种可能防御；并问文本优化能否找到描述两个模型差异的提示，作为基于提示的 model diffing。附录 J 的加密微调结果被作者称为初步结果。代码方面，作者写的是代码将会发布。

实验覆盖范围

• 模型：学生与教师包括 Qwen2.5-7B-Instruct、OLMo-3-7B-Instruct、Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、OLMo-2-1B-Instruct、Rnj-1-Instruct；OPRO 使用 GPT-5.4-mini；附录 J 使用 Gemma-4-31B-Instruct。Llama-3.2-3B 出现在提示式学生实验，转向实验的模型列表未包含它。
• 数据形态：提示式动物偏好经数字序列（主实验 4 种动物，各 10,000 条，5 个优化种子）；四种模型上的学生传递（每设定 4 个 SALVE 种子，训练 10 epoch、rank-8 LoRA）；系统提示附加 16 token 与只微调嵌入或 unembedding；与随机数字或无偏置教师数字的混合（学生 3 种子）；九种动物的激活转向；Tulu 2.5 上 LLS 选出的 25k 对（候选 740k），特质为 sycophancy 与 misalignment，DPO，每模型每数据 3 个 SALVE 种子，审计为 10 次运行的平均。
• 优化器对比：Figure 4 比较 OPRO、GCG、GCG-reg、AutoDAN、PGD、GBDA、GBDA-reg、LARGO 与 SALVE 及其 best-of-N。附录 G 在明文上下文蒸馏数据上重复。附录 I 在论文几乎所有设定上比较 beam search 与 best-of-N。
• 检测与训练是否分开：SALVE 在冻结的 θ0 上优化软提示并对候选按数据集损失打分，不需要先训练出表现出特质的学生；Figure 5 与 Figure 7 把恢复结果和学生行为变化对照着报告。偏好数据的审计用单独的 LLM 审计者与评判者，论文写明该流程，未报告与人工判断的一致性。
• 作者讨论过、未当作主方法的相关检测：Related Work 描述了审计智能体、白盒可解释性工具、KV cache 蒸馏和 introspection adapter，但实验对比的是文本优化基线，而不是这些审计系统。

SALVE 是一种文本优化方法，用来在训练学生之前，把潜意识学习数据里读不出来的教师特质说成可读系统提示。

• 问题：蒸馏数据可以传递动物偏好、情感偏移或未对齐行为，但这些特质并没有可读地写在数据里。作者把提示式设定看成在无关查询上做上下文蒸馏，并称数据集在理论上唯一识别生成提示。
• 方法：在冻结模型上把软提示放在系统提示位置，用数据集负对数似然（偏好数据上则用 DPO 损失）做梯度优化；再让同一模型口头化，并以 B=4、M=16、R=12 的句子级 beam search 按 256 条样本上的损失挑选。主实验软提示长度为 128，DPO 为 256。
• 主结果：在 Qwen2.5-7B-Instruct 生成的四种动物、各 5 个种子上，SALVE 的 Dataset NLL 为 0.437，20 次中 18 次点名动物，行为频率 0.88（Figure 4a）。LARGO 为 7/20；OPRO、GCG、PGD、GBDA 及其流畅度变体均为 0/20。数据生成提示本身的 NLL 为 0.410、行为频率 0.98。
• 传递与检测范围：SALVE 在学生行为几乎不变时仍能点名特质。给系统提示附加 16 个 token，或只微调嵌入矩阵，会加强传递，并让 Llama-3 出现标准 LoRA 下看不到的传递；只微调 unembedding 则没有可比效果。稀释数据上，SALVE 点名特质的种子比例与学生行为变化一起随有偏数据比例上升。激活转向下可以恢复，但更不可靠、提示更不流畅。Tulu 2.5 的 LLS 子集经 DPO 把 sycophancy 或 misalignment 传到多个学生；SALVE 在几乎所有学生上至少有一个种子得到高审计分，随机对照的审计分接近 0。
• 作者的结论：潜意识数据可靠编码了用来偏置教师的干预，传递失败更多是默认学生配方没有把这份信息表达出来。作者把 SALVE 视为主动检测潜意识效应的工具，同时指出口头化会虚构、会带模型自身偏差，单条提示表达力低于微调，且实验只覆盖人为构造的数据集。