Study: which tokens are most worth auditing in natural language autoencoders

自然语言自编码器（NLA）为每个位置生成解释太贵，审计者应优先检查哪些位置，才能理解提示注入或隐瞒。

• 场景：NLA 用 verbalizer 把残差流激活写成短文，再用 reconstructor 还原向量。Fraser-Taliente et al. (2026) 发布的 verbalizer 平均每个激活生成 130 个 token，最多 150 个。待审计转录有数百到数千个位置，逐位置解释不适合实时监控（Bowkis & Africa, 2026）。
• 现有做法：Hu & Greenblatt (2026) 只读答案前的最后位置；Bowkis & Africa (2026) 每条转录取八个等距位置，并称等距位置的解释多在描述局部文本格式，按注意力权重选位也不优于等距网格。作者认为这两种惯例把预算花在任意位置上，可能漏掉有信息的 token。
• 核心设定：作者把解释生成之前就能算出的分数称为 ranker。问题是：审计者对长度为 n 的转录只能做 k 次解释且 k 远小于 n 时，能否用一次前向传播，或只用渲染后的转录，把“解释会描述威胁”的位置排到前面。
• 本文做什么：在提示注入（OpenPromptInjection、Tensor Trust）和隐瞒（Liars' Bench、taboo organisms）上，比较 13 个计算信号、234 个两信号组合，以及只依赖 chat 结构的排序器；并检验预训练 verbalizer 在未经其训练的微调模型上能否说出被隐瞒的词。
• 成功含义：评审单独阅读一条解释并回答它是否关于当前审计威胁；被接受的解释称为 on-task。审计成功指一条转录里至少有一条 on-task 解释。

论文在引言和附录 A 把相关工作分成四组，并在第 3 节给出本文使用的基线。

把向量读成文本

• logit lens（Nostalgebraist, 2020）把向量投到词表并读出最可能的词。
• 稀疏自编码器（Huben et al., 2023; Bricken et al., 2023）把向量拆成少量学到的特征。
• 激活转向（Turner et al., 2024; Rimsky et al., 2024）找出加回残差流后会以已知方式改变行为的方向。作者称这三类各只给出一种窄视图：一个词、一组特征或一个方向。

让模型描述自身状态

• Patchscopes 与 SelfIE（Ghandeharioun et al., 2024; Chen et al., 2024）把一个上下文的激活插入第二条提示词，不额外训练就让模型描述该激活。作者称内部向量与通常输入嵌入分布不同，未经训练的读出不可靠。
• LatentQA（Pan et al., 2026）把解码做成关于激活的提问；Activation Oracles（Karvonen et al., 2026）把它扩展成可回答关于注入向量的任意问题。
• NLA（Fraser-Taliente et al., 2026）用自然语言瓶颈重建原激活：verbalizer 写短文，reconstructor 映回向量，二者经强化学习联合训练。附录 P 补充训练分三阶段。

信号从哪些检测器来

• 不确定性：发出 token 的不可能性与下一 token 分布的熵被用来标记主张不可靠的生成片段（Kuhn et al., 2022; Fadeeva et al., 2024）。
• 注意力：未使用的注意力会送到序列开头的 attention sink（Xiao et al., 2024）；上下文与模型自生成文本之间的注意力平衡区分有无上下文支持的 token（Chuang et al., 2024）；对原指令的注意力下降被 Hung et al. (2025) 与 Torrielli et al. (2026a) 用来指示提示注入生效；attention rollout 跨层估计更早位置的贡献（Abnar & Zuidema, 2020）。

哪些位置信息最多

• 五篇 NLA 之外的研究：Sun et al. (2024) 指出首 token 和标点等分隔符有几乎不依赖输入的激活尖峰，并认为前序跨度的压缩摘要写在这些位置；Meng et al. (2022) 称语义单元（如实体）的最后一个 token 写入该单元的摘要；Xiao et al. (2024) 把开头 token 视为稳定注意力、最近 token 视为对预测下一 token 最有用的上下文；Zhang et al. (2023) 称最近 token 加上对注意力分数贡献最大的 token（约 5% 的已存 key 和 value）足以在每步解码出同一输出 token；Liu et al. (2024a) 称长输入中间的内容比首尾用得少。作者称这些工作都没有测量哪些位置会产生与任务相关的 NLA 解释。

基线与数据集

• 基线：随机分数；position（token 下标与转录长度）；structure（chat role、segment、boundary ordinal、归一化下标），后两者是在 on-task 标签上训练的逻辑回归。信号只有 pooled AUROC 超过 structure 才算值得做一次前向传播。
• 数据集：OpenPromptInjection（Liu et al., 2024b）、Tensor Trust（Toyer et al., 2024）、Liars' Bench（Kretschmar et al., 2026），以及按 Cywiński et al. (2025) 训练的 taboo organisms。

作者把本文定位为：在每个 token 位置上，把选择分数接到解释是否与审计威胁相关，并比较计算信号与不需要前向传播的 chat 结构。

整体做法是建一条 bridge：对每条转录的每个 token（含 chat template）用 NLA verbalizer 写出解释，由评审标成 on-task 或 off-task，再看候选分数能否把 on-task 位置排到前面。

问题设定

• 对象：数据集是一批转录；threat 是审计者要找的东西；task 是交给模型的工作；injection 试图用另一项任务替换它。
• 预算：审计者对 n 个位置只能解释 k 个，k 远小于 n。分数必须在生成任何解释之前算出。论文同时测一次前向传播，以及只渲染转录是否够用。
• NLA 训练（附录 P，本文使用已发布的 verbalizer，不重新训练）：冻结目标模型取到层 l 的激活 h；教师模型从输入生成合成解释做监督热启动，重建损失为 L_rec=|h−ĥ|₂²；随后去掉教师解释，verbalizer 用 GRPO 按重建误差得到奖励 r_i=−|h−ĥ_i|₂²。

十三种信号

• 三个量：位置 t 的下一 token 分布 pt、层 ℓ 头 i 的注意力 A，以及 verbalizer 所读层的残差流 ht（h^L 为最后一层）。每个信号都是由这些量算出的标量，全部只需一次前向传播。方向按数据集和模型分别固定，因为标出相关位置的方向随威胁变化。
• 预测分布：surprisal 为 −log pt(xt)；entropy 为 H(pt)；varentropy 为该分布下 −log pt 的方差；temporal kl 为 DKL(pt ∥ pt−1)。
• 注意力：lookback ratio 是落在所给上下文上的平均注意力相对全部位置的比例；sink drain 衡量头是否离开开头四个位置的 sink；head disagreement 是层平均注意力的熵减去各头熵的平均；w 是 sink drain 与 lookback ratio 经 z 分数后的差。
• 激活：resid jump 是最后一层相邻位置位移；norm ratio 是当前激活范数相对该 shard 中位范数；peak ratio 是最大通道绝对值相对均方根；dominant mass 是集合 S 内的范数占比，S 为中位幅度超过全体通道中位十倍的通道，每个模型每个数据集估计一次；resid jump nla 是 verbalizer 层在 S 之外的位移。五个激活信号里有四个用 verbalizer 收到的同一向量 ht。

组合、选择与基线

• 247 个候选：13 个单信号，加上每对无序信号在 α∈{0.25, 0.50, 0.75} 下的混合，共 3×C(13,2)=234 个组合。先把每个信号在转录内的有限值换成 [0,1] 的 midrank，再按方向翻转，使更大的值对应 on-task，然后做凸组合。
• 两种选择：model-best 为每个数据集–模型对各自选候选；dataset-shared 让同一数据集的所有模型共用一个候选及组合权重，但各自保留 rank 和方向。共享候选最大化各模型 pooled AUROC 相对 0.5 的平均偏离。方向调整后的 AUROC 取 max(A, 1−A)。
• 验证：按整条转录做五折。每折重新计算 rank、方向并重选组合与最佳单信号，再用于留出转录。留出指标是 pooled AUROC 与 case-macro AUROC；后者先在每条转录内计算再平均，对应预算花在单条转录内部的审计决策。去掉一个模型再选、然后用到该模型上的迁移放在附录 D。正文报告 dataset-shared，model-best 放在附录 L、M。
• 结构基线：position 用 token 下标和转录长度；structure 再加上 chat role 与 segment。特征不需要跑模型。二者在五分之四转录的 on-task 标签上做逻辑回归，在其余五分之一上评估。
• 结构标签：chat role 为 chat template、system、user、最终 assistant 回复或更早的 assistant。segment 把 input 定为从序列开头到最后一个内容 token，boundary 为该 token 与回复之间的 chat-template token 连续段，output 为最终 assistant 回复。OpenPromptInjection 没有回复，只有 input 和 boundary。

解释如何生成、如何判定

• 生成：四个已有 NLA 的开源模型，verbalizer 各读一个固定层，约为模型深度的三分之二：Qwen2.5-7B 第 20 层、Gemma-3-12B 第 32 层、Gemma-3-27B 第 41 层、Llama-3.3-70B 第 53 层。贪心解码，每个位置一条解释，合计 4,705,657 条。
• 评审：DeepSeek-V4-Flash，温度 0。只看解释和数据集专用的是否问题，不看转录、token 或信号。回答以 y 开头则 yc,i=1（on-task），否则为 0。附录 C 给出完整评审提示词。数据集若标出威胁区域或按条件标注转录，则比较区域内与区域外的 on-task 率，用来核对解释是否落在被审计行为上。
• 指标：主指标是固定解释预算下的 precision，即被选位置中 on-task 的比例。预算为 1 个位置、8 个位置，以及转录的 1%、5%、10%，并与随机选择的 base rate 比较。审计成功定义为至少一条解释 on-task；Figure 3 还报告至少三条。该成功率再除以逐位置全部解释时的成功率。
• 统计：head disagreement 在试点中最好，因此被预先登记为 Liars' Bench 与 Tensor Trust 的主信号，确认性分析不做多重检验校正。其余信号为探索性，Benjamini–Hochberg 将错误发现率控制在 q=0.05。OpenPromptInjection 与 taboo organisms 全程探索性。每张表配随机分数，以及把评审标签在位置间打乱的对照；过程正确时二者为 0.5。

实验设置

• 模型：已发布 NLA 的四个开源模型：Qwen2.5-7B（q7）、Gemma-3-12B（g12）、Gemma-3-27B（g27）、Llama-3.3-70B（l70）。verbalizer 层分别为 20、32、41、53。
• 数据：OpenPromptInjection 为带已知威胁跨度的提示注入；Tensor Trust 为人类撰写的劫持攻击；Liars' Bench 为被审计模型自己写的说谎与诚实转录，只覆盖 g27 与 l70；taboo organisms 是四个基座的低秩适配器，分别隐瞒 moon、ship 或 snow。除 Liars' Bench 外每个数据集覆盖四个模型，共 14 个 cell。论文未报告各数据集的转录条数。Figure 3 给出转录长度中位数：143、74、131、264（对应图中从左到右四个数据集）。
• 基线：随机分数；position；structure。二者为逻辑回归，训练与评估转录分开。
• 标签：DeepSeek-V4-Flash，温度 0，回答以 y 开头为 on-task。主排序指标为 pooled AUROC 与 case-macro AUROC；预算指标为 precision 和审计成功率。
• 选择协议：247 个候选；dataset-shared 与 model-best；整条转录五折，每折重选。预先登记的主信号是 head disagreement（仅 Liars' Bench 与 Tensor Trust）。
• 对照：随机分数与位置间打乱的评审标签，过程正确时应为 0.5。

主结果

Table 2 的 pooled AUROC 中，作者标出每列离 0.5 最远的条目。structure 在 12/14 个 cell 上高于该列最佳单信号；case-macro 上 structure 在 11/14 更高。下面只列 structure、该列最强单信号和 base rate。方向未在表中用正负号标出，小于 0.5 表示较小的信号值对应 on-task。

Swipe horizontally to read the table

数据集 / 模型	structure	最强单信号（Table 2）	base rate
OPI q7 / g12 / g27 / l70	0.786 / 0.759 / 0.774 / 0.819	0.606 temporal kl / 0.685 resid jump nla / 0.635 resid jump nla / 0.673 sink drain	0.254 / 0.170 / 0.184 / 0.129
TT q7 / g12 / g27 / l70	0.649 / 0.709 / 0.658 / 0.738	0.639 resid jump / 0.719 norm ratio / 0.672 resid jump nla / 0.695 resid jump nla	0.837 / 0.849 / 0.864 / 0.681
LB g27 / l70	0.915 / 0.943	0.712 varentropy / 0.609 entropy	0.010 / 0.023
Taboo q7 / g12 / g27 / l70	0.850 / 0.850 / 0.831 / 0.904	0.796 dominant mass / 0.681 dominant mass / 0.651 dominant mass / 0.723 resid jump nla	0.212 / 0.276 / 0.300 / 0.162

• 作者称：14 个 cell 里最强单信号有 11 个来自激活、3 个来自注意力，预测分布没有成为任何 cell 的最强信号。resid jump nla 在五个 cell 最强，dominant mass 在三个 cell 最强。全体信号与 cell 的方向调整 AUROC 中位数为 0.584，中间一半在 0.535 到 0.634，任一 cell 的最大 AUROC 为 0.796。
• structure 更高：其 pooled AUROC 在 12/14 超过最佳单信号。作者称一次前向传播在 chat 结构之外，只在同一 segment 和同一 chat role 内部区分位置。Tensor Trust 上 g12 的 norm ratio 为 0.719，高于 structure 的 0.709；taboo 的 q7 上 dominant mass 为 0.796，低于 structure 的 0.850。这两格仍是 structure 更高或仅 structure 略低的个例，论文把“12 of 14”作为总括。
• 方向：13 个信号中有 8 个在至少 5 个 cell 上处于少数方向。entropy 是每个数据集内部跨模型方向一致的唯一信号，但在 OpenPromptInjection 与 taboo organisms 之间反向。作者认为符号必须按当前威胁拟合，符号用反了会比随机选位更不准。

固定预算下的审计成功

• 5% 位置：structure 相对“解释每一个位置”的成功率（至少一条 on-task）为 OpenPromptInjection 0.995、taboo organisms 0.958、Tensor Trust 1.000；随机为 0.761、0.594、1.000。Liars' Bench 上 structure 为 0.813。作者称证据铺在整段对话上，因此需要看更多位置（附录 O）。把成功改成至少三条 on-task 后，前三个数据集降到 0.785、0.568、0.998。作者称一条相关解释因此花费转录的 1/20，而 Fraser-Taliente et al. (2026) 建议的冗余检查花费更多。Figure 3 把模型等权平均，横轴为读过的解释数。
• precision：structure 的 precision 在预算为 1 时高于所选组合的 cell 为 11/14，预算为 8 时为 12/14。十个 on-task 较稀的 cell 在预算 8 上，structure 平均 0.491，组合 0.392，随机 0.191（附录 K）。作者称在这些预算上，前向传播的花费多于它带来的增益。Tensor Trust 上 0.68 到 0.86 的位置已是 on-task，所选组合和 structure 都接近该 base rate。
• 排名第一的位置：在 on-task 较稀的十个 cell 里有七个，最强单信号排第一的位置在任何转录上都不是 on-task。三个 taboo organism 和 Liars' Bench 上，第一名是 spike token，解释从不 on-task。两信号组合把该位置移开 spike：在单信号为 0 的三个 taboo organism 上，所选配对给出 0.594、0.625 和 0.771。作者称 pooled AUROC 几乎看不出这一个位置的问题，而预算为 1 完全取决于它；配对的预算增益远大于 AUROC 从 0.005 到 0.194 的增加（Table 10）。

微调模型上的词恢复与解释是否落在威胁上

• taboo organisms：verbalizer 不额外训练，直接加载适配器。十二个 organism（四个基座 × moon、ship、snow）上，解释在 14% 到 27% 的位置说出秘密词。点名该词与被判 on-task 几乎是同一事件，因此该数据集上的评审标签测的是词本身是否被恢复。四条索要秘密词的提示不含这三个词；同一基座的三个 organism 共用 chat template 和用户消息。在这些位置上，该 organism 自己的词出现在 12% 到 25% 的位置，另一个 organism 的词最多 2.8%。作者认为同一文本给出三种答案，文本反演解释不了。附录 B 给出 g12 在同一位置对三个适配器的解释示例。
• 区域内相对区域外：OpenPromptInjection 上，注入跨度内的 on-task 解释比跨度外高 13 到 66 倍（q7 22 倍、g12 13 倍、g27 66 倍、l70 42 倍，Figure 1(b)）。Liars' Bench 在被评分回复内部，l70 为 8 倍、g27 为 9 倍。Tensor Trust 四个模型的比值都低于 1（图上为 0.86、0.85、0.88、0.67）。作者称其提示要求模型保护访问码，未受攻击且遵守该指令的解释也会满足评审问题。taboo organisms 在整条转录中隐瞒该词，Figure 1(b) 对应行为空。Figure 1(a) 的 on-task 占比：OpenPromptInjection 为 0.254、0.170、0.184、0.129；taboo 为 0.212、0.276、0.300、0.162；Liars' Bench 为 0.011 与 0.023（正文另写 0.013 到 0.30，Table 2 的 Liars' Bench base rate 为 0.010 与 0.023）；Tensor Trust 为 0.837、0.849、0.864、0.681。
• 位置偏好：四个数据集的 dataset-shared 选择都是两信号组合。OpenPromptInjection 为 lookback ratio + sink drain（50/50；全数据/留出 0.754/0.761，相对最佳单信号 Δ=0.104/0.106）；Tensor Trust 为 resid jump nla + w（75/25；0.682/0.567，Δ=0.009/0.031）；Liars' Bench 为 dominant mass + head disagreement（50/50；0.722/0.541，Δ=0.021/0.084）；taboo 为 dominant mass + norm ratio（50/50；0.750/0.775，Δ=0.042/0.053）。留出提升的 95% 置信区间均为正。三个数据集每折都选出同一组合，Liars' Bench 为五折中的四折。OpenPromptInjection 把 boundary 排在 input 之上，四个模型为 +0.22 到 +0.40；Tensor Trust 为 +0.06 到 +0.38，其 output 相对 input 为 −0.05 到 +0.18（三个模型 output 更高）；taboo 为 −0.08 到 +0.20（四个模型中三个 boundary 更高）；Liars' Bench 两个模型把 boundary 排在 input 之下，为 −0.40 与 −0.32。

其他消融与分析

• 贡献列表写：组合在全部 14 个组合上提升了单独测试转录的排序；激活向量信号在 11/14 中是最强个体信号。
• head disagreement 作为预先登记信号，在 Liars' Bench、g27 上 pooled 为 0.717、case-macro 为 0.510；作者称 pooled 来自 chat role 之间的分离（附录 O）。Table 2 同格为 0.283，两数对应的汇总方式不同，论文未在正文把 0.717 放进 Table 2。
• Table 7：作者称把 segment、chat role 和 position bin 固定后，预测几乎不变，因此转录结构和序列位置解释不了该 AUROC。
• precision 在 1 个位置、8 个位置、转录的 1% 和 10% 之间，对所选配对和 structure 都不随预算变化（附录 K）。作者称解释数量变为十倍时，on-task 解释也约按同一比率变为十倍。
• 作者称若干接近获胜者的候选几乎给出相同的选择分数，因此不依赖某一个精确的 50/50 混合。附录 Q 称 input 与 boundary 的隐藏状态在助手回复生成前就可用；若审计所需信息已在这两处，可以不先解码回复就把它们交给 NLA。

作者指出的局限与后续方向

• 评审只有一个模型：标签用一个评估模型衡量解释是否相关。作者写，用第二个模型和人工复核会检验标签可靠性（第 5 节 Limitations）。
• 一个层、较短转录：每个模型只评估一个 verbalizer 层，转录相对较短；跨层以及更长智能体转录上的泛化仍未测试（第 5 节 Limitations）。作者称这两点都在积极处理。
• 结论中的使用建议：这些结果支持用 chat 结构分配解释预算，并把任务相关性作为检查解释内容的第一步（第 5 节）。这是作者的使用建议，不是额外的实验局限。
• 伦理陈述里的使用注意：恢复被隐瞒的信息可能暴露敏感信息，选择性检查可能漏掉威胁；应用应尊重隐私与授权，并独立印证解释。评估测的是解释相关性，并不确立模型安全（Ethics Statement）。

实验覆盖范围

• 模型与 cell：被测模型为 Qwen2.5-7B、Gemma-3-12B、Gemma-3-27B、Llama-3.3-70B。OpenPromptInjection、Tensor Trust、taboo organisms 各四个模型，Liars' Bench 只有 g27 与 l70，共 14 个 cell（第 3 节）。
• 解释规模与协议：贪心解码共 4,705,657 条解释；评审为 DeepSeek-V4-Flash、温度 0。候选 247 个，验证为整条转录的五折（第 2–3 节）。论文未报告各数据集的转录条数，也未报告评审与人工的一致性。
• 预算与对照：预算为 1、8 个位置以及转录的 1%、5%、10%；并报告随机、position、structure，以及标签打乱对照（第 3–4 节）。
• 词恢复设置：十二个 organism 为四个基座各隐瞒 moon、ship、snow；verbalizer 不额外训练（第 4.2 节）。
• 选择结果的报告范围：正文报告 dataset-shared；model-best 与去掉一个模型后的迁移放在附录（第 2.3 节）。转录长度中位数在 Figure 3 中给出，为 143、74、131、264。

这篇工作比较：在提示注入和隐瞒审计里，该把 NLA 解释预算花在哪些 token 上。

• 问题：逐位置解释要为每个激活自回归生成约 130 个 token。作者要一个在生成解释之前就能算的 ranker，把会描述威胁的位置排到前面。
• 做法：对四个已有 NLA 的模型，在 OpenPromptInjection、Tensor Trust、Liars' Bench 和 taboo organisms 的每个 token（含 chat template）上贪心生成解释，共 4,705,657 条。DeepSeek-V4-Flash 在温度 0 下只看解释，判断是否 on-task。13 个一次前向信号来自预测分布、注意力和激活，并与 234 个两两组合、以及只看 chat role、segment、boundary ordinal 和位置的 structure 排序器比较。
• 排序：激活信号在 14 个 cell 中有 11 个是最强单信号，任一 cell 最高 pooled AUROC 为 0.796。structure 在 12/14 个 cell 上高于最佳单信号，且不需要为选位做前向传播。四个数据集选出的共享候选都是两信号组合，留出 case-macro AUROC 相对最佳单信号的提升置信区间为正。
• 预算：解释 5% 的位置时，structure 相对全解释的成功率在 OpenPromptInjection、taboo organisms、Tensor Trust 上为 0.995、0.958、1.000，在 Liars' Bench 上为 0.813。预算为 1 或 8 时，structure 的 precision 在 11/14 与 12/14 个 cell 上高于所选组合。最强单信号排第一的位置，在七个较稀的 cell 上从不是 on-task，两信号组合能离开 spike token。
• 隐瞒词：预训练 verbalizer 不加训练，在十二个 organism 上于 14%–27% 的位置说出秘密词；同一提示下自己的词为 12%–25%，另一个 organism 的词至多 2.8%。作者的结论是可以用 chat 结构分配预算，并把任务相关性当作检查解释内容的第一步；标签可靠性、跨层和更长智能体转录仍未检验。