用歧义的线性表征改进语言模型置信度估计

核心问题：语言模型对自身回答正确率的置信度估计不准，作者想利用模型内部对输入歧义的表示来改善置信度校准。

• 场景与动机：作者认为，随着 LM 部署到高风险场景，准确估计其在给定输入上成功的可能性对下游决策（如请求澄清、转交检索）很关键；而已有工作显示 LM 是自身成功概率的不佳估计者。
• 核心假设：校准不佳部分源于未能检测 aleatoric uncertainty（输入固有的歧义，如"bank"可指银行或河岸）；作者假设 LM 内部以线性表示的形式编码了输入歧义的至少部分信息。作者注明只关注 aleatoric uncertainty，不涉及与模型知识相关、因模型而异的 epistemic uncertainty。
• 现有方法不足：按论文说法，已有可解释性工作发现了与答案真实性相关的表示，但表示存在不等于模型能输出校准的置信度；近期用表示干预行为的工作多针对拒答、谄媚、幻觉，而非校准。
• 论文提出：(1) 用 difference-in-means 在歧义/消歧最小对上提取歧义方向并验证其因果影响；(2) 提出 DART（Direction-Aligned Regularization for Tuning），一种把更新限制在歧义子空间内的 LoRA 微调方法，把校准改善编码进模型参数。

置信度估计与校准

• 后验校准方法：histogram regression（Nobel, 1996）、Platt scaling（Platt, 1999）、isotonic regression（Barlow et al., 1972）、beta calibration（Kull et al., 2017）等，对单一置信度做再校准。
• LM 置信度获取方式：序列联合概率（Desai and Durrett, 2020）、直接提问（linguistic calibration；Mielke et al., 2022；Tian et al., 2023；Band et al., 2024）、利用模型内部状态（Liu et al., 2024；Subramani et al., 2025, 2026；Kumaran et al., 2026）。

NLP 中的歧义

• Pavlick and Kwiatkowski (2019) 显示 NLI 标注分歧反映合理解读差异；Plank (2022) 主张直接建模标签差异；Baan et al. (2022) 显示标准校准指标在多重解读输入上失效。
• 歧义基准：开放域问答歧义（Min et al., 2020）、scope 歧义（Kamath et al., 2024）、AMBIENT（Liu et al., 2023）与歧义分类体系（Li et al., 2024），论文称这些评测结果好坏参半。

可行动的可解释性（actionable interpretability）

• 早期"BERTology"定位语言结构表示（Hewitt and Manning, 2019；Tenney et al., 2019 等）；近期主张可解释性应按下游实用性评估（Nanda et al., 2025；Orgad et al., 2026）。
• 用表示干预行为的工作多针对拒答（Arditi et al., 2024）、谄媚（Chen et al., 2025）、幻觉（Prasad et al., 2026）；作者定位本文的区别是：以置信度校准为目标，用少量方向直接改善校准。

转向向量与基线

• 定位转向向量最常用的方法是 difference-in-means（Marks and Tegmark, 2024；Rimsky et al., 2024），本文沿用。
• 实验基线：base 模型、无正则的 LoRA（等价于 λ=0 的 DART）、同秩随机子空间的 DART（Random DART）、推理期 steering；后验校准对照为 temperature scaling、Platt scaling、beta calibration、isotonic regression。基准为 MMLU、TruthfulQA、AmbigQA。

整体思路：用 difference-in-means 从歧义/消歧最小对中提取歧义方向，验证其对模型歧义判断的选择性影响，再用 DART 微调把校准改善固化到参数中。

数据与方向提取

• 数据来自 AMBIENT（Liu et al., 2023），每个歧义句配一个或多个最小改写的消歧句，构成对比对；按 Li et al. (2024) 的分类体系标注歧义类型。
• 只保留验证样本足够的四类：pragmatic、lexical、scopal、syntactic；每类 80% 训练、20% 验证，同一歧义句派生的对放入同一划分。规模为训练 907 对、验证 226 对（Table 2）。
• 对每个类别 c 和层 ℓ，候选方向为配对激活均值之差：v_c,ℓ = 1/N_c∑_i (h_ℓ(x^amb_i) − h_ℓ(x^clear_i))，即歧义句与消歧句平均激活的差。

干预与选层

• 干预强度用相对量表示：把归一化方向按该层激活平均范数 ρℓ 的百分比 α 加到隐藏状态上，α 取自 0.1% 到 200% 的 11 档；作者称这样可跨层、跨模型比较。
• 选择性定义：对歧义句的转向效应均值减去对消歧句的效应均值，Sel(ℓ, α) = S_amb − S_clear；歧义分数 ψ(s) 为模型在歧义判断提示下 Yes 与 No 的对数概率之差。
• 选层：先对 α 取平均，再按各类别验证对数量加权得到 Selw(ℓ)，取 arg max 得到共享层 ℓ；作者报告所有模型的 ℓ 都落在偏早的中下层（Figure 2、附录 E）。

DART 微调

• 用选出的 k 个方向构成矩阵 V，投影 P = V(VᵀV)⁻¹Vᵀ；训练损失为 L_i = (1−λ_i)L_CE,i + λ_i |(I−P)(h_i − h_0,i)|₂²，即惩罚歧义子空间外的激活变化、允许子空间内自由更新。
• 逐样本权重 λi 等于当前模型对正确答案的概率：答得好的样本被更强地约束在子空间内，答得差的样本更侧重任务目标。
• 实现细节：作用于 attention 的 q_proj 和 v_proj（Phi-4-mini 用合并的 qkv_proj），训练 3 个 epoch；LoRA rank r ∈ {4, 8, 16}、学习率 {1e-4, 1e-5}，每模型 6 组配置，按验证集 AUC-EURO 选配置。

置信度获取与指标

• 两种协议：logits 协议把候选答案标签 {A,B,C,D} 上的归一化概率作为置信度（开放生成用长度归一化似然）；verbalized 协议让模型直接输出 0–100 的置信数，解析失败的生成按"答错且置信度最高"处理。
• 指标：smECE（无超参的校准误差）、AUC-EURO（兼顾校准与决策效用）、AUROC、准确率；AmbigQA 另报 EM 和 token 级 F1。

实验设置

• 被测模型：gemma-4-E4B-it、Qwen3.5-4B、Qwen3.5-27B、Llama-3.1-8B-Instruct、Llama-3.3-70B-Instruct、OLMo-3-7B-Instruct、Phi-4-mini-instruct，共 7 个；主文聚焦 Llama-3.3-70B-Instruct，其余在附录 G/H。
• 基准：MMLU 全部科目；TruthfulQA MC1 中保留至少 4 个选项的 684 题；AmbigQA 开放生成（5,036 题评测、5,000 题微调）。
• 方法对照：Base、Steering、LoRA、Random DART（同秩随机子空间）、DART；后验校准对照为 temperature scaling、Platt scaling、beta calibration、isotonic regression。
• 指标与判定：smECE、AUC-EURO、AUROC、准确率；AmbigQA 用 EM 判定正确性并报 token 级 F1。无 LLM 评审。
• 统计检验：配对置换检验（MMLU/AmbigQA 5,000 次置换，TruthfulQA 1,000 次），Holm–Bonferroni 校正 α=0.05；95% bootstrap 区间（5,000 次重采样）。
• 训练/选择：LoRA 与 DART 在 MMLU auxiliary_train 的 5,000 条上训练；TruthfulQA 用 10 折交叉拟合重复 20 次，直接用 MMLU 上训练的适配器。

主结果

Llama-3.3-70B-Instruct、logits 协议（据 Figure 5 与 Table 1）：

表格较宽，可左右滑动

方法	MMLU AUC-EURO	MMLU AUROC	TruthfulQA AUC-EURO	TruthfulQA AUROC	AmbigQA smECE↓	AmbigQA AUC-EURO
Base	.753	.617	.710	.631	0.543	0.540
Steering	.770	.766	.745	.726	0.458	0.599
LoRA	.832	.838	.821	.880	0.127	0.777
Random DART	.834	.838	.820	.868	0.136	0.774
DART	.863	.840	.860	.878	0.090	0.778

• 作者称 base 模型的主要失效模式是过度自信，steering 只带来有限改善，DART 在更大置信度范围内让置信度与准确率对齐，且任务表现变化很小。
• 作者称这些趋势在不同家族、不同规模的模型上成立，DART 在多选 QA 上校准稳定优于标准 LoRA（附录 G）；Figure 14 中各模型在 logits 协议下多有 DART 相对 Base 的统计显著标记。
• AmbigQA 上 DART 的 EM 为 0.485、F1 为 0.596，低于 LoRA 的 0.519/0.628（Table 1），即开放生成上校准改善伴随一定任务指标下降。

随机子空间与概念对照

• 随机子空间 DART：把歧义子空间换成同秩随机子空间后校准仍优于 base，但作者报告 DART 用歧义方向时校准误差更低、AUC-EURO 更高（Figure 5、Figure 21）；作者据此认为歧义子空间本身有贡献。
• 情感方向对照：用 CAD 数据提取的情感方向做 steering，对校准的影响很小（Figure 20）。
• 随机方向 steering：与 20 个随机方向比较，歧义 steering 在部分设置下优于多数随机方向（如 MMLU logits 协议 1−smECE 上优于 12/20），但作者称这一优势在不同数据集和协议间并不稳定。

后验校准与 verbalized 协议

• 后验校准：temperature scaling 等四种方法大幅降低校准误差，且与 steering/LoRA/DART 可叠加；作者称叠加后常能进一步改善，但收益并非稳定可加（Figure 6、附录 H）。
• verbalized 协议：置信度校准整体远差于 logits 协议，各方法的改善也更小；Figure 16 显示 steering 接近 base，DART 只在 MMLU 上改善 AUC-EURO。Llama-3.1-8B-Instruct 在 AmbigQA 上经 LoRA 和 DART 后解析失败问题突出（按论文规定按答错且最高置信处理）。

其他消融与分析

• 选层位置：所有模型的最高选择性层都在偏早的中下层（Figure 11，如 Llama-3.3-70B 的 ℓ*=30/80 层）。
• token 位置：峰值选择性的位置因模型和 token 而异，作者固定使用 offset 1，因其对所有模型都落在中间层高选择性带内（Figure 12、13）。
• 定性示例：对 MMLU 例题加方向后模型输出提到潜在歧义、减方向后输出称无歧义（Figure 3、Table 5）；作者注明不判断这些输出质量，也不声称所得方向就是歧义的真实表示。
• 超参数选择：Llama-3.3-70B 在 MMLU logits 协议下选中 scopal 方向、强度 200%，LoRA/DART rank 均为 8（Table 3）。

作者指出的局限与后续方向

• 歧义的操作化只覆盖"一个输入有多重解读"这一种成分，未考虑开放域问题模糊性（vagueness）意义上的歧义（Limitations 节）。
• DART 的正面结果不一定意味着找回的是歧义本身的表示；作者称关于 LM 是否干净表示歧义的可解释性结论只能视为初步（Limitations 节）。
• 未显式对比歧义、不确定性（uncertainty）与难度（difficulty）三种表示；作者认为三者可能以不同方式中介置信度，结合它们可能带来更大改善，但未证明歧义表示一定优于其他概念表示（Limitations 节）。
• 作者解释未研究不确定性与难度表示的原因：隔离这些表示更困难、且可能更依赖具体被评模型（Limitations 节）。
• 作者计划 deanonymization 后发布数据和代码（脚注 2）。

实验覆盖范围

• 被测模型为 7 个指令微调模型：gemma-4-E4B-it、Qwen3.5-4B/27B、Llama-3.1-8B-Instruct、Llama-3.3-70B-Instruct、OLMo-3-7B-Instruct、Phi-4-mini-instruct（§4.1）。
• 基准为 MMLU、TruthfulQA（684 题）、AmbigQA（5,036 题评测）；歧义方向数据为 AMBIENT 转换的 907 训练对、226 验证对，仅四类歧义（Table 2）。
• 主文结果集中在 Llama-3.3-70B-Instruct，其余 6 个模型的结果在附录 G/H；作者称趋势在各模型间大体一致。
• 置信度协议为 logits 与 verbalized 两种；主评测聚焦 logits 协议，verbalized 结果在附录 G。
• 论文未报告各方法在全部模型上的完整数值表（附录结果以带误差棒的图形式给出，多数数值未标注）。

一篇可解释性驱动的校准论文：从 LM 激活中找输入歧义的线性方向，再用它约束微调来改善置信度估计。

• 问题：LM 的置信度不能准确预测其正确率；作者假设部分原因是模型未利用内部对输入歧义（aleatoric uncertainty）的编码。
• 方法：在 AMBIENT 的歧义/消歧最小对上按 pragmatic、lexical、scopal、syntactic 四类做 difference-in-means 提取方向，按"对歧义句影响大于消歧句"的选择性选层；提出 DART——LoRA 微调时惩罚歧义子空间外的激活变化，正则权重随模型对正确答案的置信度逐样本调整。
• 方向验证：所有被测模型的最高选择性层都在偏早中下层；定性示例中加减方向分别让模型输出提到或否认歧义（Figure 3）。
• 主结果（Llama-3.3-70B-Instruct、logits 协议）：MMLU 上 AUC-EURO 从 Base 的 .753 升至 DART 的 .863，TruthfulQA 从 .710 升至 .860（Figure 5）；AmbigQA 上 smECE 从 0.543 降至 0.090（Table 1）。作者称准确率在多选任务上基本不变，趋势在 7 个模型间大体一致。
• 对照：同秩随机子空间的 DART 也改善校准但弱于歧义方向；情感方向 steering 几乎不影响校准；verbalized 协议下各方法改善更小。
• 作者结论：DART 把校准改善编码进参数、免去推理期干预，但不能替代人工风险评估；作者强调其结果不代表找回的就是歧义的真实表示，也未与不确定性、难度表示对比。