研究：LLM 潜在空间去偏方向主要编码置信度而非公平性

论文试图解决的核心问题是：在大语言模型激活空间中线性分离偏见与反偏见提示词所得到的去偏见方向，实际编码的究竟是语义偏见还是其他属性。

• 场景与重要性：大语言模型常从预训练数据中继承社会偏见，而在推理期通过激活引导（Activation Steering）对残差流添加引导向量是一种轻量级去偏见手段（Sec. 1）。
• 现有方法的不足：既有研究报告引导向量泛化能力较差，且存在对通用知识任务准确率产生意外影响、向新数据集迁移效果有限等问题，表明底层引导向量可能并未编码全局偏见方向（Sec. 1）。
• 核心观察与假设：作者提出假设并观察到，中间层中偏见与反偏见提示词的线性可分性主要由词元之间的似然差异主导，分离向量指向隐藏空间中从高似然到低似然的区域（Sec. 1、Sec. 4）。
• 论文的研究与发现：作者系统分析了线性偏见分类器与对比激活相加（CAA）去偏见向量，发现去偏见方向主要表征模型置信度；沿该方向引导并未纠正模型的刻板偏好，而是促使模型在有选项时选择弃答、无选项时均分概率（Sec. 1、Sec. 5）。

激活引导及其鲁棒性

• 行为引导应用：Li et al. (2023) 与 Rimsky et al. (2024) 等工作将激活引导应用于使模型偏向或远离阿谀奉承、幻觉、拒答和真实性等行为。
• 引导鲁棒性质疑：Pres et al. (2024) 指出引导常基于概率输出进行评估从而掩盖真实效果，主张基于底层词元概率分布评估；Tan et al. (2024) 分析引导向量的可靠性，指出激活引导并非通用的鲁棒行为控制工具。
• 置信度与拒答联系：Lu & Rimsky (2024) 发现偏见引导向量与拒答引导向量负相关，朝向偏见引导会触发拒答；Kumaran et al. (2026) 发现模型置信度与模型在有“我不知道”选项时弃答似然之间存在因果关系，朝向较低置信度引导直接影响弃答率。作者称本文建立在置信度与弃答的联系之上。

推理期去偏见

• 去偏见引导方法：FairSteer (Li et al., 2025)、Lu & Rimsky (2024) 和 Siddique et al. (2026) 等方法通过对比偏见和无偏提示词的激活定义去偏见方向，并在推理期用于引导模型以减少生成词元中的偏见。
• 迁移性与能力折损：作者指出这些方法在其目标偏见基准上表现良好，但向其他数据集迁移的能力有限（Siddique et al., 2026），且引导干预会损害不相关能力上的性能（Durmus et al., 2024）。作者称本文从模型激活层面理解这些行为，展示所学去偏见方向主要编码置信度而非偏见。

偏见与似然

• 基于似然的偏见度量：Nadeem et al. (2021)、Nangia et al. (2020) 与 Parrish et al. (2022) 将似然作为模型偏见的诊断指标；Nangia et al. (2020) 计算模型在微小对比的刻板与反刻板句子对上的相对对数似然，Barikeri et al. (2021) 提出基于陈述与其反事实变体间平均困惑度差异的偏见指标。
• 作者定位区别：作者称既有工作确立了可用似然检测偏见，而本文的贡献是将该现象与模型激活空间的内部几何联系起来，指出激活引导中通常被认为代表偏见的线性方向主要代表模型置信度。

基线方法与基准

• 基线方法与基准：评估基于 Contrastive Activation Addition（CAA，Rimsky et al., 2024）方法，使用 BBQ（Parrish et al., 2022）、StereoSet（Nadeem et al., 2021）和 CrowS-Pairs（Nangia et al., 2020）偏见基准，以及 MMLU（Hendrycks et al., 2021）和 OpenBookQA（Mihaylov et al., 2018）通用知识基准。

整体思路是训练线性分类器探究偏见在隐藏空间中的表征特性，并通过对比激活相加（CAA）构建去偏见引导向量，在偏见和通用知识基准上对比其与模型置信度方向的重合度及引导干预效果。

问题设定与数据格式化

• 偏见数据集构建：使用 BBQ（15,960 题，含歧义与消歧上下文）、StereoSet 词内子集（2,106 题）和 CrowS-Pairs 仅差单词的句子对（1,018 题并转换为问答形式），各按 70% 训练集和 30% 测试集划分（Sec. 3、附录 A.1）。
• 训练样本选择：训练分类器时仅使用偏见和反偏见选项，剔除中性/不相关选项；作者称理由是中性选项对应弃答信号容易被简单学习，且限制为两选项可推广到 StereoSet 和 CrowS-Pairs（Sec. 4.2）。
• 表征提取方式：在提示词末尾追加候选答案字母（A、B 或 C），取最后一个词元的隐藏状态以保证其条件化于完整上下文；对指令微调模型，提示词包裹在对话模板中并将结尾指令显式修改为仅回答字母（附录 A.2）。

线性偏见分类器与最佳层选择

• 分类器训练：在每个模型各层的末尾词元隐藏状态上训练逻辑回归分类器，偏见概率计算公式为 P(biased) = σ(w · h + b)，其中 h 是最佳层隐藏状态，σ 表示 Sigmoid 函数（Sec. 4.2）。
• 层选择策略：不预先固定单层，而在保留测试集上评估每层 AUROC，选取 AUROC 最高的一层作为最佳层（Table 6）；作者观察到偏见的线性可分性在多数模型中间层达到峰值。

CAA 去偏见向量与置信度向量

• CAA 引导向量构建：在最佳层上计算反偏见与偏见隐藏状态的均值差，计算公式为 v_b = 1/N ∑_i=1^N (h_i^anti-biased − h_i^biased)，其中 h_i 为训练样本末尾词元隐藏状态，N 为样本对数（Sec. 5.1）。
• 通用置信度向量构建：在无社会偏见概念的 MMLU 和 OpenBookQA 上，以相同方式计算最高概率选项与最低概率选项隐藏状态的均值差得到置信度向量 v_c，用于与 v_b 进行余弦相似度对比（Sec. 5.1）。

推理期激活引导干预

• 引导实施方式：在推理期将归一化去偏见向量按比例加到最佳层隐藏状态上，即 h' = h + α \hat{v}_b；测试 α 从 -1 到 2（步长 0.5），引用单值时若自然模长 α_nat > 1 则采用自然模长，否则设为 1（Sec. 5.1）。
• 评测格式设计：评测包含提供弃答选项（BBQ 原生格式，以及向 CrowS-Pairs 和 StereoSet 插入 BBQ 风格中性选项）与不提供弃答选项（BBQ 剔除中性选项，以及 CrowS-Pairs 和 StereoSet 原生格式）两种格式，采用贪婪解码生成答案（Sec. 3、Sec. 5.1）。

实验设置

• 被测模型：测试四个开源模型家族共八个模型，包括 Llama-3.1-8B、Llama-3.1-8B-Instruct、Falcon3-7B-Base、Falcon3-7B-Instruct、Qwen3.5-9B-Base、Qwen3.5-9B、Ministral-3-8B-Base、Ministral-3-8B-Instruct（Sec. 3）。
• 数据集与规模：偏见评估使用 BBQ（15,960 条）、StereoSet（2,106 条）和 CrowS-Pairs（1,018 条），按 70%/30% 划分训练和测试集；通用知识测试使用 MMLU（10,000 条子集）和 OpenBookQA（全部约 6,000 条）（Sec. 3、附录 A.1）。
• 基线与设置：基线为未引导状态（α = 0）；引导状态使用 α̃（自然模长 α_nat > 1 时取自然模长，否则取 1）（Sec. 5.1）。
• 指标定义：线性分类器评估采用 AUROC；生成评估采用准确率（Accuracy，仅针对有标准答案的数据集）、回答熵（Entropy）、BBQ 歧义偏见分（s_AMB）、BBQ 消歧偏见分（s_DIS）以及 StereoSet 和 CrowS-Pairs 偏见回答百分比（Sec. 3、附录 A.3）。
• 解码与判定：所有问答实验均采用贪婪解码（Greedy decoding）生成答案（Sec. 3）。

主结果

据 Table 4，在各模型原生数据集格式下，引导前（α=0）与引导后（α̃）的偏见分与准确率如下：

表格较宽，可左右滑动

• 歧义偏见分下降伴随消歧准确率下降：作者解读称，BBQ 歧义集偏见分 s_AMB 下降主要是弃答增多提高歧义集准确率后通过 (1 - accuracy) 乘积缩放导致的，而消歧集准确率因弃答大幅下降（Llama-3.1-8B-Instruct 从 0.87 降至 0.52）。
• 消歧偏见分保持平坦：不依赖弃答率的消歧偏见分 s_DIS 在引导下在所有模型上基本持平（Table 4），作者称这说明引导并未改变模型对偏见与反偏见答案的底层偏好。
• 无弃答时偏见率下降伴随回答熵上升：在无弃答选项的 StereoSet 和 CrowS-Pairs 上偏见百分比下降，伴随回答熵上升（如 Llama-3.1-8B-Instruct 在 StereoSet 熵从 0.40 升至 0.55，Table 4）。

偏见方向与通用置信度方向的对齐分析

• 分类器偏见分与模型概率的相关性：在 BBQ 消歧上下文中，线性分类器打分 P(biased) 与模型赋予选项概率之间的 Spearman 相关系数显著增强，全模型范围从歧义集的 0.01–0.45 提升至消歧集的 0.57–0.80（Table 1）。
• 零偏见数据集上的高分类准确率：偏见分类器在无偏见概念的通用知识基准 MMLU 和 OpenBookQA 上区分最高与最低概率选项时，获得高达 0.88 的 AUROC（Llama-3.1-8B-Instruct 在 OpenBookQA 上，Table 2）。
• 去偏见向量与置信度向量高度共线：CAA 去偏见向量与通用任务置信度向量的余弦相似度在 0.29 至 0.91 之间，最高达到 0.91（Qwen3.5-9B-Base 在 BBQ 与 MMLU 上，Table 3）。

激活引导对弃答、准确率与熵的影响

• 有弃答选项时概率向弃答集中：中性选项与反偏见选项的概率比随引导强度增大而上升，Llama-3.1-8B-Instruct 在 BBQ 歧义集上由 5.51 升至 21.90，在消歧集上由 0.22 升至 1.82（Table 8）。
• 无弃答选项时概率均分：偏见与反偏见选项的概率比趋近于 1，如 Llama-3.1-8B-Instruct 在 CrowS-Pairs 上由 2.04 降至 1.27（Table 10）。
• 机制类似温度缩放：作者解读称无弃答选项时引导将模型推向隐空间的低置信度区域，使剩余选项概率趋向均等并推高回答熵，类似温度大于 1 的缩放（Sec. 5.2）。

通用知识任务上的非针对性干扰

• 回答熵大幅上升：在 MMLU 和 OpenBookQA 上施加去偏见引导导致回答熵普遍上升，例如 Qwen3.5-9B 使用 StereoSet 方向使 OpenBookQA 熵从 0.24 翻倍至 0.50，MMLU 熵由 0.34 升至 0.61（Table 5）。
• 通用任务准确率轻微受损或持平：八个模型在三组引导方向下的通用任务准确率大多持平或略降，最大降幅为 Llama-3.1-8B-Instruct 在 OpenBookQA 上从 0.76 降至 0.70（Table 5）。

其他消融与分析

• 各模型在 StereoSet 和 CrowS-Pairs 上的最佳 AUROC 普遍高于 BBQ 歧义集约 0.15–0.25（Table 6）。
• 各模型最佳分类层多集中在中间层第 13 至 22 层，唯独 Qwen3.5-9B-Base 出现在第 26–30 层（Table 6）。
• CAA 向量未缩放自然模长在各模型和数据集间差异显著，范围为 0.10 至 20.27（Table 7）。
• BBQ 消歧集上偏见与反偏见选项的平均概率比在引导前后基本保持不变（Table 9）。

负面结果与例外

• Qwen3.5-9B-Base 引导无效：该模型在 BBQ 上最佳 AUROC 出现在最后一层（第 30 层，Fig. 3 / Table 6），在此层施加引导后无后续层传播，Table 4 中所有指标数值引导前后完全不变。
• 跨数据集分类器迁移不一致：StereoSet 和 CrowS-Pairs 训练的分类器迁移至 BBQ 消歧集时的置信度可分性低于 BBQ 训练的分类器（Table 2）。

作者指出的局限与后续方向

• 寻找独立于置信度的去偏见方向：作者指出未来工作将研究能否找到独立于模型置信度的去偏见方向（Sec. 6）。
• 探究置信度混淆在其他去偏见技术中的影响：作者指出未来需研究该混淆效应是否会影响激活引导之外的推理期去偏见技术（Sec. 6）。
• 考察其他 AI 安全引导向量的普遍性：作者指出未来需要更广泛地研究该效应在基于线性表征假设的其他引导向量中的普遍程度，特别是在 AI 安全背景下使用的引导向量（Sec. 6）。

实验覆盖范围

• 模型覆盖范围：评测覆盖 Llama-3.1-8B、Falcon3-7B、Ministral-3-8B 和 Qwen3.5-9B 四个家族的 Base 与 Instruct 变体共 8 个开源模型（Sec. 3）。
• 数据集覆盖范围：偏见评估覆盖 BBQ、StereoSet 和 CrowS-Pairs 三个多项选择数据集；通用能力评估覆盖 MMLU 和 OpenBookQA（Sec. 3）。
• 解码方式覆盖范围：所有问答实验均采用贪婪解码（Greedy decoding）生成答案（Sec. 3）。
• 引导方法覆盖范围：引导干预仅测试了对比激活相加（CAA），论文未报告其他引导方法（如基于梯度的方法）或黑盒闭源模型（Sec. 5.1）。

• 定位：本研究从可解释性角度系统评估大语言模型激活引导去偏见技术，揭示其线性去偏见方向的核心属性是模型置信度而非社会公平性。
• 问题：激活引导在去偏见任务中常表现出泛化性差及损害常识准确率的问题，论文旨在探明对比偏见与反偏见提示词提取出的隐藏空间分离方向实际编码的内容。
• 方法：在四个模型家族八个模型上训练逻辑回归分类器并构建对比激活相加（CAA）去偏见向量，分析其在偏见和通用知识基准上的表征分布，并测试有无弃答选项下的引导效果。
• 结果：
  1. 偏见分类器在无偏见概念的 OpenBookQA 上区分高低概率选项达到最高 0.88 的 AUROC（Llama-3.1-8B-Instruct，Table 2）。
  2. CAA 去偏见向量与通用知识任务置信度向量的余弦相似度最高达 0.91（Qwen3.5-9B-Base 在 BBQ 与 MMLU 上，Table 3）。
  3. 有弃答选项时，引导使 Llama-3.1-8B-Instruct 在 BBQ 歧义集偏见分从 0.08 降至 0.01，但消歧集准确率从 0.87 降至 0.52，消歧偏见分保持在 0.02 至 0.04 不变（Table 4）。
  4. 无弃答选项时，引导使各选项概率趋向均分，StereoSet 与 CrowS-Pairs 偏见率下降伴随回答熵上升（Table 4）。
• 启示：作者指出激活引导降低偏见指标并非纠正了底层刻板偏好，而是降低模型置信度促使其弃答或概率均分的副产物，提示在 AI 安全中应审慎解释引导去偏见的结果。