可解释性 · 论文

• 定位：本研究从可解释性角度系统评估大语言模型激活引导去偏见技术，揭示其线性去偏见方向的核心属性是模型置信度而非社会公平性。
• 问题：激活引导在去偏见任务中常表现出泛化性差及损害常识准确率的问题，论文旨在探明对比偏见与反偏见提示词提取出的隐藏空间分离方向实际编码的内容。
• 方法：在四个模型家族八个模型上训练逻辑回归分类器并构建对比激活相加（CAA）去偏见向量，分析其在偏见和通用知识基准上的表征分布，并测试有无弃答选项下的引导效果。
• 结果：
  1. 偏见分类器在无偏见概念的 OpenBookQA 上区分高低概率选项达到最高 0.88 的 AUROC（Llama-3.1-8B-Instruct，Table 2）。
  2. CAA 去偏见向量与通用知识任务置信度向量的余弦相似度最高达 0.91（Qwen3.5-9B-Base 在 BBQ 与 MMLU 上，Table 3）。
  3. 有弃答选项时，引导使 Llama-3.1-8B-Instruct 在 BBQ 歧义集偏见分从 0.08 降至 0.01，但消歧集准确率从 0.87 降至 0.52，消歧偏见分保持在 0.02 至 0.04 不变（Table 4）。
  4. 无弃答选项时，引导使各选项概率趋向均分，StereoSet 与 CrowS-Pairs 偏见率下降伴随回答熵上升（Table 4）。
• 启示：作者指出激活引导降低偏见指标并非纠正了底层刻板偏好，而是降低模型置信度促使其弃答或概率均分的副产物，提示在 AI 安全中应审慎解释引导去偏见的结果。

• 定位与核心问题：本研究从机械可解释性视角切入，聚焦大语言模型在面对越狱攻击时内部处于静默状态的转码器特征，探讨越狱是否通过抑制安全关键特征而非单纯激活有害表征来绕过拒答。
• 核心方法：提出反事实激活潜能（CAP）指标，将编码器对齐度、归因抑制强度与消融安全关键性三者相乘，量化静默特征的激活倾向；并提出两阶段算法 CSFD，结合期望激活差与 Cohen's d 在无需穷举消融的前提下快速筛选候选特征。
• 因果有效性验证：在 5 款被测模型上，CSFD 筛选的候选特征中有 78% 至 100% 具有因果有效性，消融单个特征可使有害拒答翻转为顺从，翻转率最高达 82.5%（Gemma-3-4B-IT，Table 1）。
• 自然越狱与机制干预证据：在 PAIR 越狱攻击下，高 CAP 安全特征所受抑制强度上升 2 至 4 倍，激活下降达 80%（Qwen3-1.7B，Table 3）；在有害拒答提示词上仅放大抑制源 8 倍，即可使拒答翻转率达 0.29（Table 2）。
• 表征能力优于传统基线：基于 50 个候选特征的 CAP 分解探针在 Gemma-2-2B 上区分良性与拒答的 AUROC 达到 0.788，优于残差流拒答方向（DIM）的 0.546 及全特征原始激活的 0.668（Table 4）。
• 作者结论与启示：作者指出越狱攻击可部分通过抑制关键安全特征实现，拒答行为由多个特征构成的分布式回路介导；单独恢复任一特征难以恢复拒答，未来的安全解释性与防御设计需将注意力扩展至被抑制的静默特征。

这篇论文从内部表征与因果干预视角，系统研究了大语言模型在风险承担（Risk-Taking）场景下自我报告与实际决策脱节的根本机制。

本文是一项针对大语言模型拒绝机制与对齐浅层性的机械解释性研究。

• 定位与核心问题：论文针对机制可解释性中仅凭余弦相似度等相关性指标评估SAE特征恢复的不足，提出端到端因果干预验证框架。
• 核心方法与工具：构建可控合成瓶颈模型，对匹配特征执行消融（读）与带符号转向（写）干预，度量激活发生率与特异性比值，并开源审计工具 sae-causal-audit。
• 因果惰性与解离发现：在退化TopK SAE中77%（多线程）或17%（确定性流水线）的余弦达标特征从不激活；在良好SAE中亦有9%特征因果惰性，且余弦可达0.9998。
• 对跖对读写分离机制：5组对跖对特征证实了读写解离现象，其消融特异性为0但转向特异性达143至310，表现为无法监控但可被有效转向。
• 真实模型验证与碰撞：在GPT-2-small残差流SAE审计中发现14%（1/7）特征因果惰性，且单个原子同时成为多达8个无关概念的最近邻匹配。
• 实践启示：作者建议在安全部署中不可将未经因果验证的原始SAE特征直接用于自动化决策，监控与转向任务须分别进行读验证与写验证。

• 研究定位：论文对大语言模型的评估意识进行了涵盖内部隐层表征、外部言语化表达、因果激活导向及训练阶段演化的系统性实证研究。
• 核心问题与方法：针对评估意识可能导致基准测试失效的风险，论文利用16对微小差异的对比提示在残差流中提取线性探针，结合GPT-5.4评测言语化输出，并通过对比激活相加实施因果干预。
• 内部表征普遍可分：6个开源模型（7B至49B）在峰值层的线性探针AUROC均超过0.70，表明模型隐层状态普遍保留了评估与部署语境的区别。
• 言语化极少且呈弱耦合：未干预下所有模型超过93.90%的生成无评估意识言语化（Score 0），且单条提示词的探针得分与裁判打分的Spearman秩相关绝对值均低于0.19，互信息低于0.04 nats。
• 因果干预与后训练稳定机制：沿探针方向注入负向导向可使言语化得分提升0.2至1.5分；Olmo3在SFT后探针方向余弦相似度达到0.998以上并在此后阶段保持稳定。
• 启示与结论：作者认为评估意识是模型的实证能力，内部表征与外部言语化存在解耦，单纯依赖言语化或单一指标无法全面反映模型对受测状态的响应，评测需兼顾多重维度。

• 论文定位：本文是一份针对大语言模型因果可解释性研究的方法学检验与校准指南。
• 试图解决的问题：大模型因果可解释性测量（如投影、余弦、修补和归因）常常在产生合理读数的同时隐藏假象，导致研究者将仪器失真误读为真实的机理发现。
• 方法核心要点：作者确立了四项可解释性操作规范，包括使用正对照阶梯校准仪器辨别力、引入正交任务单元排除输出饱和假象、在消耗算力前依据组内方差预先评估检验功效，以及依据决策承诺深度对齐跨层与跨模型对比。
• 关键实证结果：
  1. 在 OLMo-3-7B-Instruct、Qwen2.5-7B、Llama-3.1-8B 和 GPT-OSS-20B 四款架构上，决策位点有效维度均收缩至 8.6 到 14.7 之间，仅占打乱列基准的 4.1% 至 8.4%（Table 1）。
  2. 在后归一化架构 OLMo-3 上，朴素线性归因求和测得的重构率达到 3.05，而在精确折叠 RMSNorm 增益后校准为 0.9999（Section 3.4）。
  3. Llama-3.1 在读出层（Layer 16）测得的不对称度 A 为 +0.82，在对齐至决策形成前的连贯层（Layer 12）后修正为 -0.28（Figure 3）。
• 作者结论与启示：作者认为可解释性研究中的数值不能直接等同于因果机制，研究人员在采信测量结论之前必须建立仪器自检流程，通过公开修订记录与可追溯账本避免伪影被误写入科学结论。

• 定位与核心问题：论文针对 AI 安全中利用思维链（CoT）监控审计模型未预期计算的有效性，从计算复杂度和信息论视角研究 Transformer 隐藏推理的能力边界与监控可行性。
• 理论核心机制：研究表明定精度 Transformer 在进行超越内部容量的隐蔽计算时，必须在思维链中泄露关于隐蔽输入的近线性互信息足迹；若试图隐藏在公开任务之后，则必须承担额外的长度税或通过搭便车泄露关联；但在密码学 PRG 假设下，单层网络可利用私有随机性在线加密思维链。
• 微调长难度结果：在 128–255 比特 Parity 任务中，Qwen2.5-7B 的 Vanilla 准确率为 48.7%，而 Piggybacking 和 Special Tokens 分别达到 99.0% 和 94.8%（Table 6）；在 19 步 S5 任务中，Llama-3.1-8B 的 Vanilla 准确率为 35.2%，而两类信息足迹机制均达到 98.7% 以上（Table 6）。
• 无 CoT 容量线性缩放：在对 Qwen 3.5、Mistral 3 等 5 个模型家族的零样本评测中，模型在无 CoT 条件下所能解决的最大任务难度与参数量对数呈现强线性关系，例如 Qwen 3.5 在乘法任务上的线性拟合判定系数为 0.90（Figure 3）。
• 单层在线加密可行性：基于 Goldreich 伪随机生成器从头训练的单层 128 宽 Transformer，在 4 至 1024 比特 Parity 任务上均实现 99.8% 以上的测试准确率，而在相同架构下无 CoT 和 Filler 对照在 32 比特时即降至约 50% 随机几率（Table 15、Table 16）。
• 作者启示与结论：作者指出 CoT 监控在应对计算复杂的隐蔽目标时最为有效，安全研究应致力于将模型置于推理需求超出其单次容量的环境中；同时黑盒监控存在被加密思维链绕过的根本局限，未来需进一步研究白盒内部表征监控与语义隐写防御。

• 定位与核心问题：论文针对检索与工具环境下的权威偏差，研究语言模型对标注为验证来源的错误信息顺从是否与对用户的阿谀迎合属于同一内部机制。
• 方法设计要点：通过对比正确与错误源背书激活提取权威方向并剔除助手轴分量，结合残差流投影移除以及基于线索跨度差值的双向归因补丁，在保持题目文本不变的前提下实施因果干预。
• 权威偏倚普遍存在：在 8 款模型中，单句验证源背书使 7 款模型的基准正确回答翻转 44.7%–87.5%（OLMo-3.1 达 82.9%，Grok-4.20 达 87.5%，Gemini-3.1-Pro 为 0.6% 离群），且顺从率随来源权威语气强化而递增。
• 因果机制双向分离：在 Qwen3.5、GPT-OSS 和 OLMo-3.1 中，移除源方向使错误来源顺从率下降 64.3–77.5 个百分点，而移除用户方向则主要降低用户迎合；归因补丁使来源与用户的顺从率差距收窄 55%–61%。
• 跨任务迁移与针对性防御：权威向量可迁移至多轮 SYCON 对话，使 GPT-OSS 妥协率从 39% 升至 91%；正交移除权威方向后，Qwen3.5 在 TriviaQA 的错误顺从率从 42.7% 降至 5.2%，且 300 题 MMLU-Pro 和 200 题 GSM8K 检验未检测到能力损失。
• 作者结论与启示：作者认为，源依从与用户迎合在表征上不可相互替代；随着模型日益依赖检索与工具，安全评估与对齐应建立独立的来源权威偏倚评测与缓解基线，而非直接套用用户阿谀基准。

• 定位与核心问题：论文通过因果干预评估大语言模型思维链的因果承重性，探讨中间推理步骤在何种情况下真正约束最终答案，从而厘清基于思维链进行安全监控的有效前提。
• 方法设计：提出基于续写的因果测试协议，在模型正确的多步推理前缀中扰动单步并截断，强制模型续写，依据答案与推导过程将行为划分为静默旁路、自我修正与错误传播三类，并结合隐状态探针与激活引导检验其机制。
• 任务难度主导承重性：在 Gemma-2-9B-IT 上，错误传播率从 GSM8K 的 3.9% 升至 BBH 的 40.9%，且在 MMLU 29 个子科目间呈现 7 倍跨度（7.5% 至 53.7%）；在特定分桶和进入顺序的序贯模型中，难度项占已解释离差的98.8%，不等于全部变异解释率，扰动类型仅占 0.8%。
• 跨模型规律与后训练影响：Llama-3.1-8B-Instruct 以更低的基线准确率复现了难度梯度（总体错误传播率达 57.2%）；而强化学习蒸馏模型 DeepSeek-R1-Distill-Qwen-7B 表现出更低的错误传播率（GSM8K 为 5.1%、BBH 为 16.8%），作者将此与后训练的自我验证习惯联系起来；模型、筛选和解码条件不同，不能作为后训练因果效应的干净比较。
• 表征可读但加性控制受限：隐状态线性与 MLP 探针能够预测行为模态（Gemma 错误传播检测准确率达 86.2%），但在 11,556 次单向加性激活引导实验中均未诱发行为翻转，仅 8 向量基引导对错误传播呈现 24.6% 的部分翻转。
• 安全启示：作者指出思维链承重性随任务难度变化为安全监控带来结构性困扰：简单任务中模型旁路推理使监控缺乏信号，困难任务中错误快速级联使干预窗口变窄；未来的监控与防护策略必须基于任务难度校准对思维链的信赖程度。

通过对 17 个指令微调模型进行逐层表征相似度与因果干预分析，探索系统提示词在模型内部究竟如何重构计算。