表示工程：实现AI透明度的自上而下方法

核心问题：深度神经网络尤其是 LLM 的内部机制缺乏透明度，现有以神经元和电路为分析单元的自下而上方法难以解释和控制诚实、无害、权力寻求等高层认知现象。

• 问题场景与重要性：作者指出，LLM 正部署于医疗、教育、社交等领域，但人们对其内部工作方式知之甚少，只能当作黑盒；更高的透明度有助于理解决策、追责并发现错误关联或隐藏能力等隐患（Section 1）。
• 现有方法的不足：作者认为，机制可解释性（mechanistic interpretability）对应认知神经科学中的 Sherringtonian 观点，以神经元间连接为分析单元，在解释简单机制上成功，但难以扩展到更复杂的现象；且识别电路需要大量人工，ResNet 对整层移除的鲁棒性等证据与纯电路解释不相容（Section 2.2）。
• 核心观察与假设：作者借鉴 Hopfieldian 观点——认知是表征空间的产物，由神经元群体的活动模式实现；论文假设许多安全相关概念和功能在 LLM 表征中自然涌现，因而可以直接在表征层面读取和操纵（Section 1、2.1）。
• 论文提出的内容：作者提出表征工程（RepE）这一自上而下的透明度研究路径，给出表征读取基线 LAT 和多种表征控制基线（Reading Vector、Contrast Vector、LoRRA），并在诚实、效用、道德与权力、情绪、无害性、公平性、知识编辑、记忆化等安全相关问题上做初步分析（Section 3–6）。

表征中的涌现结构

• Mikolov et al. (2013)、Bolukbasi et al. (2016)、Schramowski et al. (2019)——词嵌入和文本嵌入中出现语义组合性、性别偏见和道德维度；Radford et al. (2017) 发现训练预测下一个 token 会涌现情感追踪神经元。
• McGrath et al. (2022) 发现下棋 RNN 习得人类棋类概念；视觉中自监督与生成训练涌现出语义分割、局部坐标、深度追踪等结构（Caron et al., 2021; Oquab et al., 2023; Karras et al., 2021; Chen et al., 2023）。

可解释性方法

• Saliency maps（Simonyan et al., 2013 等）——高亮输入中网络关注的区域；论文指出其可靠性受到质疑（Adebayo et al., 2018 等），且对内部表征的洞察有限。
• Feature visualization（Erhan et al., 2009; Nguyen et al., 2016 等）——构造高激活输入解释神经元；论文指出其未考虑表征的分布式本质。
• Mechanistic interpretability（Olah et al., 2020; Olsson et al., 2022; Wang et al., 2023a; Lieberum et al., 2023）——把网络逆向工程为电路；论文指出其需要大量人工，且与 ResNet/LLM 的迭代细化和自我修复证据不相容（Veit et al., 2016; McGrath et al., 2023）。

概念定位与编辑

• 概念定位与探针：Network Dissection（Bau et al., 2017）、TCAV（Kim et al., 2018）、线性分类探针（Guillaume Alain, 2017; Belinkov, 2022）；图像生成模型潜空间中的概念编辑（Bau et al., 2019; Shen et al., 2020 等）。
• LLM 中的事实定位与编辑（Meng et al., 2023a;b; Hernandez et al., 2023）与概念擦除（Belrose et al., 2023b; Ravfogel et al., 2023 等）。
• 真实性与激活引导：Burns et al. (2022) 的 CCS 用逻辑一致性发现真实性表征；Azaria & Mitchell (2023) 在隐藏层训练分类器识别陈述真假；Li et al. (2023c) 用激活编辑提升真实性；Turner et al. (2023e) 的 ActAdd 用单个刺激的激活差向量引导行为；Rimsky (2023a;b;c) 用激活工程做红队和减少谄媚。

基线与基准：论文在 TruthfulQA MC1 上以 ActAdd 变体为控制基线（Table 2），在编码器任务上以 CCS 为基线（Table 10），效用实验比较 PCA、K-Means、Mean Difference、Logistic Regression、Prompt Difference 等线性模型（Figure 12）。

作者将本文定位为：在这些工作基础上提出改进的 RepE 方法，与 activation engineering 的区别是同时从读取和控制实验中获得洞察，并引入 representation tuning（LoRRA）（Section 1、2.3）。

整体思路是把表征（而非神经元或电路）作为分析单元，分表征读取（Representation Reading）和表征控制（Representation Control）两部分，各给出基线方法（Section 3）。

表征读取：LAT 基线

• 三步流程：Linear Artificial Tomography（LAT）仿照神经影像，包含（1）设计刺激与任务、（2）收集神经活动、（3）构造线性模型（Section 3.1.1，Figure 4）。
• 概念任务模板：为激发陈述性知识，向模型呈现概念程度不同的刺激并询问该概念；论文全程默认无监督，不使用标签，认为无标注或模型自生成的刺激可避免标注偏差（Section 3.1.1）。
• 函数任务模板：为激发程序性知识，设计需要执行目标功能（如诚实）的实验任务和不需要的参照任务，默认用通用指令微调数据（Taori et al., 2023）作刺激；函数分析聚焦 chat 模型。
• 神经活动收集：概念取任务模板中 −1 token 位置（默认最后一个 token）的表征，A_c = {Rep(M, T_c(s_i))[−1] ∣ s_i ∈ S}；函数则取模型回复每个 token 位置的表征，因为生成每个新 token 都需调用该功能（Equation 1–2，Figure 5 显示概念 token 与最后 token 在中后层准确率最高）。
• 线性模型构造：默认无监督 PCA，对配对的神经活动差向量做主成分分析，取第一主成分作为 reading vector v，预测用表征与 v 的点积；刺激集规模通常 5 到 128 条（Section 3.1.1，附录 C.1）。

读取结果的评估方法

• 四类实验：Correlation（相关性，看分布内外预测准确率）、Manipulation（操纵，验证因果效应）、Termination（终止，移除后测性能下降，类比损伤研究）、Recovery（恢复，移除后重新引入测恢复，类比遗传学救援实验）（Section 3.1.2）。
• 证据层级：作者强调 LAT 只提供相关性证据，因果或更强结论需要后三类实验；论文后续主要做相关性和操纵实验。

表征控制：三类控制器

• Reading Vector：直接用 LAT 得到的向量，但与刺激无关、对所有输入同向扰动，作者认为这可能使其控制效果较弱。
• Contrast Vector：同一输入分别用一对对比提示词前向，取两表征之差；随输入变化，作者称其为更强的基线，但推理时需额外计算，且多层同时修改需从最早层起逐层重算以避免级联效应（Algorithm 1 第 10 行）。
• LoRRA：Low-Rank Representation Adaptation，在注意力权重（query 和 value）上挂低秩适配器，以对比向量构造的表征目标做微调损失（Algorithm 1）；控制器可合并进模型，推理无额外开销。

控制算子与成功判定

• 三种算子：线性组合 R′ = R ± v（刺激或抑制）；分段操作 R′ = R + sign(Rᵀv)v（条件性放大）；投影 R′ = R − (Rᵀv/‖v‖²)v（消除 v 方向分量）（Section 3.2.1）。
• 判定方式：读取效果用分类准确率；控制效果用行为层面的反事实变化（如是否说谎、是否拒答、补全是否复述原文），部分实验用情感分类器作代理评分（Section 5.1.1）。

实验设置

• 被测模型：LLaMA-2-Chat-7B/13B/70B（主实验）、LLaMA-2-7B Base（附录 B.8）、Vicuna-13B（无害性）、Vicuna-33B-Uncensored（诚实与道德监测）、Vicuna-33B（生成后果）、microsoft/deberta-xxlarge-v2-mnli（编码器任务）、openai/clip-vit-base-patch32（情绪，附录 B.5）。
• 数据集/基准：TruthfulQA（MC1）、ARC-e/ARC-c、OpenbookQA、CommonSenseQA、RACE、ETHICS（Utilitarianism 与 Commonsense Morality）、Pan et al. (2023) 的 power 数据集与 MACHIAVELLI（30 局测试游戏）、AdvBench 64 条有害指令 + ShareGPT 64 条良性指令、Zou et al. (2023) 的 500 条有害指令、StereoSet、Alpaca、Ferg-DB、GPT-4 生成的 1200 余条情绪场景、人工整理的 100 余条半完成名言。
• 基线：zero-shot 标准评测与启发式评分（Table 1）、few-shot prompting（Table 9）、CCS（Table 10）、ActAdd 变体（Table 2）、随机向量与正向加向量（Table 7）。
• 指标与判定：分类准确率；TruthfulQA 用答案对数概率；情绪实验用代理情感分类器；无害性用 helpful rate（服从良性指令频率）与 harmless rate（拒绝有害指令频率）；记忆化用 Exact Match 与 Embedding Similarity。
• 重复次数：TruthfulQA 的 LAT 结果为 15 次试验的均值与标准差（Table 8）；QA 基准 LAT 为 10 次试验均值（附录 B.1）。

主结果

TruthfulQA MC1 准确率（%，据 Table 1 与 Table 2）：

表格较宽，可左右滑动

模型	Standard	Heuristic	LAT（S1/S2/S3）	ActAdd	Reading	Contrast	LoRRA
7B-Chat	31.0	32.2	55.0/58.9/58.2	33.7	34.1	47.9	42.3
13B-Chat	35.9	50.3	49.6/53.1/54.2	38.8	42.4	54.0	47.5
70B-Chat	29.9	59.2	65.9/69.8/69.8	未报告	未报告	未报告	未报告

• 作者称 LAT 超过两种零样本方法，且三种刺激来源（少至 10 例）得到相近表现，说明模型内部存在一致的真实性概念；作者认为更大的模型有更好的内部真实性模型，低零样本准确率很大程度上源于模型"明知故犯"的不诚实（Section 4.1）。
• 作者称 Contrast Vector 在 TruthfulQA 上达到 state-of-the-art，但推理算力开销超过 3 倍；LoRRA 开销可忽略（Table 2 表注）；作者称控制后 13B 模型在该数据集上接近 GPT-4 的表现。
• 引言称诚实控制使 TruthfulQA 零样本准确率提升 18.1 个百分点并超过所有先前方法。

诚实监测与说谎检测

• 测了什么：用 Azaria & Mitchell (2023) 的真陈述做刺激提取诚实函数向量，在诚实/说谎场景上做 token 级监测（Figure 8、9、23）。
• 结果：reading vector 在区分被指示诚实或不诚实的留出样本上准确率超过 90%；检测器用中间 20 层求和，能标记有意说谎、幻觉和误导性表达；在成绩场景中，模型输出 D- 时 logits 显示 A/B/C/D 概率分别为 11.3%、11.6%、37.3%、39.8%（Section 4.3.2）。
• 作者解读：作者认为诚实/不诚实倾向在 LLM 中呈分布式，检测器也会标记与说谎相关的思考过程，这使测谎更复杂，全面评估留待未来研究。

效用、道德与权力

• 线性模型比较（Figure 12）：在 ETHICS Utility 上比较六种线性模型；作者报告 Logistic Regression 相关性最高但几乎无操纵效果，PCA、K-Means 与 Mean Difference 在相关、操纵、终止三类实验中表现均衡。
• LAT 五任务准确率（Table 11）：Utility 81.0、Morality 85.0、Power 72.5、Probability 92.6、Risk 90.7。
• MACHIAVELLI（Table 3）：对 LLaMA-2-Chat-7B/13B 用 LoRRA 控制 immorality 与 power-seeking；7B 上 −Control 将 Power 从 106.2 降至 100.0、Immorality 从 100.2 降至 93.5，Reward 从 19.5 微降至 19.4；13B 上 −Control 将 Immorality 从 96.6 降至 92.4，Reward 从 17.7 升至 18.8。作者称负向控制降低不道德与权力寻求得分，且对游戏 Reward 干扰很小。
• 概念组合性（Figure 16）：用提取的概率与效用概念按公式合成风险，与直接提取的风险概念呈正相关，早层更明显；作者称这提示概念表征存在连贯的内部结构。

情绪、无害性、公平、编辑与记忆化

• 情绪（Figure 18、Table 4）：t-SNE 显示六种情绪在 LLaMA-2-Chat-13B 中后层逐渐形成分开的簇；向模型加 Happiness 向量后，对 500 条有害指令的服从率从 0.0% 升至 100.0%，加 Sadness 仍为 0.0%；作者认为情绪操纵可能被用来绕过对齐。
• 无害性（Table 5）：Vicuna-13B 上 harmfulness 向量对留出有害/良性指令分类准确率超过 90%，在人工越狱和 GCG 对抗后缀下仍保持超过 90%；piece-wise 控制在 GCG 攻击下 harmless rate 从 16% 升至 83%、helpful rate 92%（平均 87.2%），线性组合则过度拒绝良性指令（helpful rate 降至 92.5% 中的 86）。
• 公平（Table 6、Figure 25）：仅用种族偏见刺激提取的向量做负向控制后，LLaMA-2-Chat-13B 生成结节病病例时女性提及率从 97.0% 降至 55.0%、黑人女性从 60.0% 降至 13.0%；作者称这提示提取到的是更统一的偏见表征。
• 知识编辑（Figure 21）：用 LAT 向量将"埃菲尔铁塔在巴黎"改为"在罗马"，模型在新问法下仍保持修改且不影响卢浮宫位置；作者称展示了泛化性与特异性。
• 记忆化（Table 7）：名言补全任务上，减去记忆方向后 EM 从 89.3% 降至 47.6%（LATQuote）、SIM 从 96.8% 降至 69.9%；随机向量或正向加向量几乎无影响；历史事件年份准确率从 97.2% 微降至 96.2%，作者称该向量对应逐字记忆而非世界知识。

其他消融与分析

• QA 基准（Table 9）：LAT 在五个基准上平均 59.2–86.4，多数超过 few-shot，例外是 7B 的 RACE（45.9 对 46.2）和 70B 的 CSQA（75.1 对 78.5）。
• 编码器任务（Table 10）：DeBERTa-xxlarge 上 LAT 平均 82，CCS 平均 69。
• CLIP 情绪（Table 12）：LAT 在 Ferg-DB 上六情绪准确率 60.9%–74.2%。
• 误导性提示（Table 13、14）：带偏见的提示下 LAT 准确率下降幅度小于零样本启发式，如 70B 上 Utility 零样本降 12.6%，LAT 用概念 token 时仅降 0.6%。
• Base 与 Chat（Figure 26）：Chat 模型中后层保持真实性表征，Base 模型后层性能常下降。

作者指出的局限与后续方向

• 证据层级有限：作者强调 LAT 只提供神经活动与目标概念之间的相关性证据，因果或更强结论需要操纵、终止、恢复类实验（Section 3.1.2）。
• 测谎评估留待未来：诚实检测器也会标记与说谎相关的思考过程，作者称全面评估需要更细致地探索不诚实行为，留待未来研究（Section 4.3.2）。
• 监测指标可能不追踪意图：道德监测中 immorality 指标在良性输出的"use the gun"上也会激活，作者称这可能说明该指标不能可靠追踪意图（Section 5.2.2）。
• 情绪与自我概念留待未来：作者称需要更深入地研究情绪在模型中的表征及其对行为的影响，并认为这可能通向对模型自我概念的理解，这些研究留待未来（Section 6.1.2）。
• 更复杂的提取流程：作者称提取更复杂的概念或多步功能可能需要更复杂的神经活动收集流程（Section 3.1.1）。
• 表征几何的后续方向：结论中作者称未来工作可研究表征的轨迹、流形与状态空间（Section 7）。

实验覆盖范围

• 被测模型为 LLaMA-2-Chat-7B/13B/70B、LLaMA-2-7B Base、Vicuna-13B、Vicuna-33B(-Uncensored)、DeBERTa-xxlarge、CLIP-ViT-Base-Patch32，共 9 个；GPT-4 与 gpt-3.5-turbo 仅用于生成数据。
• 控制实验主要使用线性组合算子；piece-wise 算子用于无害性实验，投影算子用于效用终止实验。
• TruthfulQA 的 LAT 结果报告 15 次试验的均值与标准差（Table 8），QA 基准为 10 次试验（附录 B.1）；无害性评测为 500 条指令（良性与有害各半），MACHIAVELLI 为 30 局游戏。
• 论文未报告控制实验的统计显著性检验；情绪服从率（Table 4）未报告每次条件的样本量细分（仅说明使用 500 条有害指令集）。
• 无害性控制实验只在 Vicuna-13B 上进行；记忆化控制只在 LLaMA-2-13B 上进行。

一篇关于自上而下 AI 透明度研究的方法与分析论文，提出表征工程（RepE），把表征而非神经元或电路作为分析单元。

• 要解决的问题：LLM 内部不透明，机制可解释性等自下而上方法难以扩展到诚实、无害、权力寻求等高层认知现象；作者借鉴认知神经科学的 Hopfieldian 观点，假设这些概念在表征层面可直接读取和操纵。
• 方法要点：表征读取基线 LAT 分设计刺激与任务、收集神经活动、PCA 构造线性模型三步，默认无监督；表征控制给出 Reading Vector、Contrast Vector、LoRRA 三类控制器和线性组合、分段、投影三种算子。
• TruthfulQA：LAT 读取内部真实性概念，70B 上 MC1 准确率达 69.8%（标准零样本 29.9%）；Contrast Vector 诚实控制使 13B 达 54.0%，作者称超过零样本 18.1 个百分点、达到 state-of-the-art（Table 1、2）。
• 行为控制：LoRRA 在 MACHIAVELLI 上降低权力寻求与不道德得分且 Reward 几乎不变（Table 3）；加 Happiness 向量使 LLaMA-2-Chat-13B 对 500 条有害指令的服从率从 0.0% 升至 100.0%（Table 4）；piece-wise 控制使 Vicuna-13B 在 GCG 攻击下的 harmless rate 从 16% 升至 83%（Table 5）。
• 其他结果：公平控制将结节病病例中黑人女性提及率从 60.0% 降至 13.0%（Table 6）；减记忆方向将名言补全 EM 从 89.3% 降至 47.6% 而历史知识几乎不变（Table 7）。
• 作者结论：作者认为 RepE 在诚实、道德、情绪、无害性、公平、知识编辑、记忆化等安全相关问题上展现了自上而下透明度研究的潜力，并希望其推动 AI 透明度与安全性研究；同时指出 LAT 只提供相关性证据，因果结论需更多操纵类实验。