在上下文学习任务上比较自下而上与自上而下的引导方法

bottom-up 的 function vectors 与 top-down 的 in-context vectors，能否在同一组 in-context learning 任务上代替上下文示例来引导模型。

• 场景：作者称可解释性的一个关键目标，是稳健地把大语言模型导向期望行为。向量引导在推理时施加编码该行为的概念向量；先前工作把它用于导向诚实或避开谄媚。
• 现有不足：作者称 bottom-up（神经元或电路等低层机制）与 top-down（神经元群体可能代表的高层概念）各自只在自己的任务集上有结果，任务差别大，难以比较两类方法。
• 两类代表：FV（Todd et al., 2024）定位对 ICL 表现有因果作用的注意力头，属 bottom-up。ICV（Liu et al., 2024）用对比示例的激活差，不定位具体神经元件，属 top-down。两者都试图得到可代替 ICL 的紧凑任务表示。
• 本文的比较：在需要精确输入输出变换的功能任务，和测试更宽行为或文风偏移的行为任务上，比较引导效果、换上下文后的表现，以及流畅度副作用。

向量引导

• 激活差：Contrastive Activation Addition（Panickssery et al., 2024）与 ICV（Liu et al., 2024）对正负示范的激活差取平均或主方向，得到引导向量。
• 因果组件：Function Vectors（Todd et al., 2024）与 Task Vectors（Hendel et al., 2023）分析因果上重要的组件，例如注意力头，再抽取向量。
• 其他列举：Activation Addition（Turner et al., 2024）、Representation Engineering（Zou et al., 2023），以及带内外动量优化的 ICL state vector（Li et al., 2024）。论文对这三篇只作列举，没有逐篇对照本文。

两类可解释性

• bottom-up：Olah et al. (2020) 用电路看单个神经元等低层机制；Gandelsman et al. (2024) 解释 CLIP 中神经元的二阶效应。引言用它们说明组件如何联系到整体功能。
• top-down：Zou et al. (2023) 的 representation engineering 分析神经元群体的全局活动及其可能代表的高层概念。诚实、谄媚的引导例子同时引用 Zou et al. (2023) 与 Panickssery et al. (2024)。

泛化方面的已有评测

• 分布外：Tan et al. (2024) 发现引导向量在分布外设置上泛化不好。作者称据其所知，还没有工作比较不同抽取协议得到的引导向量的泛化。
• 更广的说法：论文引用 Anwar et al. (2024) 称，可解释性方法常被说成比实践中更可泛化。

基线与数据

• 基线：同一零样本提示上的未干预模型；正文称基线对应空提示下的 ICL。功能任务数据来自 Todd et al. (2024)。解毒对比对来自 ParaDetox（Logacheva et al., 2022），情感迁移来自 Yelp reviews full star（Zhang et al., 2016）。

作者把本文定位为在统一 ICL 任务上比较这两类代表，并称各自为政的评测看不出相对长短；作者还称两种方法的局限比先前工作所暗示的更大。

作者沿用原论文流程，在同一组 ICL 任务上抽取并施加 function vectors（FV） 与 in-context vectors（ICV），比较它们相对空提示基线、以及彼此之间的引导。

任务与提示

• 任务：功能任务为 Antonym、Capitalize、Country-Capital、Synonym，要求精确输入输出变换。行为任务为 Detoxification 与 Sentiment Transfer。论文写共 7 个任务，正文点名这 6 个。
• 提示：零样本为“Q: 查询”换行“A:”。few-shot 把若干问答示范接在查询前。shuffled-label 打乱 n 对标签，去掉输入输出的系统对应，但保留回答形式。自然文本模板取自 Todd et al. (2024) 附录 F，把查询放进句子。
• 范围：功能任务做 zero-shot、shuffled-label 3-shot 和自然文本；行为任务只做 zero-shot。作者称行为任务不用 Liu et al. 的 Paraphrase 前缀，以免提示本身干扰引导。

Function Vectors

• 抽取：每个注意力头在 100 条 10-shot 任务示范上取任务条件平均激活；再用 25 条打乱标签的 10-shot 提示，选平均间接效应最大的 k 个头。Llama 2 (7B) 与 Pythia (6.9B) 取 k=20，作者称 k 大致随注意力头数量缩放。
• 施加：加到单层，约总层数的 1/3。上述两模型取第 11 层。作者称 FV 强度不能像 ICV 那样用超参调节，故不做强度扫描；附录 B.4 称尝试改变强度会得到不连贯生成。
• 前提：作者称构造 FV 依赖一组注意力头的激活共同编码该 ICL 任务。

In-Context Vectors

• 抽取：给定 k 对对比示范，扫描 k 和向量强度，取每个任务上表现最高的 ICV。功能任务的负例把答案换成 1 到 5 个词的无信息字符串（取自 Vogel, 2024），正例给出目标映射；作者称试过几种示范后，这种问答式正负例更能抽出强向量。行为任务的示范对是原句与目标句 (a, b)，沿用 Liu et al. (2024)；作者称该形式对流畅度干扰较小，同时仍能恢复引导。
• 施加：加到所有层、每个 token 位置的残差流，按 Liu et al. 的做法。
• 示范风格：附录 D 另比较了功能任务的两种示范。作者称贴近 Liu et al. 的 Style 1 抽不出 capitalization 上的引导，改成问答式正负例（Style 2）后引导恢复；行为任务若改用功能任务那种问答式示范，语言能力会坏掉。百分比放在实验一问。

判定

• 功能任务：生成的第一个词与正确标签的第一个词一致才算对。自然文本中，标签出现在生成的任何位置即算对，因为有的模板会先生成冠词。
• 行为任务：Detoxification 用 ParlAI safety classifier，标为不安全的概率大于 0.9 则记不安全；Behavioral shift 是未被标为不安全的比例。Sentiment Transfer 用 SiEBERT，标为正面情感才算对。
• 流畅度：GE 是 bi-gram 与 tri-gram 熵的加权平均，重复越多越低；Dist-1、Dist-2 计独特的 uni-gram 与 bi-gram。附录 D 的一组分析里，GE 高于 2.0 才参与评分，且至少 60% 的生成可评分时才采用该 ICV 的统计。

实验设置

• 模型：主实验为 Llama 2-Chat (7B)，HuggingFace 实现。解毒任务另在 pretrained Llama 2 (7B) 上评测。附录对 Pythia (6.9B) 使用与 Llama 2 (7B) 相同的 k=20、第 11 层，并给出 ICV 解毒示例。
• 数据：功能任务来自 Todd et al. (2024)，正文未写各集规模。解毒从 ParaDetox 取由 GPT-4 评分后最毒的句子，再让 GPT-4 改写，得到 1057 对。情感迁移从 Yelp 取 1000 条 1-star 评论，GPT-4 先压到 25 词再改成正面，得到 1000 对。
• 向量：ICV 扫描强度和示范数量，报告每任务表现最高的向量。FV 不做同样扫描，加在约 L/3 的一层；ICV 加在所有层。
• 指标：功能任务 Accuracy 为 first word score；自然文本看标签是否出现。行为任务用上述分类器的 Behavioral shift。流畅度用 GE、Dist-1、Dist-2。
• 重复：Figure 2、3 写明对 random seeds 取平均。论文未报告 seed 数。Table 3 给出标准差。

主结果

Figure 2、3 是主比较，图注写 Llama 2-Chat (7B)、对 random seeds 取平均，ICV 为每任务表现最高的向量，基线是同一零样本提示上的未干预模型。正文没有写出这两张图的逐任务百分比。下表只列正文表格中的数字。Table 3 的 ICV 用附录式 (1) 那种问答示范；作者称该形式会破坏行为任务上的流畅度。Section 3 的行为任务主结果改用 Liu et al. 的 (a, b)，对应 Figure 2，正文无百分比。Table 3 表头把解毒标为 Llama-2-7b、情感迁移标为 Llama-2-7b-chat，表注则写 Pythia (6.9B) 与 Llama 2-Chat (7B)，两边不一致。

表格较宽，可左右滑动

出处与条件	指标	Base	FV	ICV
Table 1，Llama-2-7b-chat，capitalization	Accuracy	28.8%	97.1%	Style 1：25.9%；Style 2：66.5%
Table 3，表头 Llama-2-7b，解毒，式(1)示范	Beh. Shift	67.19 ± 0.0	40.5 ± 33.1	96.2 ± 0.7
Table 3，Llama-2-7b-chat，情感迁移，式(1)示范	Beh. Shift	23.81 ± 2.1	15.4 ± 1.6	86.5 ± 4.1

• 功能任务：作者称两种方法相对空提示基线大体都能提高准确率；在所有功能任务、所有已评设置上 FV 都超过 ICV，并称 FV 适于分布内的精确行为（Section 3.1，Figure 2、3）。作者称 ICV 在 0-shot 上也有强提升，但仍低于 FV。
• 行为任务：作者称 ICV 优于 FV；FV 在 sentiment transfer 上甚至偏离期望行为（Section 3.1，Figure 2b）。作者称不同示范数据抽出的 ICV，在示范数量和强度相同时效果可以差很多，并指向 Figure 2b、附录 D 与 Table 3；正文没有另给一组对照百分比。
• 换设置：作者称转到自然文本后两者准确率都下降，但 FV 在全部功能任务上仍比基线好；ICV 在部分任务上相对基线提升很少或没有提升，在其他任务上仍保留引导（Section 3.2，Figure 3）。Figure 3 图注称，两者在接近抽取时所用 ICL 提示的上下文里引导尚可，更分布外的设置更困难。

流畅度与示范形式

• 强度：作者称表现更高的向量通常只轻度影响流畅度，但 ICV 对强度敏感，过高会使输出退化；连贯性下降前能承受的最大强度因任务而差很多（Figure 4a）。FV 未变强度。
• 示范：附录 D 称，行为任务若用式 (1) 的问答示范，小强度也会使语言能力崩溃。改回 Liu et al. 的 (a, b) 后流畅度改善，引导有所减弱；作者称这部分在 Section 3.2，正文无百分比。Table 2 只给出生成示例。
• Table 1 的流畅度：capitalization、Llama-2-7b-chat 上，Dist-1 为基线 87.2、FV 87.9、Style 1 87.8、Style 2 85.8；GE 为 3.226、3.255、3.229、3.213。作者称 Style 2 恢复引导且没有大的流畅度副作用。

CIE 与干预位置

• 相关：作者假设 FV 的任务差异来自“少数注意力头共同编码该任务”是否成立。Figure 4b 是每任务 top 20 头的总平均 CIE。作者称它与 FV 表现强相关，并举 country-capital 高、detoxification 低。正文没有相关系数或 CIE 数值。
• 作者的解释：作者认为，缺少这样一组头，意味着该任务的执行并不只由注意力中介。
• 位置消融：干预改到中间一层、中间两层、中间四层；FV 还试了所有层（Section 3.4）。Figure 5 图注：变化都相对于平均任务表现；功能任务上这些改动的准确率变化都是负的。正文：FV 加到更后的中间层，行为任务平均表现提升了 10.36%；加到 2 个中间层最多提升了 21.36%。Figure 6：FV 加到超过 2 层后，按行为任务平均的 GE，流畅度开始崩溃。作者称 ICV 加到更少层时效果更差，与 Liu et al. (2024) 一致。作者认为更宽的行为任务可能需要干预更多层，且这些层比功能任务的较优位置更靠后。

其他消融与分析

• Table 3 解毒、式(1)、表头 Llama-2-7b：GE 为基线 3.49±0.00、FV 3.06 ± 0.57、ICV 2.74 ± 0.12；Dist-1 为 83.2 ± 0.4、82.1 ± 1.2、47.4 ± 3.9；Dist-2 为 84.5 ± 0.2、79.4 ± 2.8、50.6 ± 4.4。
• Table 3 情感迁移、Llama-2-7b-chat、式(1)：GE 为基线 3.52±0.04、FV 3.45 ± 0.06、ICV 2.37 ± 0.34；Dist-1 为 97.2 ± 0.1、96.9 ± 0.4、75.8 ± 7.6；Dist-2 为 91.7 ± 0.5、91.6 ± 0.5、71.8 ± 7.9。作者把其中最低的流畅度标红。
• 附录 D：GE 高于 2.0 才给准确率；至少 60% 生成可评分才保留该 ICV 的统计。
• 附录 B.4：改变 FV 强度得到不连贯生成。对用于平均间接效应的打乱标签提示集规模做初步扫描，作者称没有带来值得继续的性能变化，且计算开销大；论文未给出该扫描的数值。
• 论文未报告 ICV 强度和示范数的扫描网格，也未报告 Figure 2、3 的 seed 数或逐任务百分比。

作者指出的局限与后续方向

• 任务集：只比较了相对较小的功能与行为任务集，结果可能无法推广到扩大后的任务集（Section 4）。
• 方法种类：只考虑 FV 与 ICV 两种方法，结论应谨慎对待，可能无法推广到所有 bottom-up 或 top-down 的向量引导或可解释性做法（Section 4）。
• 原因未明：作者写明，两种方法各自局限的具体原因仍不清楚（Section 4）。
• 不能普遍替代：作者称，目前两种方法都不能在一般情况下有效代替 ICL（Section 4）。
• 理论：作者认为现有的 LLM in-context learning 理论不完整；解释 FV 与 ICV 的表现差异，以及 bottom-up、top-down 引导的行为，可能有助于理解 ICL（Section 4）。
• 后续：扩展到其他任务、其他模型和其他引导方法是后续方向。作者同时强调，需要一个统一基准，覆盖多样任务和多种设置，并评估干预引导的副作用（Section 4）。

实验覆盖范围

• 主实验模型为 Llama 2-Chat (7B)；解毒任务另在 pretrained Llama 2 (7B) 上评测；附录使用 Pythia (6.9B)，并规定其 FV 的 k=20、第 11 层（Section 2，Appendix B.3、D）。
• 正文点名 Antonym、Capitalize、Country-Capital、Synonym、Detoxification、Sentiment Transfer；论文称任务数为 7。功能任务有 zero-shot、shuffled-label 3-shot 和 natural text，行为任务只有 zero-shot（Section 2）。
• 功能任务用 first word score，自然文本看标签是否出现；解毒用 ParlAI safety classifier，不安全概率大于 0.9；情感用 SiEBERT。流畅度用 GE、Dist-1、Dist-2（Appendix B.5）。
• FV 抽取用 100 条 10-shot 与 25 条打乱标签 10-shot。ICV 扫描了强度和示范数，论文未报告扫描网格。Figure 2、3 对 random seeds 取平均，论文未报告 seed 数，也未在正文写出这两张图的逐任务百分比。
• 另报告了每任务 top 20 头的总平均 CIE（Figure 4b），以及把干预改到中间 1 层、2 层、4 层、并对 FV 加到所有层的位置比较（Section 3.4，Figure 5、6）。

作者用同一组 ICL 任务比较两种向量引导：bottom-up 的 function vectors，与 top-down 的 in-context vectors，看它们能否代替上下文示例。

• 问题：两类方法原先各评各的任务，作者认为因此看不出相对长短。
• 做法：主模型是 Llama 2-Chat (7B)。FV 用 100 条 10-shot 的头平均激活，和 25 条打乱标签提示选出的 k=20 个头，加到第 11 层。ICV 由正负示范的激活差得到，加到所有层，并按任务扫描强度和示范数。功能任务要求精确变换，并另测打乱标签 3-shot 与自然文本；行为任务是解毒和情感迁移，只测零样本。
• 结果：作者称在所有已评功能任务和设置上 FV 都超过 ICV，行为任务上 ICV 更好，且 FV 在情感迁移上会偏离目标。Table 1 中 capitalization、Llama-2-7b-chat 的 FV Accuracy 为 97.1%，ICV Style 2 为 66.5%，Style 1 为 25.9%，基线为 28.8%。Table 3 在式 (1) 示范下，表头 Llama-2-7b 的解毒 ICV 行为偏移为 96.2% ± 0.7，FV 为 40.5% ± 33.1，基线为 67.19% ± 0.0。转到自然文本后两者都下降。把 FV 加到更后的中间层，行为任务平均表现提升了 10.36%。
• 作者的结论：两种方法都只在特定类型的 ICL 任务上有效，目前都不能普遍代替 ICL。作者认为有效范围受限于抽取所在的那部分表示里是否真有可发现的任务信息，并认为需要覆盖多样任务、多种设置和副作用的统一评测基准。作者还认为现有 ICL 理论不完整。