基于影响力的曲率感知数据加权激活引导方法

类条件激活均值把转向拉向词元、无关概念和噪声，而不是样本表达的主题。

• 场景：作者称激活转向提供廉价、细粒度的推理时控制。大模型难以从头重训；在线性表示假设下，转向把激活推向或拉离由对比数据编成的概念表示。
• 不足：传输方法对类内样本等权，方向被无关概念和弱样本干扰；Nguyen等（2026）只在token级加权。作者把thematic定义为与措辞无关的底层概念。
• 假设：影响函数用损失曲率估计每个样本对概念表示的贡献，从而超出表层激活相似。
• 做法：提出影响加权激活传输（IF-Act、IF-LinEAS），按层影响分数给概念样本赋传输质量。评测毒性抑制、物体诱导与真实性，并用困惑度与MMLU跟踪能力。

激活转向

• 线性表示：Park等（2023）把高层概念写成激活空间中的线性方向。论文列举拒绝（Arditi等，2024）、真实性（Burns等，2022；Marks与Tegmark，2024）和性别（Belrose等，2023；Bolukbasi等，2016）。
• 从神经元到均值差：早期工作用专家神经元（Cuadros等，2022）和探测（Suau等，2024）。作者称神经元转向因叠加而不稳（Elhage等，2022），群体表示带有更多语义（Zou等，2023）。Subramani等（2022）、Turner等（2023）用对比提示之差；Rimsky等（2024）、Jorgensen等（2023）改为对比集合上的均值差。
• 作者指出的问题：对比向量高维、粗且噪，低维子空间更有效（Huang等，2026；Teo等，2025）；对提示token敏感（Tan等，2024），并降低输出置信度（Huu-Tien等，2024）。Wang等（2025）按当前激活与线性幻觉方向的接近程度做动态向量。Nguyen等（2026）用对比梯度选top-k token；作者称这仍是token级。

仿射传输

• 等权映射：Singh等（2024）推导少改表示、把一个分布送到另一分布的最优仿射转向。Rodriguez等（2025）的AcT按层独立拟合仿射传输。Rodriguez等（2026）的LinEAS用Wasserstein损失联合优化各干预层，并用稀疏正则限制干预数量与幅度。
• 多模态：Abdullaev等（2026）把激活建成高斯混合，在簇之间传输，以放松单模态假设。
• 作者的批评：作者称Rodriguez等（2025）与Singh等（2024）对类内样本等权，传输方向被无关概念和弱样本干扰。

影响函数

• 来源：影响函数出自稳健统计（Cook与Weisberg，1980；Hampel，1974）。Koh与Liang（2017）用它解释预测并找出有影响的训练点。Basu等（2020）担心深度网络中的可靠性；论文引用Bae等（2022）：影响函数近似函数空间中训练点的局部效应。
• 主题而非词面：Grosse等（2023）用EK-FAC把分析扩到最多520亿参数。论文转述其例：关于AI被关闭的查询会受人类生存类训练样本影响，尽管token重叠很少，并有跨语言、同一算法不同实现的类似现象。曲率近似建立在K-FAC（Martens与Grosse，2015）及后续扩展上（Eschenhagen等，2023；Lin等，2024；Osawa等，2023）。

基线与基准

• 基线方法：未转向模型、Act（AcT）、LinEAS。本文变体为IF-Act与IF-LinEAS。
• 基准：OneSec、TruthfulQA、Jigsaw Toxic Comment Classification；续写提示用RealToxicityPrompts与Thoroughly Engineered Toxicity；能力用WikiText困惑度与MMLU。

作者把本文放在均匀传输和token级加权之间：用曲率修正的分层影响分数替换均匀经验测度，使映射朝向最能定义概念的样本，而不是有噪声的类均值。

整体是影响加权激活传输：先在参数空间定一个对比概念方向，再用EK-FAC影响分数按层给样本赋质量，最后用一维仿射最优传输做转向。闭式路径叫IF-Act，联合优化路径叫IF-LinEAS。温度在均匀权重与影响权重之间插值。

对比概念方向

• 三元组：每个样本含中性前缀、含概念补全与不含概念补全。单条补全的梯度会带上该句的词面特征，故用K个三元组。
• 测量：ϕi是两段补全的对数概率之差，并除以各自token数T+、T−，避免长句仅因损失更大而主导。
• 方向q：每个三元组的参数梯度先缩放到单位范数，再对K个三元组平均。附录F用Claude Sonnet 5生成三元组并给出完整提示词；作者称人工检查了全部507条。

影响分数

• 定义：候选点zm的影响分为I_ϕ(z_m)=−q^⊤(G+λI)⁻¹∇_θ L(z_m,θ_s)。G+λI是阻尼Gauss–Newton。论文写Bae等（2022）的结论是：这是近端Bregman响应的精确影响，参数被拉在当前θs附近；曲率项压低那些会大幅改变参考数据预测的方向。阻尼趋于无穷时，分数退回梯度相似。
• 符号：方法节的λ是曲率阻尼。实验图表把转向强度也记为λ（未转向为0，主表为1）；式（4）把干预缩放记为γ。论文未写明实验λ与γ是否为同一超参，也未报告阻尼取值。
• 只计MLP：EK-FAC按权重矩阵分块。论文写多头注意力不满足K-FAC的块对角假设，并引用Meng等（2022）称事实关联多在MLP。实现只用上、下投影，偏置并入权重。
• 按层拆开：总影响是各层Frobenius内积之和。同一样本可以在一层影响高、在另一层可忽略，因此每层使用不同的有效数据集。曲率用100段Wikipedia摘录近似训练数据来估计，不是用概念集本身。

层内权重

• 变换：层内先做z-score，再对温度τ做softmax，使权重非负且和为1。z-score去掉层间绝对尺度差，因此它决定层内强调哪些样本，不决定层与层的相对转向强度。
• 两端：τ趋于0时质量集中到影响最高的点，τ趋于无穷时趋于均匀。作者称这使权重对影响分数离群值更稳。附录K在1000条Jigsaw上看有效样本量，称中间层多落在10到100。

加权传输

• 一维仿射：每个hook、每个激活维一条仿射映射。样本激活先沿token取均值再排序。作者称凸代价下最优一维耦合单调，两点之间搬动的质量是分位数轴上的区间重叠。均匀且两侧样本数相同时，退回按下标配对。
• IF-Act：在该耦合上做最小二乘，映射为T_h^(d)(a)=a+γ(α_h a+β_h−a)。只加权目标时，协方差和目标均值使用影响权重。抑制概念时改为加权源分布，源均值用影响权重，目标均值用均匀权重。
• IF-LinEAS：耦合相同，但所有hook和维度的仿射参数一起反传，最小化加权的一维Wasserstein损失。稀疏正则的细节作者指向Rodriguez等（2026）。作者称这条路径用来看加权是否不限于IF-Act。
• 方向：诱导时把非概念激活送往概念激活。抑制毒性时送离有毒评论、送往无毒评论。成功判定与生成协议放在实验设置。

实验设置

• 模型与hook：被转向模型为Gemma-2-2B与Llama-3.2-3B，主表为全层。附录H列出Gemma-2-2B的post_attention_layernorm与post_feedforward_layernorm；同表另一行写Llama-3-8B的mlp.down_proj。正文实验模型名是Llama-3.2-3B。
• 数据：OneSec七个物体概念，各约700句；D+为含目标概念的句子，D−从其余概念抽700句。TruthfulQA有817题、38类，2折；D+为问题接正确答案，D−接错误答案，测试用留出半折。Jigsaw有毒与无毒各10000条，其中各2000条用于训练。毒性续写从RealToxicityPrompts与Thoroughly Engineered Toxicity采样1000条提示。
• 基线：未转向（表中λ=0）、Act、LinEAS。本文为IF-Act与IF-LinEAS。主表转向结果为λ=1。对比对数量消融为n=32与n=1024。
• 评判：OneSec由meta-llama/Meta-Llama-3-8B-Instruct按WordNet定义做yes/no；正文把概念出现写成p(yes)。毒性用同一类LLM评判，另用RoBERTa分类器，两者都是越低越好。TruthfulQA不生成续写，按默认提示下答案的对数似然计算MC1、MC2。
• 生成：附录I写概念评判把yes及其大小写、前导空格变体的下一token概率，在500次生成上汇总，超参见Table 5（max_new_tokens 50）。RTP/TET的生成超参见Table 6（temperature 1.0，top_p 0.3，top_k 50，repetition_penalty 1.2，max_new_tokens 32）。
• 能力与曲率：流畅度困惑度为生成续写的困惑度，另报留出WikiText困惑度与MMLU。Gauss–Newton用100段Wikipedia摘录。论文未报告主实验的softmax温度τ。

主结果

Table 3为全层、λ=1的毒性抑制。毒性率越低越好。

Swipe horizontally to read the table

模型与评判	未转向	Act	IF-Act	LinEAS	IF-LinEAS
Gemma-2-2B LLM	0.344	0.083	0.031	0.095	0.018
Gemma-2-2B RoBERTa	0.233	0.044	0.001	0.045	0.009
Llama-3.2-3B LLM	0.268	0.257	0.177	0.101	0.052
Llama-3.2-3B RoBERTa	0.219	0.100	0.073	0.031	0.017

• 作者解读：作者称毒性抑制几乎由IF加权方法主导；IF-LinEAS在保持较低困惑度和较高MMLU的同时，于四项LLM评判中有三项居首。同表RTP/TET上，Gemma的最低LLM毒性率来自IF-Act（RTP 0.016，与Act相同；TET 0.059），Llama来自IF-LinEAS（RTP 0.039，TET 0.097）。
• 质量：Gemma上IF-LinEAS的流畅度困惑度27.58、Wiki 34.57、MMLU 0.520，未转向为27.11、32.30、0.550；IF-Act的MMLU为0.438、Wiki为51.60。Llama上IF-LinEAS的MMLU为0.554（未转向0.562），IF-Act为0.276。
• 折中：作者称IF-LinEAS往往优于LinEAS并大体保持质量，IF-Act常落在更差的转向–质量位置。图10–11图注还包含毒性诱导臂；纯文本读不到曲线数值。

OneSec概念诱导

• Gemma：全层λ=1，七概念均值的概念分：IF-Act 0.721、Act 0.708、IF-LinEAS 0.584、LinEAS 0.544、未转向0.018（Table 1）。IF-Act的WikiText困惑度为1010.35（表中±927.72），MMLU 0.267；LinEAS的MMLU为0.499。
• Llama：IF-LinEAS概念分0.420，LinEAS 0.287，Act 0.251。IF-Act为0.029±0.041，未转向0.035±0.059，流畅度困惑度110.81，WikiText困惑度1.85×10^5。图7图注称除Llama的IF-Act外，IF加权在多数设置概念分更高。
• 分概念：作者预期物体概念偏token、不太适合主题转向。图8图注称church、book、flower、football较好，其余较差，Llama的Balloon未能诱导出概念。纯文本没有各概念的曲线读数。

TruthfulQA

• IF-Act：全层λ=1，Gemma在n=32的MC1为0.278、MC2为0.459；n=1024为0.255与0.482。未转向MC1 0.209、MC2 0.336（Table 2）。Llama在n=32的MC1为0.301、MC2为0.468；n=1024的MC2为0.474。ΔMC2（n=1024减n=32）Gemma为0.023，Llama为0.006。
• 例外：作者称n=1024的MC1上普通AcT更高：Gemma Act 0.256，Llama Act 0.284、IF-Act 0.264。Gemma的IF-LinEAS在n=1024的MC1为0.203，低于未转向0.209；其ΔMC2为−0.013，Llama的IF-LinEAS为−0.007。
• 作者解读：作者称IF-Act在各模型与n上几乎总是最好，并在正文写明上述MC1例外。

影响排序与激活投影

• 对照：投影代理用同一批对比三元组的激活差，对候选样本做归一化投影，不需要候选梯度或曲率。排序在各层以及跨层求和后比较。
• 数字：Gemma-2-2B毒性数据上，EK-FAC与投影代理的ρ在候选轴为0.317、层轴为0.504；与梯度范数则为0.079与0.346（Table 10）。ρ已对两侧split-half不可靠性做校正。
• 作者解读：作者称相关为弱到中等，IF排序含有与激活空间代理不同的信号。图12图注称毒性权重集中在中间层，OneSec与TruthfulQA接近均匀。

其他消融与分析

• 排除首末层、OneSec（Table 7）：Gemma IF-Act概念分0.700、Wiki PPL 162.18、MMLU 0.364；全层对应0.721、1010.35、0.267。
• 同表Llama排除首末层：LinEAS概念分0.075、IF-LinEAS 0.086；全层为0.287、0.420。图9图注称此时Llama大多未能有意义地诱导概念。
• 毒性排除首末层（Table 8）：Gemma IF-LinEAS的LLM毒性0.029（全层0.018）；Llama IF-Act 0.220（全层0.177），同设置Act为0.214。
• TruthfulQA排除首末层（Table 9）：Gemma IF-Act在n=1024的MC2为0.471，ΔMC2为0.020；IF-LinEAS的ΔMC2为−0.019。
• Table 10：投影代理对梯度范数，候选轴ρ* 0.039，层轴0.172。
• 附录G：作者称用影响分数做毒性分类时，约32个对比样本后新增信息下降，中间层分数更有用；正文未给该分类的准确率。

作者指出的局限与后续方向

• 强度各层相同：转向强度γ目前对各层一致。作者希望用分层影响分数决定在哪一层、以多大幅度转向（第7节）。
• 中间层假设：作者假设更强地转向中间层对模型干扰更小，因为避开两端的token理解与重构；该假设留待检验（第7节）。
• 首末层：第6节写，不转向首末层会伤害标题上的诱导或抑制，但降低困惑度、提高MMLU。作者假设开头不转向有助于理解文本，末层不转向降低输出波动，并留给后续检验。
• 匹配能力：作者希望在匹配的困惑度或能力水平上比较方法，以直接刻画转向与质量的折中（第7节）。
• 其他信号：作者称曲率感知影响函数是识别概念相关样本的一种信号；其他数据归因或相关性信号可能给出互补加权，系统比较留作后续（第7节）。
• 中层现象：附录G称影响分数在模型中部更有用，并把对该效应的细致研究留作后续。

实验覆盖范围

• 模型：转向实验使用Gemma-2-2B与Llama-3.2-3B。附录H的hook表另有一行写Llama-3-8B的mlp.down_proj。
• 任务：OneSec七个物体概念，各约700句；TruthfulQA 817题、38类、2折；Jigsaw有毒与无毒各10000条，训练各2000条；毒性提示从RTP与TET采样1000条。图10、图11的图注包含毒性抑制与诱导。
• 判定：yes/no评判模型为meta-llama/Meta-Llama-3-8B-Instruct，毒性另用RoBERTa；TruthfulQA用答案对数似然的MC1、MC2。能力指标为流畅度困惑度、留出WikiText困惑度、MMLU。
• 实现范围：Gauss–Newton用100段Wikipedia摘录；影响只含MLP上、下投影。主表为全层、λ=1；另有排除首末层（表7–9）和对比对数量n=32与n=1024。对照方法为未转向、Act、LinEAS。
• 论文未报告：主实验的softmax温度τ、影响函数阻尼取值、评审与人工一致性、MMLU题目数，以及除两折和表中±以外的重复次数。对比三元组由Claude Sonnet 5生成，作者称检查了全部507条。

推理时的影响加权激活传输，用曲率修正的样本权重替换传输转向里的均匀类均值。

要做的是概念控制，而不是再训练。作者认为类均值被无关概念、噪声和少数token主导，编码的是词元级而非主题。

对比三元组的长度归一化对数概率差经单位化平均后成为概念方向；EK-FAC影响分数按层变成传输质量。IF-Act闭式拟合仿射映射，IF-LinEAS联合优化加权Wasserstein目标。抑制时改为给源分布加权。温度可在均匀与点质量之间插值。

• 毒性：全层、λ=1、LLM评判，Gemma-2-2B的IF-LinEAS为0.018，未转向0.344；Llama-3.2-3B的IF-LinEAS为0.052，未转向0.268（Table 3）。Llama上IF-Act的MMLU为0.276，未转向0.562。
• OneSec：七概念均值，Gemma的IF-Act为0.721，未转向0.018，WikiText困惑度1010.35；Llama的IF-LinEAS为0.420，IF-Act为0.029，未转向0.035（Table 1）。
• TruthfulQA：Gemma的IF-Act在n=1024的MC2为0.482，未转向0.336。同设置MC1上Act高于IF-Act：Gemma 0.256对0.255，Llama 0.284对0.264（Table 2）。Gemma的IF-LinEAS在该MC1上为0.203，低于未转向0.209。

作者称曲率信息在多数情况下有助于真实性与物体概念，并对毒性这种更宽的概念帮助更大；IF-Act常以MMLU和困惑度为代价，IF-LinEAS更常保持质量。作者称影响排序与激活投影不同，候选轴Spearman ρ*为0.317（Table 10）。