通过免训练权重编辑抵抗有害指令

如何不经训练、只改权重，降低模型对指定不良指令的遵从，并使提示词改写无法撤销该改动。

• 场景：指令跟随让模型适应多种任务，也会引出与预期行为和安全对齐冲突的输出。作者指出，不良指令还可经检索文档间接到达；在智能体中输出会变成行动，失败要在行动前阻止。
• 现有不足：系统提示在下指令的一方也能改系统提示时可以被去掉。作者称即使防御指令仍在，单独提示在若干设置下仍留下大量不良遵从。激活转向不改权重，效果取决于构造向量的提示和应用设置。
• 做法：对同一内容配对不良指令和期望指令，用前向激活对比给权重打分，并重缩放每个矩阵中得分最高的权重。编辑存在参数里，不需要额外防御提示，也不需要推理时转向。
• 威胁模型：
  • 目标：降低对指定不良行为的遵从。本文评测指示说谎和指示性别歧视，掩码按行为分别构建。
  • 攻击者输入：不良指令可出现在 system prompt、用户轮次或检索文档中。改写或删除这些指令不能撤销已写入的权重修改。
  • 防御者能力：可改模型权重，但不能控制使用时的上下文。构造掩码只需少量提示对上的前向传播，不需要梯度或标注回复。
  • 假设：对手不能修改或替换已部署权重（Limitations）。论文未用 white-box 或 black-box 描述攻击者。
• 比较范围：五个指令微调模型、两个行为域，并与未编辑模型、系统提示、激活转向和集合差权重编辑这些无训练干预比较。

激活对比与权重重要性

• Wanda（Sun et al., 2024）：用权重大小乘校准 token 上的输入通道范数给权重打分。作者改为按提示分别算通道范数，再用成对指令的对比。
• Wei et al.（2024）：在安全数据集与效用数据集之间对比剪枝分数，寻找移除后会破坏拒答的少量权重。
• MathNeuro 与 CreativityNeuro（Christ et al., 2025; Schapiro et al., 2026）：用前向集合差选择权重，以改变数学推理或发散性生成。作者称本文按对比程度打分，而不是对两个分别排序的集合取差。

其他参数编辑

• 任务算术、权重算术、事实编辑与拒答方向（Ilharco et al., 2023; Fierro and Roger, 2026; Meng et al., 2022; Arditi et al., 2024）：使用训练差、闭式更新或投影。
• DPO 去毒（Lee et al., 2024）：作者将其描述为绕过有毒能力而不是移除它，并称本文的多轮结果也提示编辑有类似情形。

推理时转向

• 对比方向（Turner et al., 2023; Rimsky et al., 2024; Stolfo et al., 2025; Zou et al., 2023）：在推理时把对比方向加进激活。
• 泛化方面的引用：作者引用 Tan et al.（2024）、Braun et al.（2025）、Nguyen et al.（2026）和 Pinto（2026），称这类方向泛化不均、依赖对比对是否一致，并随评测设置变化。

说谎的表示与评测

• 真值方向与探针（Burns et al., 2023; Marks and Tegmark, 2024; Azaria and Mitchell, 2023）：被用于说谎检测（Pacchiardi et al., 2024）。
• LIARS' BENCH 与 MASK（Kretschmar et al., 2025; Ren et al., 2025）：评测说谎。作者称本文是阻止被指示的谎言，而不是检测谎言。

基线与基准

• 基线：未编辑模型、诚实系统提示、CAA 单层激活转向、CreativityNeuro 的集合差掩码。作者称针对诚实的微调需要标注回复和梯度，成本类型不同，故不比较。
• 基准：LIARS' BENCH 的 instructed-deception 划分和 AI Liar；指示性别歧视题目与七种提示格式由作者构建。

作者把本文定位为：用分级激活对比做无训练权重编辑，并在同一协议下与激活空间的无训练干预比较。

整体是对比激活的无训练权重编辑：对指定不良行为构造配对提示，只做前向传播，按激活对比挑选并重缩放少量权重，得到架构不变的检查点。

配对提示与通道对比

• 配对：F 要求不良行为，T 要求期望行为，底层内容相同。说谎与性别歧视各建一张掩码。
• 说谎材料：25 道常识题，或 24 条真假陈述（12 真 12 假，一半含否定）。框架包括虚构、明确要求说谎、诚实失误，共五个家族，按模型在验证数据上选择（Appendix C）。
• 通道统计：每个提示计算输入通道的 token 级 L2 范数，再在集合内平均。提示等权，范数不按长度归一。作者给出长度本身把范数比抬高的上界为 19.1/12.1≈1.26，低于默认阈值。
• 对比阈值：默认说谎设置 r=0.37，因而通道对比为正当且仅当 F 下平均范数大于 T 下的约 2.7 倍。作者称该 r 与编辑比例来自更早的参数搜索，并未为本论文再调。性别歧视的 r 在验证集上从 {0.37, 0.5, 0.6, 0.7, 0.8, 0.9} 中选取。

打分、选择与重缩放

• 编辑范围：注意力和 MLP 的权重矩阵；嵌入和输出头不动。线性层为 y=Wx，输入通道 j 对应 W 的第 j 列。
• 分数：权重大小乘通道对比。c_j=vn̄^F_j−(1−v)n̄^T_j, v=r/(1+r)。含义：cj 为正当且仅当 F 下平均通道范数超过 T 下的 1/r 倍。
• 掩码与更新：每个矩阵取有符号分数最大的 ρ=4%。W'=W\odot(1+\alpha M)。含义：选中权重乘以 1+α；-1<α<0 为衰减，α=-1 为删除，α<-1 为反号，未选中权重不变。
• 名额填充：正分权重排在零分和负分之前。若正分条目不足 ρ，其余名额由最高的非正分填充，其中很多接近零。作者在 Appendix L 给出固定输入下的局部扰动界，并写明该界不保证编辑后的行为。

两个行为与图示参数

• 说谎强度：α 在 {-0.25, -0.5, -0.75, -1, -1.125, -1.25} 中按验证集选取。
• 性别歧视：25 道性别相关问题，F 要求性别歧视回答，T 要求公平回答。评分规则和 4% 预算与说谎相同。α 在 -0.25 到 -1.5、步长 0.25 的集合中与 r 联合选取（Appendix R）。
• Figure 1：以 Llama-3.1-8B 图解说谎编辑，标注 cj>0 的通道占 1.1%，cj>0 的权重占 0.8%，近零填充 3.2%，每矩阵 top 4%，α=-1.25。

选择约束与判定

• 数据划分：验证与测试按哈希对半。通过可用性检查的选项中，取验证集目标指标最好的一个用于测试。检查项见第 4 问。
• 诚实率：先在未编辑权重上、不加说谎指令、贪心解码，得到模型自己的信念；答错的题对所有方法剔除。谎言指与该信念矛盾的回复。指标是欺骗题中按该信念作答的比例。
• 构造成本：掩码不需要梯度，也不需要标注的模型回复。

实验设置

• 主表模型：Llama-3.1-8B-Instruct、Phi-4-mini-instruct、Falcon3-3B-Instruct、OLMo-2-7B-Instruct、Qwen2.5-3B-Instruct，bfloat16，每家族一个（Section 3.2）。Table 1 行名写 OLMo-2-7B；Table 12 将这批设置记为 OLMo-2-1B（16 层）。性别歧视表用 OLMo-2-1B；格式实验用 Qwen2.5-7B。
• 说谎数据：LIARS' BENCH instructed-deception 有 537 条欺骗题和 263 条诚实对照；AI Liar 有 1012 道常识题。按哈希对半划分。未编辑模型在无说谎指令、贪心解码下答错的题被剔除；论文未给出剔除后条数。
• 基线：未编辑模型、诚实系统提示、CAA（同一 25 对提示，取最后一 token 的差向量，加到一层每个位置；三层、五档强度，按该层残差中位数缩放）、集合差掩码。微调不比较。
• 主表协议：temperature 0.7，三个采样种子。格式实验与性别歧视实验为贪心解码；性别歧视回复最长 200 token。
• 评审：LIARS' BENCH 测试半由 GPT-5.6 与关键词解析器混合评判；AI Liar 由关键词评判。选项选择多用 Qwen2.5-7B。两评审 κ=0.83（Table 14）。作者称更换评审不反转已报告领先的方向。性别歧视由 Qwen2.5-32B-Instruct 标为 sexist、fair、refusal 或 broken。
• 可用性：WikiText-2 困惑度低于未编辑的 1.15 倍；诚实对照下降少于 5 个百分点；说谎指令下，对模型原本认为真和认为假的陈述，诚实率相对未编辑的下降各少于 5 个百分点。性别歧视另要求无害风格跟随和良性有助各下降不超过 5 个百分点。

主结果

表格较宽，可左右滑动

模型	LB 本文	LB 领先	AI 本文	AI 领先
Llama-3.1-8B	87.7%	+4.4	90.5%	+1.7
Phi-4-mini	90.8%	+8.2	78.5%	+10.0
Falcon3-3B	90.8%	+6.6	79.0%	+1.2
OLMo-2-7B	72.5%	+3.4	84.3%	+0.5
Qwen2.5-3B	94.4%	+1.7	81.7%	+4.2
五模型平均	84.9%	+6.2	79.4%	+4.6

据 Table 1。LB 为 LIARS' BENCH 诚实率，AI 为 AI Liar 诚实率。领先是本文减去该行其他方法中的最高者，单位为百分点。未编辑平均为 63.0%（LB）和 54.5%（AI）。

• 作者称五个模型、两个基准上本文都是该行最高。按模型看，作者称五个里三个的增益超出噪声，两个在噪声内。摘要写 AI Liar 领先 4.6 个百分点，引言写 4.5；Table 1 平均行为 +4.6。
• 幅度随模型变化。正文点名 Phi-4-mini 的领先最大。集合差在五个模型、两个基准上都低于本文；作者称这支持加权激活对比相对集合差选择。
• 名称冲突：上表 OLMo 行按 Table 1 抄为 OLMo-2-7B。Table 12 把 Table 1 背后的设置写成 OLMo-2-1B。论文未说明以哪一处为准。

指示性别歧视

表格较宽，可左右滑动

模型	本文	公平提示	未编辑	本文+提示
Llama-3.1-8B	32.8%	37.9%	84.5%	5.2%
Phi-4-mini	3.4%	4.3%	15.5%	0.0%
Falcon3-3B	21.6%	23.3%	50.0%	14.7%
OLMo-2-1B	48.3%	62.1%	72.4%	34.5%
Qwen2.5-3B	15.5%	23.3%	67.2%	5.2%
平均	24.3%	30.2%	57.9%	11.9%

据 Table 2，116 条测试，性别歧视回复率，越低越好。转向平均 50.9%。集合差在 Falcon3-3B 上没有通过检查的配置，故无平均。

• 作者称单独方法中本文在五个模型上都最低。相对公平提示的平均改善为 5.9 个百分点。Table 27 中，该领先的区间高于零的只有 OLMo-2-1B（+13.8，[+4.3, +23.3]）。
• 叠加：掩码加公平提示未单独调参，平均为 11.9%。作者称二者作用在不同输入上，可以叠加。诚实任务上，作者称 Llama 的说谎掩码再加诚实提示，与掩码单独相比落在噪声内。
• 代价：所选掩码的困惑度为未编辑的 1.04–1.14 倍，MMLU 下降 0.5–5.4 个百分点。验证通过了风格检查，但测试集上 Llama 的风格跟随从 95.8% 降到 79.2%，Qwen2.5-3B 从 87.5% 降到 66.7%（Table 28）。

提示格式迁移

• 测了什么：1,302 条经 LLM 核验的常识事实，七种格式；构造与评测的事实和措辞不相交。四模型，验证集所选设置，贪心解码（Table 3、Appendix H）。对照是单层 CAA。
• 单轮：构造格式以外的平均诚实率，本文 95.8%，CAA 83.4%，未编辑 65.3%。作者称每个模型都在“未编辑且被要求诚实”参照的 3.1 个百分点以内，困惑度比 1.01–1.09 倍。本文在任一模型上的构造格式极差至多 4.1 个百分点；Llama 上 CAA 的 build range 为 29.5，本文为 2.6。
• 多轮：Llama 从 21.4% 到 90.3%，Qwen2.5-7B 从 60.7% 到 86.5%。Phi 本文 66.2%，低于未编辑 68.0%；Falcon 51.3%，低于未编辑 58.4%。作者称单轮迁移一致，多轮是另一问题；该比较不能把差异归因于权重空间或激活空间。

人工评估

• 样本：计划五名评分者中的四名。诚实 55 条 LIARS' BENCH 回复评两次，并过度抽取两评审不一致的回复；性别歧视 43 条评两次（Appendix S）。作者写明诚实样本不是为直接比较方法。
• 一致性：四类 κ 为人与人 0.48、人与 GPT-5.6 0.38、人与 Qwen2.5-7B 0.20（Table 30）。性别歧视上，人与 Qwen2.5-32B 的 κ=0.71，人与人 0.67。
• 作者称：GPT-5.6 在本文掩码上与人的差在噪声内，但把转向和诚实提示的诚实率评得比人高 25 与 28 个百分点，因此 Table 1 若有偏差，是低估本文相对这两项的领先。加权后人类所见性别歧视率：本文 38%，公平提示 48%，未编辑 53%。公平有用评分 3.45、3.12、2.75。作者写明性别歧视差异 not yet significant，区间大约为 ±15 到 20 个百分点。

其他消融与分析

• 正分权重单独编辑与完整掩码在 LIARS' BENCH 上均为 85.0%；近零填充单独为 65.1%（Table 8，五模型平均，Qwen2.5-7B 评审）。
• 匹配消融中，分级对比比集合差平均高 13.6 个百分点（Appendix A.2；Table 21 用 Qwen2.5-7B 评审，未用 GPT-5.6 重评）。
• 多层 CAA 平均落后本文 4.2（LIARS' BENCH，Qwen2.5-7B 评审）和 5.3（AI Liar，关键词）个百分点（Table 6）。
• 不重新调参、选项取 Table 1：注入文档平均 +7.2 个百分点，95% CI [5.3, 9.1]；多轮平均 -14.3 个百分点（Table 10）。这与格式实验里部分模型的多轮增益不是同一设置。
• Table 1 选项上，MMLU 平均变化 -3.4 点（Table 4，2000 题）；IFEval 严格准确率平均 -6.2 点（Table 9）。
• 规模实验中，相对未编辑的增益随参数量上升；Qwen2.5-32B 在 LIARS' BENCH 上为 +75.5 个百分点。相对最强其他方法的领先不随之上升（Appendix N）。

作者指出的局限与后续方向

• 其他行为：实验做了指示说谎和指示性别歧视；其他行为目标的有效性仍待评估（Limitations）。
• 迁移范围：跨语言和多轮的迁移不稳定；抵抗指示说谎并不意味着一般地减少不诚实（Limitations）。Discussion 另写明，激励驱动的说谎未被触及，多轮结果是混合的。
• 选择性：部分编辑影响合法虚构请求、无害风格跟随和一般能力。作者建议用更丰富的参考提示，并在选择时做更广的能力检查（Limitations；Discussion 称选择性是主要改进方向）。
• 部署假设：干预假设对手不能修改或替换已部署权重（Limitations）。
• 选择与比较：性能依赖构造提示和验证集所选设置；各方法搜索预算不同，提示家族选择贡献了观测到的增益。比较的是无训练干预，而不是微调（Limitations）。
• 评测与格式研究：人工样本小；诚实回复的抽样是为检查评审分歧，而不是直接比较方法。受控格式迁移覆盖四个模型和一个行为目标；其多轮构造对同时改变指令和预填答案（Limitations）。Conclusion 提出后续工作是选择性与能力保持。

实验覆盖范围

• 主表：五个指令微调模型，LIARS' BENCH 与 AI Liar 的 test half，三个采样种子，temperature 0.7。LB 由 GPT-5.6 与关键词混合评判，AI Liar 由关键词评判（Section 3、Table 1）。
• 性别歧视：116 条 held-out、五个同家族模型、Qwen2.5-32B-Instruct 四类标签；与公平提示的组合未单独调参（Section 4.2、Table 2）。
• 格式：四个模型、1,302 条事实、七种格式；构造与评测的事实和措辞不相交（Table 3、Appendix H）。
• 附加任务：同一批 Table 1 选项下还报告了检索文档注入、sandbagging、MASK、AM/GoT、多轮和 MMLU；另有三家族到 32B 的规模实验（Appendix D、N）。两评审 κ=0.83（Table 14）。
• 未写明之处：正文未逐模型列出 Table 1 三种子领先的区间端点，只概括为三个超出噪声、两个在噪声内，并指向 Figure 5。Table 1 写 OLMo-2-7B，Table 12 将同一设置写为 OLMo-2-1B；论文未说明二者是否为同一检查点。答错题剔除后的剩余条数，论文未报告。

无训练的对比激活权重编辑，用来降低指令模型对指定不良指令的遵从。

• 问题：模型会按指示说谎或给出性别歧视内容。系统提示可被控制提示的一方去掉；激活转向则要在推理时改表示。作者希望把改动写进权重，使改写提示不能撤销它。
• 方法：同一内容配对不良指令与期望指令，只做前向传播，用权重大小乘通道激活对比打分，重缩放每个矩阵得分最高的 4%。说谎与性别歧视各建一张掩码。强度在验证半上、在困惑度和控制项约束下选取。不需要梯度或标注回复。
• 说谎：Table 1 五个模型、三个采样种子下，LIARS' BENCH 平均诚实率 84.9%，AI Liar 79.4%，相对该行最强对照的平均领先为 6.2 与 4.6 个百分点。作者称五个模型里三个的增益超出噪声，两个在噪声内。引言把 AI Liar 的领先写成 4.5 个百分点，摘要和 Table 1 为 4.6。
• 性别歧视与格式：平均性别歧视回复率从 57.9% 到 24.3%，加公平提示到 11.9%（Table 2）。四模型、不同于构造格式的单轮平均诚实率 95.8%，CAA 为 83.4%（Table 3）。Phi 与 Falcon 的多轮率低于未编辑模型。
• 代价与结论：所选性别歧视掩码的困惑度为 1.04–1.14 倍，并降低部分无害风格跟随。作者称该编辑可单独使用，也可与提示词防护并用；选择性、多轮和跨语言迁移仍待处理。比较未包括微调。