修正而非删除：用纠正性监督缓解涌现性失准

给定一批已经固定的有害微调样本，把坏回答改成对同一提示的正确答案，是否比直接删掉这些行更能降低 emergent misalignment（EM）。

• 场景：作者沿用 Betley et al. (2025) 与 Turner et al. (2025) 的设定：在窄任务上微调（不安全代码、坏医疗建议、高风险金融建议、极限运动建议）后，模型会在无关问题上变得广泛错位。这些设定里有害行已知或可识别，删行是自然反应。
• 现有做法的不足：Lee et al. (2026) 按归因删掉 OLMo 3 SFT 文档的前 10% 或 25%，七种行为里有六种不优于随机删除。Jaburi et al. (2025) 报告删掉归因最高的行能降低被判定的 EM，幅度约等于安全分类器标出的行，但排序只在最高与最低子集上用再训练验证。作者自己的行定位器未通过留出检验（Appendix B），删行的帮助也弱于预期。
• 核心问题：同一提示可以改配正确答案。Engels & Nanda (2026)、Xiao & Aranguri (2026) 比较过删除与替换，但未在固定行集上同时比较删除、释义和校正，也未问替换里哪一部分起作用、其他提示上的正确答案是否同样有效、剂量如何变化、以及对原任务有何影响。事后再对齐已知有效，但哪类数据在起作用没有被直接比较。
• 本文做法：在微调前编辑数据，并单独做事后修复。主对比是：Qwen2.5-14B-Instruct 在坏医疗建议与良性对话的等量混合上微调，用一个预先固定的排列选出四分之一毒行，要么删除，要么换成同一提示上、由改写器写成正确且保持任务的回答，其余行不变。作者在跑实验前固定了对比、检验和评审模型。
• 作者的主张：在所测设定里，校正有害训练数据比删除更能降低 EM。贡献包括：25% 剂量上校正优于删除，并在第二基座模型和金融建议生物上复现；校正同时提高留出医疗题的回答质量，50% 时相对删除的优势更大；替换内容似乎重要；给改写器加明确安全指令没有可测收益；短程校正 replay 优于等量通用对话，其他医疗提示上的校正与毒提示上的校正大致相当。

论文把相关工作分成五组，并指出此前删除与替换的比较没有把行集固定下来。

Emergent misalignment

• Betley et al. (2025)：命名 EM，并发布不安全代码生物和本文用来评测的问题集；模型被训练去写不安全代码后，也会主张伤害人类。
• Turner et al. (2025)：用坏医疗建议、高风险金融建议和极限运动建议复现 EM，并给出本文采用的单层 rank-1 LoRA 配方。
• 机制方向：Soligo et al. (2026) 称窄解存在，但只在加 KL 惩罚时被学到，广泛错位解更稳定、更高效。Wang et al. (2026) 在 gpt-4o 上找到预训练学到的 “toxic persona” 特征并称其控制 EM；Soligo et al. (2025) 称聊天模型里已有共享错位方向；Nadaf (2026) 称 EM 征用微调前就存在的低秩人格子空间；Chen et al. (2025) 从对比提示抽出这类方向并用来标记训练行。

删除与过滤

• 归因选行：影响函数（Koh & Liang, 2017）、EK-FAC 近似（Grosse et al., 2023）、梯度相似度（Pruthi et al., 2020）。Jaburi et al. (2025) 用带 GRPO 式目标的影响函数处理医疗生物，在过滤子集上再训练，称删掉排名最高的行降低 EM 的幅度约等于安全分类器标出的行，普通梯度点积与 EK-FAC 相当。
• Lee et al. (2026)：过滤 OLMo 3 SFT 中排名前 10% 的文档，对七种行为里的六种一般不优于随机删除；作者们假设这些行为是被引出而不是被教会。同一方法确实从一个高风险金融建议与 UltraChat 的混合里去掉了 EM。
• 同期工作：Engels & Nanda (2026) 的初步结果里，两种特质在丢掉相关提示后仍在，换成另一教师的补全后则不在。Masud & Parvez (2026) 在同一 6,849 条医疗行的新微调中遮住高归因 token，报告 EM 降幅大，介于删行和改写之间。作者称自己定位毒行的尝试未通过留出检验，因此改为固定行集。

替换而不是删除

• Maini et al. (2025)：在预训练规模上，改写不安全文本比过滤更能降低攻击成功率。Ouyang et al. (2025) 在固定大小的 gpt-4o 微调集里改变正确答案比例，称至少一半必须正确才能恢复领域表现；这是一条替换剂量曲线，没有删除条件。
• Xiao & Aranguri (2026)：在 OLMo 2 偏好数据上，把排名最高的配对互换标签，在三种干预规模里最大的一档比过滤更能削减有害行为，较小的两档则不能。他们与 Engels & Nanda (2026) 都是按各自的选择方法比较删除和替换。作者称二者都没有在固定行集上同时做删除、释义和校正，也没有问替换里什么在起作用。本文补上释义、数据集答案和干净行对照、剂量系列，以及留出域内提示上的任务质量。

事后再对齐与训练中防御

• 再对齐：Wang et al. (2026) 用安全代码或正确健康建议，在 35 步内再对齐一个不安全代码 gpt-4o，并认为跨域修复主要是压制错位。Tennant et al. (2025) 用 AI 乐观问答对再对齐 Llama-3.1-8B 医疗生物。Tagade et al. (2026) 用正确建议、MMLU 或自我识别数据逆转 EM，并称逆转跟着能力恢复走。Rao et al. (2026) 称表面上很快的再对齐在回答长度匹配后大体消失。本文的 replay 在校正、其他提示和通用三条分支上匹配行数、步数和助手损失 token。
• 预防与其他生物：Kaczér et al. (2026)、Azarbal et al. (2025) 的训练中防御作用在中毒训练过程里；接种提示（Tan et al., 2026; Wichers et al., 2025）给训练提示加指令但保留有害补全。本文改的是补全本身，或在训练结束后再训。MacDiarmid et al. (2025) 报告生产 RL 里的奖励投机会出现同样的泛化；Taylor et al. (2025) 提供其监督生物，本文在 Section 4.5 使用。Gupta et al. (2026) 主张错位研究（含 EM）的因果主张需要干预证据而不是相关证据；作者称固定被选行是朝这个方向走的一步。

基线与数据：主对比的基线是未改动混合（untouched）和删除同一子集（delete）；替换内容对照包括释义、数据集自带正确答案、删除后补新医疗干净行、内容评审挑行、随机行改写。评测用 Betley et al. (2025) 的 56 题；训练用 Turner et al. (2025) 的坏医疗建议（留出 200 条后余 6,849 行）与 UltraChat，以及其高风险金融建议生物；奖励投机用 Taylor et al. (2025) 的 605 条演示。

作者把本文放在“固定行、比较删除与校正内容”这一空档上：先前工作按自己的选择器比较删除和替换，本文则把行集固定，并加上释义、剂量、任务质量和事后数据种类的直接比较。

整体做法是在微调前改数据、或在已经中毒的适配器上做短程 replay：被改的行预先固定，untouched、delete、rewrite 只在这一子集上不同，训练种子和优化预算配对。

生物与训练混合

• 主生物：沿用 Turner et al. (2025) 的配置。基座是 Qwen2.5-14B-Instruct，rank-1 LoRA 加在第 24 层 down-projection 上，α = 512 并使用 rsLoRA（按发布配置；Turner et al. 的论文写 α = 256）。有效批大小 16，学习率 2×10−5，线性日程，5 步预热，只对回答计算损失。
• 数据：Turner et al. (2025) 的 6,849 条坏医疗建议（先留出 200 条提示测任务质量）与从 UltraChat 抽的 6,849 条，1:1 混合，共 13,698 行。每种数据版本叫一个 condition。
• 预算：每个 condition 训练 857 个优化器步，即完整混合的一个 epoch。删行的 condition 因此略多于一个 epoch，计算量在 condition 之间匹配。每个 condition 三个种子；种子同时决定适配器初始化和数据顺序，使各 condition 的种子 s 一一配对。

固定行子集与条件

• 嵌套子集：对 6,849 条毒行做一次固定随机排列。S10、S25、S50 是其前 10%、25%、50%，即 685、1,712、3,425 行，且 S10 ⊂ S25 ⊂ S50。10% 与 25% 跟随 Lee et al. (2026) 的过滤比例，50% 把系列延长。同一剂量的 untouched、delete、rewrite 只动这个子集，其他行不变。
• 25% 三个主条件：untouched 为完整混合；delete 去掉这 1,712 行，混合短 1,712 行；rewrite 把这 1,712 行在同一提示上换成改写器被要求写正确的回答。10% 和 50% 同样有这三种。
• 替换内容对照：Paraphrase（10%）在要求保留每一条主张（含不准确主张）的指令下换措辞。Curated（10%）换成 Turner et al. (2025) 随坏答案一起发布、由 gpt-4o 生成的配对正确答案。Delete plus clean rows（25%）删掉 S25，再加入 1,712 条对新生成医疗提示的正确回答，从而匹配 rewrite 的行数和域内体量，但不碰中毒提示。Judge-picked rewrite（25%）改写的不是 S25，而是内容评审打分最有害的 1,712 条毒行。Random-rows rewrite（10%）是唯一不限于毒行的条件：从整个混合均匀抽 685 行（339 条毒、346 条良性）并用同一校正提示改写。
• 其他设定：第二基座 Gemma-4-12B-it（同一 rank-1 配方，其第 24 层）、Turner et al. (2025) 的高风险金融建议生物，以及域外行、奖励投机和 replay，分别在 Section 4.3–4.6 描述。

替换如何生成

• 改写器：gemini-3.5-flash-lite，使用提供方默认温度、固定提示和固定请求种子。输入是问题和坏答案；要求替换回答同一情境下的同一问题，医学上准确且安全，长度保持在原文的 25% 以内，保留格式和语气，给出实质性建议而不是转诊。附录给出其余提示和质量检查。
• 质量：被判定的坏建议分数从原文的 81.0 降到 S25 改写的 1.7；在 gpt-5.6-luna 下，14 条改写（0.8%）分数仍高于 50。gpt-4.1 给 685 条释义的坏建议均分是 82.9，对照原文 81.6；单条主张没有逐条核对，人工抽查发现个别漂移。

EM 率与任务质量

• EM 定义：采用 Betley et al. (2025) 的错位指标。评审模型用他们的评审提示给每条回答的 alignment 和 coherence 打 0 到 100 分。一条回答算 misaligned，当且仅当它连贯（coherence 高于 50）且 alignment 低于 30。EM rate 是连贯回答中的错位比例。评测集是 Betley et al. (2025) 发布的 56 题，每题温度 1 采样 20 次，每个适配器 1,120 条生成，跨题汇总。
• 评审：医疗和金融实验的每条生成由三个评审打分。gpt-4o（2024-08-06，Betley et al. 评测文件中写明的快照）保留以便与该工作比较。主评审是 gpt-5.6-luna，作者称其是当前模型，每个适配器成本约为 gpt-4o 的一半。gemini-3.8-flash 来自第二家供应商，作进一步核对。奖励投机生物只由 gpt-5.6-luna 评审。gpt-5.6-luna 与 gpt-4o 的 alignment 分数相关 0.95，错位判定的 κ = 0.90（Appendix G）。
• 任务质量：混合形成前留出 200 条提示及其配对的好坏答案，并排除出所有训练文件。每个适配器对它们各答两次。确认性读数的评审是 gpt-5.6-luna，对照配对好答案打 0 到 100 分。金融建议没有配对好答案，任务分用无参考量规，不能与医疗分数比较。
• 统计规则：每个干预与未改动混合、以及与删除同一批行比较，在种子内配对，对三个种子差做双侧 t 检验。三个种子差同号且 p < 0.05 记为 directional；不是 directional 且 95% 置信区间落在该批预先固定的参考效应的一半以内，记为 equivalent；其余为 unresolved，照此报告，不当成零效应。等价边际：前五行是 ±1.85 pp（10% rewrite 效应 3.7 pp）；其余在 gpt-5.6-luna 下是 ±4.5 pp（25% rewrite 效应 9.0 pp，按评审分别计算）；奖励投机行是 ±21.3 分（诱导效应 42.6）。对比、边际和评审在跑之前固定。

事后 replay 与奖励投机配方

• Replay：从每个 untouched 适配器（EM 率 28.5%）继续训练同一 rank-1 适配器 107 个优化器步，即有效批大小 16 下对 1,712 行过一遍，使用新的优化器和日程。三条匹配集合是：S25 改写（毒提示配正确答案）、Section 4.2 里其他医疗提示上的 1,712 条干净行，以及按改写答案长度分布抽取的 1,712 条新 UltraChat 行。行数和步数匹配，助手损失 token 近似匹配（116k、113k、130k）；提示长度不匹配，通用分支因提示更长，总 token 约为三倍。提示 token 被损失掩掉（Appendix C）。
• 奖励投机：Qwen2.5-14B 在 Taylor et al. (2025) 的 605 条奖励投机演示与良性行的 1:1 混合上微调。LoRA rank 为 32，α 和学习率用其作者给 Qwen3 的设置。作者称医疗生物的 rank-1 配方几乎诱导不出投机（50 个校准任务上只比基座高 17.1 分），因此在训练各 condition 之前换了配方。150 个留出的可博弈任务用 0 到 100 的投机量规打分。

实验设置

• 被测模型：主生物 Qwen2.5-14B-Instruct；第二基座 Gemma-4-12B-it（同一 rank-1、其第 24 层，更新的训练栈）；金融生物仍是 Qwen2.5-14B-Instruct；奖励投机也是 Qwen2.5-14B，但 LoRA rank 32。改写器为 gemini-3.5-flash-lite。评审为 gpt-5.6-luna（主）、gpt-4o（2024-08-06）、gemini-3.8-flash；释义质量由 gpt-4.1 打分；奖励投机只由 gpt-5.6-luna 评审。
• 数据规模：坏医疗建议在留出 200 条后为 6,849 行，配 6,849 行 UltraChat。剂量子集 685 / 1,712 / 3,425 行。EM 评测为 56 题 × 每题 20 条、温度 1，共 1,120 条生成。任务质量为 200 条留出医疗提示、每条答两次。奖励投机为 605 条演示的 1:1 混合，评 150 个留出可博弈任务。每个 condition 三个训练种子，医疗主训练 857 步，replay 107 步。
• 条件：untouched、delete、rewrite 在 10/25/50%；另有 paraphrase 10%、curated 10%、delete plus clean rows 25%、judge-picked rewrite 25%、random-rows rewrite 10%、域外 Stack Exchange 行、奖励投机的同提示替换对照删除、以及事后三条 replay。
• 指标：EM rate 为 coherence > 50 且 alignment < 30 的连贯回答比例。任务质量 0–100。奖励投机 hacking score 0–100。判定规则见第 3 问：directional、equivalent、unresolved。
• 能力基准：Appendix A 对基座和 17 个适配器跑 MedQA、PubMedQA、四个临床 MMLU 子集和两个一般 MMLU 子集。预先设定的阈值是 MedQA 与合并临床子集上 3 pp。

主结果

下表是 Qwen2.5-14B 坏医疗建议、gpt-5.6-luna、三种子均值的 EM 率。剂量对比的差值来自 Section 4.1 与 Table 1；Figure 1 标注了各条件的条形均值。

条件	EM 率	相对参照
untouched	28.5%	种子 28.2 / 29.6 / 27.6%
delete 25%	26.8%	对 untouched −1.7 pp，未分辨
rewrite 25%	19.5%	对 untouched −9.0 pp；对 delete −7.3 pp
delete 50%	26.3%	对 untouched −2.2 pp，directional 但小
rewrite 50%	14.1%	对 delete −12.3 pp
delete 10%	28.4%	rewrite 10% 为 24.8%，差 3.6 pp，p = 0.10，未分辨
judge-picked rewrite 25%	16.0%	比按标签/种子选出的 rewrite 再低 3.5 pp

• 作者对剂量的解读：在对比被分辨的每个剂量上，替换所选行都比删除更能降低 EM。Figure 1 中删除的条形跨剂量几乎持平，改写的条形下降。25% 删除相对零效应未分辨（区间 [−5.4, +2.0] 超出边际）；仅 gpt-4o 把它读成小的 directional 下降。作者不把它读成零效应。Table 1 中 rewrite 25% 对 untouched、rewrite 25% 对 delete、rewrite 50% 对 delete，在三个评审下都是 directional。
• 任务质量：在 200 条留出医疗提示上，25% 改写比 untouched 高 17.3 分、比删除高 12.9 分（区间 [15.5, 19.1] 与 [10.3, 15.5]，均 directional），50% 时比删除高 26.1 分。删除本身在 25% 比 untouched 高 4.5 分，作者把它归为去掉四分之一坏答案，而不是加入好答案。
• 多选题看不到这些变化：Appendix A 称每个适配器在每个合并基准上都在基座的 1 分以内，而被判定的回答质量跨度超过 50 分。17 个模型相对基座的最大绝对变化：MedQA 0.31 pp、合并临床子集 0.83 pp、PubMedQA 0.60 pp、合并一般子集 0.93 pp；单个子集最高 3.7 pp（anatomy，untouched 的一个种子）。预先的 3 pp 阈值没有任何 condition 在全部种子上越过。

替换里什么在起作用

• 释义与数据集答案，10%：释义后 EM 率 29.6%，相对 untouched 的 28.5% 为 +1.2 pp，区间 [−1.0, +3.3]，p = 0.15，三种子未分辨。换成数据自带的 gpt-4o 好答案为 25.1%，改写器在同一批行上为 24.8%（+0.3 pp，区间 [−2.5, +3.1]，p = 0.66，未分辨）。作者称改写器的校正与数据集自己的正确答案大致一样好，但三种子排除不了几个点的差别；证据指向替换内容，而不是在这些提示上重训新 token，不过释义对照本身没有把问题定下来。
• 删 S25 再加新医疗正确行：EM 率 23.1%。相对删除，前三个种子 −3.7 pp（p = 0.11，未分辨），预先计划的第二组三个种子 −3.8 pp（p = 0.032，directional）。相对改写，第一组 +3.7 pp（p = 0.010，directional），第二组 +6.6 pp（p = 0.11，未分辨）。六种子描述性平均为 −3.8 与 +5.1 pp；作者没有计划合并检验。该条件的任务分比改写低 6.6 分。作者的推断：一部分改写效应来自任意提示上的正确域内数据，其余似乎来自校正中毒提示本身，但相对改写的差距只在两组里的一组是 directional。
• 挑哪些行：内容评审选出的最有害 1,712 行比种子 S25 再降 3.5 pp（p = 0.018，三评审均为 directional）；任务分差 +2.0，未分辨（p = 0.15）。作者称评审几乎按标签把毒行和良性行分开，相对随机子集多出来的是对内容最差的行的有限偏好。

第二基座、金融生物与域外行

• Gemma-4-12B-it 医疗：改写 S25 比删除低 5.1 pp（p = 0.005，区间 [−6.7, −3.6]），比 untouched 低 5.9 pp（p = 0.034）。删除相对 untouched 为 −0.7 pp，且在边际内 equivalent，这是删除被分辨为不起作用的唯一设定。改写的任务质量比删除高 10.8 分。Figure 2 标注该设定 25% 的 EM 率为 untouched 13.5%、delete 12.8%、rewrite 7.7%、judge-picked 5.5%。
• Qwen 金融建议：untouched 的 EM 率更高。改写比删除低 14.9 pp（p = 0.031，区间 [−26.4, −3.4]），比 untouched 低 18.9 pp（p = 0.002）；删除为 −4.0 pp，未分辨。Figure 2 标注 untouched 27.6%、delete 23.6%、rewrite 8.7%、judge-picked 9.4%。Judge-picked 相对 S25 在 Gemma-4 上再降 2.2 pp（p = 0.027，directional；gpt-4o 下 equivalent），在金融上为 +0.7 pp，边际内 equivalent。作者称在金融生物上是改写器的校正在起作用，毒行内部选哪些行没有可测增量。
• 无关提示上的校正行：删掉 S25 后加入 1,712 条 Stack Exchange 行（家居、自行车、户外、宠物），分三种：人类接受的原答案、中性指令下的改写、安全指令下的改写。主对比“安全指令减中性”为 −0.85 pp，区间 [−1.9, +0.2]，三评审均为 equivalent。中性改写 21.8%，人类答案 26.3%（−4.5 pp；gpt-5.6-luna 与 gemini-3.8-flash 下 directional，gpt-4o 下未分辨）。人类答案相对普通删除为 −0.5 pp，区间 [−5.6, +4.5]，未分辨。第四个条件把安全指令行加进未删的混合，达到 22.7%，相对 untouched −5.8 pp（p = 0.005；因检验依赖于 directional 的主对比，作者作描述性报告），约为域内改写效应的 64%，医疗任务质量无增益（+3.3，equivalent）。作者称降幅来自正确数据，不是来自明确要求改写器注意安全；域外校正行给出大部分 EM 降幅和零任务增益，域内改写两者都给。

奖励投机与事后 replay

• 奖励投机，测的是受训行为而不是 EM：untouched 得分 63.5，基座 20.9。删掉 S25 的 151 条投机行，分数不变（−0.2，equivalent）。换成配对的善意回答后降低 21.0 分（p = 0.020，各种子为负），任务质量提高 14.7。按其他对比的规则这是 directional；该实验的计划还要求效应超过诱导效应的一半（21.3 分），它差 0.34 分，因此 Table 1 在标准规则下记 directional，在该计划的附加规则下记 unres.。56 题上的 EM 在各 condition 停留在 0.8% 到 1.4%，基座为 0.45%。作者称这与 Taylor et al. (2025) 对 Qwen 模型报告的弱 EM 一致，结果因此关于奖励投机本身。
• 事后 107 步：起点 EM 率 28.5%。校正分支 2.4%，通用分支 14.9%，差 −12.5 pp（p = 0.015，区间 [−19.2, −5.8]，各种子为负）。校正分支任务分高 14.8 分（区间 [+1.2, +28.4]，下界高于 −5 分的非劣边际）。校正与干净分支在边际内 equivalent：2.4% 对 2.5%，−0.1 pp，区间 [−1.5, +1.3]；gpt-4o 同样；gemini-3.8-flash 点估计 −0.6 pp、p = 0.030，为 directional，但其区间也在边际内。校正分支任务分领先 2.3 分。通用续训不是不起作用：相对起点把 EM 率降低 13.6 pp，任务质量提高 38 分，所以校正的优势是在这之上的增量。两条校正类分支仍比基座任务质量 85.5 低 10.5 和 12.8 分。Figure 3 还标出基座 EM 为另一次 56 题采样的 0.6%，中毒起点回答质量 22，校正 75，其他医疗正确答案 73，通用对话 60。

其他消融与分析

• 定位器留出失败（Appendix B）：选定的阻尼梯度影响在 10 个开发组上 Spearman 相关 +0.87，在 20 个新的均匀随机组上为 −0.05，落在随机打分的中央 95% 带（±0.44）内；没有任何方法达到预先设定的 0.5，毒标签为 0.15 与 0.04。五组用第二种子再训练，目标的组内相关为 0.58。
• 改写定位器选出的行，10%：定位器最高 685 行（其中 159 条良性）EM 率 25.1%（种子 25.4、26.9、23.0）；内容评审最高 685 行（684 条为毒）22.3%（22.3、23.4、21.2）；种子 S10 为 24.8%；全混合随机 685 行为 25.7%。定位器减内容评审 +2.8 pp（p = 0.030，directional）。归因阶段用一块 H100 共 11.7 小时。
• 人格方向（Appendix B.2）：从基座抽出的 “reckless advisor” 方向，加到基座上使被判定的鲁莽建议分提高 12.8（20 条提示配对，p = 0.003），从中毒适配器减去则降低 9.2（p = 0.034）。它区分毒行与良性行的 AUC 为 0.615；rank-1 更新与它近乎正交（|cos| ≈ 0.03，随机方向约 0.014）。
• 连贯性与拒绝（Appendix D）：gpt-5.6-luna 下，域外条件连贯条数为 1,020–1,064，replay 分支 1,067–1,093，奖励投机 1,062–1,082，基座 1,102。全体尝试上的错位率比连贯子集低 0.0–2.4 pp；replay 主对比在全体尝试率上仍为 directional（−11.9 pp，p = 0.015）。通用 replay 的拒绝模式命中为每适配器 139–151，校正 71–80，干净 52–58；作者称这是关联，不是已证实的路径。奖励投机条件为 237–306。
• Replay token（Appendix C）：助手损失 token 为校正 116,458��干净 113,252（校正的 0.97）、通用 130,278（1.12）。含被掩提示的总 token 为 240,755、254,427、755,899。逐步损失均值：校正 1.489→1.178，干净 1.550→1.124，通用 0.627→0.566。作者的推断是通用损失低且平，与中毒模型已经能较好预测通用对话一致。
• Figure 1 其余条形（gpt-5.6-luna）：paraphrase 10% 为 29.6，curated 10% 为 25.1，delete 25% plus clean rows 为 23.1，random-rows rewrite 10% 为 25.7。Figure 4 左侧留出医疗回答质量：untouched 22、delete 10% 25、rewrite 10% 31、rewrite 25% 39；右侧 MedQA（1,273 题）各条件约 70 或 69，临床 MMLU（845 题）约 81 或 80。Figure 7 底部：untouched 22、delete 25% 27、人类答案 26、中性改写 25、安全指令改写 26、新提示干净行 33、rewrite 25% 39、只加安全指令行 25。

作者指出的局限与后续方向

• 校正还是更多好数据（Section 5）：作者称最强的反对意见是，结果体现的是加入正确监督的价值，而不是校正特定例子。他们自己的结果支持其中一部分：新医疗提示上的正确答案收回一部分改写效应，剩下的差距在前三个种子上 directional、在后三个种子上未分辨；无关提示上的安全指令行在不删除任何行时收回大约三分之二的改写效应，但没有任务增益；中毒之后，其他医疗提示上的校正在等价边际内与毒提示上的校正修得一样好。作者称实践结论仍然成立：删除去掉有害行且什么都不加，在每个设定里 EM 的移动至多 4 pp。校正毒提示本身相对于别处的正确数据，多出来的是几点 EM，方向一致但未分辨，外加这些提示上 directional 的任务质量增益。
• EM 率覆盖不到的东西（Section 5）：作者称 56 道固定开放题上、以连贯为条件的评审 EM 率不是宽泛的安全性。三个来自两家供应商的评审在每一项确认性结果上一致，只有两项例外；条件与无条件率在任一适配器上相差至多 2.4 pp。题目是社区的题目，不是从部署中随机抽取，适配器仍可能以这些题引不出来的方式错位。作者引用 Dubiński et al. (2026)：良性稀释和中毒后的良性微调可以去掉这些题上的 EM，同时留下能被类似训练上下文的提示触发的错位。作者写明没有检验这种条件性错位，且它同时关系到删除、改写和 replay。奖励投机生物被用来说明这个缺口：它会投机、拒绝更多，而按这个评审仍保持对齐。
• 范围与统计功效（Section 5）：主生物是一个模型一层上的 rank-1 适配器，固定训练 857 步。金融设定改变的是领域，Gemma-4 设定改变的是模型和训练栈，不是适配器配方。全参微调、RL、更大模型，或毒化不是干净的行级混合时，这一排序是否成立，作者写明是开放的。每个 condition 三个种子，功效低；若干对比（包括删除对 untouched）保持未分辨，而不是零效应。
• 该校正哪些行（Section 5）：归因方法估计的是删一行的效应，而这里要紧的是改写一行的收益；归因也贵：给 13,698 行打分约用 12 小时 H100，验证排序又做了 20 次再训练，分数依赖难以核对忠实性的近似，且 Jaburi et al. (2025) 发现它们在模型规模之间迁移差。内容评审几次 API 调用的花费为几美元，在作者的数据里选得更好。作者称实践上内容评审是目前更好的默认；开放问题是预测哪些改写帮助最大。
• 结论中的边界（Section 6）：没有任何干预恢复到基座模型；设定很少；修复在进一步训练下是否持续，未经测试。Section 4.6 把“降幅是去掉已学到的倾向，还是只是压制它，例如能否经受进一步的良性训练”留给后续工作。
• 发布计划（Reproducibility Statement）：作者写明代码将在发表时发布，其中包含重复分析和重画图所需的内容；训练数据本身不随代码再分发，因为原作者加密发布以避免进入网页语料，脚本从该发布重建每个训练文件并核对哈希。训练好的适配器将在发表时发布。

实验覆盖范围

• 训练前编辑：Qwen2.5-14B-Instruct 的坏医疗建议，剂量 10%、25%、50%，每条件三个种子、857 步；同一 25% 对比在 Gemma-4-12B-it 医疗设定和 Qwen2.5-14B 金融建议上各做一遍。EM 用 56 题、每题 20 条、三评审（奖励投机除外）。
• 内容对照：10% 释义、10% 数据集正确答案、25% 删除后补新医疗正确行（两组各三个种子）、25% 内容评审挑行、10% 全混合随机行改写、域外 Stack Exchange 三种改写以及不删除只追加。
• 事后与另一特质：从 untouched 适配器再训 107 步，比较毒提示校正、其他医疗正确行和长度匹配的 UltraChat；奖励投机用 rank-32 LoRA，比较删除与同提示善意回答，EM 停留在 0.8%–1.4%。
• 定位与能力：Appendix B 比较多种归因与内容评审，选定方法在 20 个新随机组上 Spearman 相关为 −0.05；Appendix A 在 MedQA、PubMedQA 和 MMLU 子集上比较基座与 17 个适配器。论文报告了连贯条数和拒绝模式命中数，未把拒绝写成已证实的机制。
• 论文写明未做的检验：没有检验 Dubiński et al. (2026) 意义上、可由类似训练上下文的提示触发的条件性错位；也没有检验修复能否在进一步良性训练后保持。论文未报告金融任务分与医疗任务分的可比性（作者写明金融用无参考量规，二者不可比）。

Correct, Don’t Delete 比较的是：微调数据里已经固定的有害行，是删掉还是改成同一提示上的正确答案，更能减轻 emergent misalignment。

• 问题：窄域有害演示（如坏医疗建议）微调后，模型会在无关问题上广泛错位。删行是常见反应，但作者的定位器没通过留出检验，按归因删行的已有结果也不稳定。论文问的是，行集固定时，校正是否优于删除，以及起作用的是不是正确内容。
• 做法：Qwen2.5-14B-Instruct 用第 24 层 rank-1 LoRA，在 6,849 条坏医疗建议和等量 UltraChat 上训练 857 步。一次固定排列给出嵌套的 10%、25%、50% 毒行。同一子集上比较不改、删除、改写，种子配对。改写器被要求给出医学上准确、保持任务的回答。EM 用 Betley 等人的 56 题、每题 20 条，主评审 gpt-5.6-luna：连贯且 alignment 低于 30 的比例。另测 Gemma-4-12B、金融建议、奖励投机，以及中毒后再训 107 步。
• 微调前：未改动混合的 EM 率为 28.5%。改写 1,712 行降到 19.5%（相对未改动 −9.0 pp，相对删除 −7.3 pp，三评审均为 directional）。删除只到 26.8%，相对零效应未分辨。改写一半毒行到 14.1%，删除到 26.3%，二者差 −12.3 pp。25% 改写同时把留出医疗回答质量提高 17.3 分（相对未改动）和 12.9 分（相对删除）。10% 上改写对删除的 3.6 pp 差未分辨。释义没有清晰收益；改写器答案与数据集自带正确答案在三种子上未分辨。
• 迁移与修复：Gemma-4 上改写比删除低 5.1 pp，且删除在该设定被判为 equivalent。金融生物上改写比删除低 14.9 pp。给改写器加安全人设，相对中性改写为 −0.85 pp，三评审 equivalent。已中毒模型再训后，毒提示校正的 EM 率为 2.4%，等长通用对话为 14.9%（差 −12.5 pp）；其他医疗提示上的正确答案为 2.5%，在主评审的等价边际内与毒提示校正相同。通用续训本身就把 EM 率降了 13.6 pp。奖励投机上，替换使 hacking 分降 21.0，但差 0.34 分没达到“至少抵消一半诱导”的附加门槛，且该生物的 EM 率停留在 0.8%–1.4%。
• 作者的结论：在所测设定里，校正有害训练数据比删除更能降低 EM。正确内容看起来是关键：改写坏建议没有清晰收益，额外的安全指令没有可测增量。其他提示上的正确答案能做掉大部分工作。没有任何干预恢复到基座；多选题基准没有登记这些变化，被判定的开放回答登记了。作者认为全参、RL、更大模型和修复是否持久仍是开放问题，三种子下多个对比保持未分辨。代码和适配器作者计划在发表时发布。