Token 之下的真相：语言模型中被编辑知识的提示空间恢复

1. 01这篇论文试图解决什么问题？

   模型编辑是真正消除了旧知识还是只是抑制了它？作者用纯输入空间干预来审计。

   核心问题：模型编辑是否真正消除了编辑前的事实知识，还是仅仅抑制了它在标准提示下的可取回性？ 作者认为现有编辑逆转方法都依赖权重空间干预，无法回答这个问题。

   • 问题场景：模型编辑被用于删除个人身份信息和纠正过时事实（引言）。编辑成功通常按行为判定——模型对新提示给出新目标即算成功，但这不能说明旧知识是否还在。
   • 现有方法的不足：作者指出 One Mask、Youssef et al. (2026)、Jiang et al. (2026) 等编辑逆转工作都把恢复形式化为权重空间操作，修改模型权重来撤销编辑，因而无法说明在不撤销参数更新的情况下旧知识是否仍可恢复。
   • 核心假设：作者假设编辑可能只是抑制了事实关联的可取回性，而没有完全消除其可访问性；若如此，合适的输入干预就可能引出原始关联（Section 3.1）。
   • 论文提出的方法：MEMENTO，一个提示词空间（prompt-space）审计机制，学习可复用的恢复信号（连续前缀或离散文本提示词），把被编辑模型引导回编辑前回答，且不修改模型参数。
   • 延伸问题：作者进一步考察提示词空间恢复能否超出编辑场景——在原始未编辑模型上提升事实召回，以探测"模型编码的知识"与"标准推理能取回的知识"之间的差距（基于 Calderon et al. (2026) 的区分）。

   收起这一问

2. 02有哪些相关研究？

   相关工作分三组：模型编辑、编辑逆转与恢复、提示词优化；基线是 One Mask。

   模型编辑

   • 参数保持类方法（Mitchell et al., 2022；Hartvigsen et al., 2023；Zheng et al., 2023）通过添加记忆模块或依赖上下文能力更新事实；参数修改类方法如 ROME、MEMIT（Meng et al., 2022, 2023）直接改权重。
   • 后续工作通过零空间投影、权重正则化和约束矩阵更新改进编辑的局部性（Fang et al., 2025；Gu et al., 2024；Ma et al., 2025）。
   • Cohen et al. (2024) 与 Baser et al. (2026c, a) 研究涟漪效应和多跳推理，显示编辑可能产生目标事实之外的意外后果。作者说明本文研究参数修改类编辑，因为不进入权重的编辑不存在"权重保留了什么"的问题。

   编辑逆转与恢复

   • One Mask（Holmov et al., 2026）学习编辑后 MLP 权重上的共享稀疏二值掩码，跨多个事实逆转编辑；Youssef et al. (2026) 基于编辑权重矩阵的低秩近似做逆转；Jiang et al. (2026) 用门控奇异向量收缩选择性逆转编辑。
   • 提示词侧的逆转：Youssef et al. (2025) 针对上下文内编辑；Baser et al. (2026b) 通过搜索查询的替代分词恢复编辑前回答。论文指出后者的重建过程有额外推理开销，需要对每个目标事实在替代分词上多次生成。

   提示词优化

   • 连续方法如 prompt tuning、prefix tuning（Li and Liang, 2021；Lester et al., 2021）在权重冻结下学习可训练的输入嵌入。
   • 离散方法优化词表 token 序列：Zou et al. (2023) 用梯度引导搜索构造对抗后缀；Yu et al. (2026) 显示优化单个连续前缀即可在骨干冻结时调整模型行为。

   基线与基准：对比基线是 One Mask（权重空间编辑逆转）；事实数据来自 CounterFact（Meng et al., 2022）的训练/测试划分，各 1,000 条。

   作者将本文定位为：把基于提示词的优化用于恢复编辑前知识，与权重空间逆转不同，MEMENTO 完全不修改参数，并评估恢复信号能否跨编辑技术泛化。

   收起这一问

3. 03论文如何解决这个问题？

   MEMENTO 学习跨事实共享的连续前缀或离散文本提示词，用四项损失把被编辑模型引导回编辑前回答。

   整体思路：MEMENTO 不修改模型参数，而是学习一个可复用的恢复信号——连续变体学习软输入表示，离散变体学习前置在输入上的文本提示词——把被编辑模型引导回编辑前的事实回答（Figure 1）。

   问题设定与形式化

   • 事实表示为三元组 (s, r, o)，编辑请求 e = (s, r, o, o*)，编辑技术 E 产生被编辑模型 f_θ′ = E(f_θ, e)，使其对 p(s, r) 优先预测 o*。
   • 目标：在不修改权重的情况下从被编辑模型恢复原始对象 o。作者称之为知识恢复，以区别于权重空间的编辑逆转。
   • 连续恢复前缀 Π ∈ R^(N×d)（N 为前缀长度，d 为嵌入维度），输入为 x = [Π; WE[q]]；单个前缀在一组编辑事实 Dtrain 上共享优化，作者称它捕捉的是共享的恢复方向而非各编辑的答案。

   连续恢复训练目标

   总目标为 L = L_rec + λ_pref L_pref + λ_flu L_flu + λ_dist L_dist，四项分别负责：提升编辑前回答的似然、让原始对象相对编辑目标更受偏好、限制对无关输入行为的改变、让加前缀的被编辑模型向编辑前模型蒸馏对齐。

   • Lrec：对原始对象 o 的长度归一化对数似然取负。
   • Lpref：带 sigmoid 的偏好分离项，β 控制偏好尺度、γ 指定间隔，明确让 o 的似然高于 o*。
   • Lflu：在与编辑事实无关的通用文本 u 上，惩罚加前缀前后输出分布的 KL 散度。
   • Ldist：在最后一个提示词位置，对编辑前模型（温度 T 缩放）与加前缀被编辑模型的下一 token 分布做 KL 蒸馏；编辑前模型只在训练时提供蒸馏目标，推理时不需要。

   离散恢复目标

   • 学习 token 序列 a = (a1, ..., an) 前置到查询上，目标为 Lrec + λpref·Lpref 在一组编辑事实上的期望。
   • 搜索约束在可文本实现的 token 序列集合 A = {a : tok(dec(a)) = a} 上，保证序列经解码再分词后保持不变，从而能通过标准文本接口使用。
   • 用贪心坐标梯度（Zou et al., 2023）优化：按对 one-hot token 指示的梯度排序提出替换候选，在编辑事实批上精确评估，最终取在 Dtrain 的一个未参与搜索的子集上 Ldisc 最低的序列。

   关键超参数（附录 A）

   • 连续：N = 16，以"!"的嵌入重复初始化，Adam 恒定学习率（η = κ·std(WE)，κ = 0.2075），批大小 8 条事实，最多 1,000 步，β = 2.0、γ = 0.5、λpref = 1.0、λflu = 0.1、λdist = 1.0、T = 2.0；每 25 步验证、8 次无改进早停。
   • 离散：序列长 16 token，每步 8 条事实、每位置 top-256 替换、每步 256 个候选，最多 1,000 步。
   • 前缀长度 N 通过 MEMIT 编辑模型上的校准实验选定：N = 16 在三个模型上分别为 0.79、0.80、0.84（Table 2），作者据此选 N = 16 作为统一长度。

   收起这一问

4. 04论文做了哪些实验？

   三个模型 × 五种编辑技术：连续变体恢复 80.07%，离散 49.0%，原始模型召回提升 53.9%。

   实验设置

   • 被测模型：GPT2-XL (1.5B)、GPT-J (6B)、Llama3 (8B, Instruct)，全部以 FP32 加载（附录 A.1）。
   • 编辑技术：MEMIT、AlphaEdit、PRUNE、RECT、CoME 五种，先用训练集编辑模型，再在被编辑模型上训练恢复前缀。
   • 数据：CounterFact 训练/测试划分，各 1,000 条事实；评估在训练外的留出事实上进行。
   • 指标：Top-1 Recovery（加前缀的被编辑模型与编辑前模型的 top 预测一致的留出事实比例）；跨方法设置下称 CMR；研究问题 3 用 LLM-as-a-Judge（judge 为 deepseek-ai/DeepSeek-V4.1-Flash）和 Canonical-Answer Correctness（规范化后须以标准答案开头）。
   • 基线：One Mask（权重空间编辑逆转）。
   • 生成设置：最多 32 个输出 token；编辑有效性预先验证，五种技术在三个模型上 efficacy 为 0.85–0.97（Table 1）。

   主结果

   Table 3：MEMENTO 与 One Mask 的 Top-1 恢复 / CMR（留出事实，N = 16）。

   表格较宽，可左右滑动

   模型	方法	MEMIT	AlphaEdit	PRUNE	CoME	RECT
   GPT2-XL	One Mask	0.79/0.76	0.78/0.68	0.77/0.76	0.83/0.78	0.79/0.79
   GPT2-XL	MEMENTO	0.79/0.77	0.80/0.78	0.72/0.74	0.77/0.75	0.80/0.78
   GPT-J	One Mask	0.72/0.72	0.71/0.70	0.73/0.72	0.72/0.70	0.78/0.75
   GPT-J	MEMENTO	0.80/0.78	0.82/0.77	0.74/0.77	0.79/0.78	0.81/0.82
   Llama3	One Mask	0.62/0.56	0.78/0.68	0.64/0.57	0.65/0.59	0.65/0.69
   Llama3	MEMENTO	0.84/0.82	0.85/0.83	0.78/0.78	0.84/0.80	0.86/0.81

   • 作者称连续 MEMENTO 平均恢复 80.07% 的留出事实，相对 One Mask 提升 9.58%，CMR 相对提升 12.73%。
   • GPT-J 和 Llama3 上 MEMENTO 在全部五种技术上都优于 One Mask；GPT2-XL 上结果不一：MEMIT 持平，PRUNE 和 CoME 分别低 5 和 6 个百分点。
   • 跨方法泛化上，GPT-J 和 Llama3 的 CMR 全部优于 One Mask（作者称增益 0.05–0.26）；GPT2-XL 上 MEMIT 和 AlphaEdit 有提升，其余略差。

   离散文本恢复（研究问题 2）

   • 测什么：离散变体能否用普通文本 token 经标准接口恢复编辑前行为（Table 5）。
   • 结果：GPT2-XL 上 0.50–0.56（PRUNE 最高 0.56），GPT-J 上 0.43–0.55，Llama3 上 0.44–0.48；作者报告离散变体平均恢复 49.0%。
   • 作者解读：离散恢复使黑盒审计可行——无需访问内部嵌入或权重即可探测被编辑知识的存留。

   原始模型上的事实召回（研究问题 3）

   • 测什么：把在被编辑模型上获得的恢复信号应用到对应的原始未编辑模型，能否提升事实召回（Table 4）。
   • 结果（LLM-as-a-Judge）：GPT2-XL 从 21.7% 升至 23.4–47.0%，GPT-J 从 33.0% 升至 51.5–62.1%，Llama3 从 52.8% 升至 62.9–77.3%；Canonical-Answer Correctness 同样全部提升。作者报告平均而言 LLM-as-a-Judge 准确率从 35.8% 升至 55.1%，canonical 正确率从 21.1% 升至 50.9%，并称平均召回相对标准推理提升 53.9%。
   • 例外：One Mask 在原始模型上大多降低召回（如 GPT2-XL 上 PRUNE 信号降至 4.4%），仅个别设置略有提升（Llama3 + MEMIT 53.7%，+0.9）。

   机理分析（Section 4.7，MEMIT 编辑模型）

   • 编辑写入衰减：MEMENTO 使编辑层上 ∥∆Wk∥2 的总和在 GPT2-XL、GPT-J、Llama3 上分别减少 82%、87%、64%（Figure 2）；但作者指出恢复成功与失败的事实都有相当的衰减，写入减弱本身不能解释恢复。
   • logit lens：无前缀时原始回答在后层失去支持，加 MEMENTO 后其 log 概率在后层回升，轨迹与未编辑模型相似（Figure 3）；作者说明 logit lens 不能确立因果计算相同。
   • 表示散度：无前缀时最后提示词位置的末层余弦相似度为 0.80/0.68/0.66，两个模型都加同一前缀后升至 0.993/0.991/0.987（Figure 4）。

   其他消融与分析

   • 目标消融（Table 14，MEMIT 编辑模型）：去掉 Ldist 后 PPL ratio 从 ×1.74/×1.97/×1.07 升至 ×7.31/×3.50/×1.60；作者称蒸馏损失对保持通用语言行为影响最明显，偏好和流畅项的影响因模型而异。
   • 前缀长度（Table 2）：N 从 1 到 2 恢复率上升（如 GPT2-XL 0.58→0.73）；N = 64 时 Llama3 降至 0.58。
   • 推理开销（Table 12）：加前缀后每查询延迟变化 −4.9%/+4.9%/+2.7%，作者称在运行间波动范围内。
   • 训练成本（Table 11）：连续前缀在单张 H200 上 0.5–1.6 小时，离散搜索 1.4–6.3 小时。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出评测仅覆盖三个模型五种技术，且行为恢复不能证明知识以内部表示保持完整。

   作者指出的局限与后续方向

   • 评测覆盖三个 LLM 和五种编辑技术，作者称结论能否推广到其他模型和技术尚待研究（Conclusion 的 Limitations and Ethical Considerations）。
   • 成功的行为恢复并不能确立编辑前知识以某种特定内部表示保持完整；MEMENTO 定位为评估编辑知识行为可恢复性的审计机制（同节）。
   • 机理分析不能确立因果机制：logit lens 只显示原始回答的逐层出现与成功恢复之间的对应关系（Section 4.7 Discussion）。
   • 作者称识别可恢复性有助于暴露现有编辑技术的局限并推动更严格的评估；作者计划发布源代码（Abstract、同节）。
   • LLM 评审的判断仍可能出错，模糊情形可能需要人工检查（附录 D）。

   实验覆盖范围

   • 被测模型为 GPT2-XL (1.5B)、GPT-J (6B)、Llama3 (8B, Instruct) 共三个；编辑技术为 MEMIT、AlphaEdit、PRUNE、RECT、CoME 共五种（Section 4）。
   • 事实数据来自 CounterFact，训练 1,000 条、留出评估 1,000 条；机理分析在 MEMIT 编辑模型的留出事实上进行（Section 4、4.7）。
   • 研究问题 3 的语义评审使用 deepseek-ai/DeepSeek-V4.1-Flash 作为 judge，论文未报告评审与人工判断的一致性（Section 4.1、附录 D）。
   • 对比基线为 One Mask；跨方法设置为每种技术训练前缀后在其他四种上评估（Section 4）。
   • 论文说明只研究参数修改类编辑技术，因为不进入权重的编辑不存在权重保留问题（Section 2）。

   收起这一问

6. 06总结一下论文的主要内容

   MEMENTO 用可学习的提示词前缀在不改权重的情况下恢复被编辑模型的编辑前知识。

   一篇关于模型编辑审计的分析论文，核心问题是：编辑是真正消除了旧知识，还是只是抑制了它的可取回性。

   • 问题：现有编辑逆转方法（One Mask 等）都通过修改权重撤销编辑，无法说明在不撤销参数更新时旧知识是否仍可恢复。
   • 方法：MEMENTO 学习跨事实共享的恢复信号——连续前缀（N = 16，四项损失：恢复、偏好、流畅性、蒸馏）或离散文本提示词（贪心坐标梯度搜索，约束可经文本接口往返）——全程冻结模型权重。
   • 结果 1：在 GPT2-XL、GPT-J、Llama3 和五种编辑技术上，连续变体恢复 80.07% 的留出事实，作者称相对 One Mask 提升 9.58%；GPT2-XL 的 PRUNE 和 CoME 上分别低 5 和 6 个百分点（Table 3）。
   • 结果 2：离散文本变体平均恢复 49.0%（GPT2-XL + PRUNE 最高 0.56），使黑盒审计可行（Table 5）。
   • 结果 3：恢复信号应用到原始未编辑模型时，平均召回相对标准推理提升 53.9%（LLM-as-a-Judge 从 35.8% 升至 55.1%），而 One Mask 大多降低召回（Table 4）。
   • 作者的结论：编辑可能只是抑制了事实知识而未完全消除其可恢复性；机理分析显示前缀使编辑写入衰减、原始回答在后层重新获得支持、被编辑模型表示与未编辑模型趋于一致，但作者强调这些分析不能确立因果机制，行为恢复也不等于知识以内部表示保持完整。

   收起这一问

相关论文