Token 会记住：当分词方式绕过知识编辑与机器遗忘时

1. 01这篇论文试图解决什么问题？

   作者称编辑/遗忘的修改只在规范 tokenization 下生效，非规范 tokenization 可绕过并恢复被抑制知识。

   核心问题：模型编辑与机器遗忘对知识的修改无法泛化到同一输入字符串的非规范 tokenization，攻击者可借此检测修改并恢复本应被删除或改写的知识。

   • 场景与重要性：开源权重模型发布后，下游用户可在本地以任意 token 序列查询模型并读取内部激活；编辑与遗忘常被用于删除 PII、纠正错误知识等，作者认为其发布后保证需要能抵抗此类查询。
   • 现有评估的不足：作者指出已有安全评估有两个共同限制：依赖编辑前模型或需训练影子模型/辅助分类器；且默认攻击者使用与编辑时相同的规范 tokenization，把 tokenization 当作无害的预处理步骤。
   • 核心观察：同一字符串存在多个合法 tokenization，会诱导不同的内部计算轨迹；编辑只修补了规范路径，残余的事实关联仍可从替代路径访问，构成 tokenization 侧信道。
   • 论文提出：Toketive，一个 reference-free 攻击，只用发布后的模型即可（i）检测事实是否被修改、（ii）重构编辑前回答；并分析了 tokenization 感知的自适应编辑防御及其代价。
   • 威胁模型（Section III）：
     • 目标：给定 fθ′ 和提示词 p(s, r)，判定事实是否被修改；若被修改，恢复编辑前关联 (s, r, o) 中的原对象 o。
     • 知识：不知道使用了哪种编辑/遗忘技术，不知道任何目标事实的编辑前回答。
     • 能力：可用任意 token 序列（含非规范 tokenization）查询 fθ′，可读取任意层、任意位置的内部激活。
     • 受害系统：经 locate-then-edit 类技术编辑或遗忘后发布的开源权重模型；微调类方法不在范围内（作者称其对非规范 tokenization 抑制更好但局部性代价大，Appendix B）。

   收起这一问

2. 02有哪些相关研究？

   相关工作分四组：编辑/遗忘技术、其评测基准、安全隐私攻击、对抗性 tokenization。

   模型编辑与机器遗忘

   • locate-then-edit 类：ROME/MEMIT（Meng et al.）通过因果追踪定位 MLP 层并做定向权重更新；AlphaEdit 把编辑扰动投影到保留知识的零空间；RECT、PRUNE 分别用正则化和约束条件数来减少副作用；CoME 将遗忘与编辑结合；LTU（Locate-then-Unlearn）定位任务相关神经元做选择性遗忘。
   • 其他知识修改方式：从头重训、微调、RAG 与参数保持型编辑（外挂模块）；论文指出微调主要抑制输出而非移除知识，且对无关知识影响大，因此不在其范围内。

   编辑与遗忘的评测

   • 编辑基准：CounterFact、RippleEdits、MQuAKE 分别评测编辑效力/泛化/局部性、涟漪效应和多跳问题下的知识更新；ThinkEval 用多步查询评估间接知识泄漏。
   • 遗忘基准：TOFU、WMDP、RWKU 评测遗忘效力、模型效用等；Waterdrum 等数据中心指标改进遗忘度量，但作者指出它们同样只覆盖规范 tokenization。

   编辑与遗忘的安全隐私攻击

   • 成员推断与审计：RULI、U-LiRA 训练多个影子模型做成员推断或隐私审计；DEED 训练 AdaBoost 分类器检测事实是否被编辑。
   • 信息恢复：FUMA 用梯度信号识别被遗忘内容；KSTER 对权重差做谱分析恢复编辑主体；TULA-DR 在权重差上做约束优化重构被遗忘文本；PII 抽取工作显示编辑删除 PII 往往不彻底；UnUnlearning 显示可通过 in-context learning 重新引入被遗忘知识。
   • 论文点名的共同局限：上述方法要么需要编辑前模型（DEED、KSTER、TULA-DR），要么需要训练影子模型/辅助分类器（RULI、U-LiRA、DEED），且全部只在规范 tokenization 下评估；不需要编辑前模型的 U-LiRA、RULI、FUMA 又都无法重构编辑前回答（Table I）。

   对抗性 tokenization

   • 非规范 tokenization：同一字符串可用词表构造许多非规范 tokenization；已有工作（如 Broken Tokens、Adversarial Tokenization）显示模型在这类 tokenization 下仍保留语义能力，且可在不改变可见文本的情况下绕过安全机制。

   基线与基准：论文的检测基线为 Random-sampling、Edit distance、FUMA-gradient（改造自 FUMA，仅需编辑后模型）；重构基线为前两者。基准为 CounterFact、RippleEdits、MQuAKE、Known-1000、TOFU-World Facts、TOFU-Real Authors。

   本文定位：作者称 Toketive 是其所知首个显式利用 tokenization 差异来破坏编辑与遗忘安全假设的攻击，且不需要编辑前模型、训练数据、影子模型或辅助分类器。

   收起这一问

3. 03论文如何解决这个问题？

   Toketive 用表征纠缠度引导的非规范 tokenization 采样，统一完成编辑检测与编辑前回答重构。

   Toketive 的整体思路：保持输入字符串完全不变，只改变其合法 tokenization，用表征纠缠度（representational entanglement）作为路由信号，把采样到的非规范 tokenization 分入检测带与重构带，分别完成编辑/遗忘检测和编辑前回答重构。

   问题设定与形式化

   • 知识表示：事实表示为三元组 (s, r, o)，提示词 p(s, r) 查询该事实；编辑把 (s, r, o) 替换为 (s, r, o*)，遗忘则抑制 o。
   • tokenization 集合：对字符串 x，TV(x) 是所有合法 tokenization 的集合，规范 tokenization v* = k*(x) 只是其中之一；任何 v ≠ k*(x) 都是非规范 tokenization。
   • 表征纠缠度：S(i, j) = cos(h_i^(L), h_j^(L))，即两个提示词在探测层 L 的隐表征余弦相似度；Toketive 用它衡量候选 tokenization 与规范 tokenization 的内部相似性，探测层取 L = ⌊depth/3⌋（沿用已有工作，作者称中间层表征是更可靠的纠缠度指标）。

   自适应 tokenization 采样器

   • ** aggressiveness 参数 α**：单一参数 α ∈ [0,1]，初始 0.5，控制把字符串切分成更小子词单元的程度；α 越高切分越碎。
   • 比例控制器：用最近 10 次采样的纠缠度滚动均值调节 α：偏高则增大 α，偏低则减小，落入目标带则加小随机扰动避免停滞。
   • 候选校验：候选 u 仅当其拼接后精确还原原字符串才被接受；对每个候选重新定位 subject 跨度，取 subject 末 token 在层 L 的隐表征计算与规范表征的纠缠度。
   • 三路路由：按纠缠度把候选分入检测带 [0.3, 0.5)、重构带 [0.7, 1.0)，带外丢弃；配额为 ndet = 20、nrec = 50，每样本最多 M = 300 次尝试，不足时用离带最近的候选补齐（Appendix C、E）。

   阶段一：编辑/遗忘检测

   • 规范参照：先对规范 tokenization 做一次前向，记录规范输出（编辑后的新答案或遗忘后的替代回答）和规范参照向量。
   • 绕过率：∇ = 1/(|C_det|)∑_{u ∈ Cdet} 1[o^∗ ∈ ŷ_u]，即检测带样本中仍产生规范（修改后）回答的比例；∇ 低说明修改未泛化到替代 tokenization。
   • 判定：∇ < τdet 判为 edited/unlearned，否则判为 unedited；τdet = 0.10，在单一留出配置（Llama3 + MEMIT + Known-1000）上校准后固定用于其余 179 个组合（Appendix E）。

   阶段二：编辑前回答重构

   • 绕过过滤：对重构带样本生成回答，丢弃仍含修改后答案 o* 的样本，只保留绕过的续写。
   • 多数投票：从绕过续写中抽取对象跨度，按频次做 plurality voting，最高频候选为 top-1 重构结果；top-k 准确率衡量真实编辑前对象是否出现在频次最高的 k 个候选中。

   成功判定与评测方式

   • 检测：以 TPR、FPR、Precision、F1 衡量；负样本来自同一检测器在未编辑基座模型上的表现，而非另构造的不匹配样本。
   • 重构：以 top-1/top-5 准确率衡量；仅在被编辑事实满足 Efficacy Score（P(新事实) > P(旧事实)）的样本上评估。
   • 成本：作者给出复杂度分析（Appendix D），每事实成本上界为 O(M(ndet+nrec)·F + (ndet+nrec)·G)，F 为单次前向、G 为自回归生成成本；论文未报告实际运行耗时。

   收起这一问

4. 04论文做了哪些实验？

   五模型×六数据集×六技术上，38.6% 非规范 tokenization 绕过修改；Toketive 检测 F1 84.2%、重构 top-5 74.5%。

   实验设置

   • 被测模型：Llama3 (8B, Instruct)、Llama3.1 (8B, Instruct)、OLMo2 (13B, Instruct)、Tulu3 (8B)、Tulu3.1 (8B)，共 5 个。
   • 数据集：CounterFact（取前 1000 样本）、MQuAKE 与 RippleEdits（各抽取 1000 个事实三元组）、Known-1000、TOFU-World Facts、TOFU-Real Authors（转为提示词格式），共 6 个。
   • 被攻击技术：MEMIT、RECT、PRUNE、AlphaEdit、CoME、LTU，共 6 种编辑/遗忘技术。
   • 基线：检测基线为 Random-sampling、Edit distance、FUMA-gradient；重构基线为 Random-sampling、Edit distance。
   • 指标与判定：Q1 用 AUC 与 rank-biserial 相关 |rb|；Q2 用绕过率（30 个非规范 tokenization 中恢复编辑前答案的比例）；Q3 检测用 TPR/FPR/Precision/F1，重构用 top-1/top-5 准确率；仅评估规范 tokenization 下答案正确、且编辑满足 Efficacy Score 的样本。
   • 解码与硬件：全部使用贪心解码（无采样）；NVIDIA H200 GPU 集群；论文未报告重复次数。

   主结果

   Q2 绕过率（%，据 Table III，每格为该模型×技术×数据集下 30 个非规范 tokenization 中恢复编辑前答案的比例，节选）：

   表格较宽，可左右滑动

   模型	技术	Known-1000	CounterFact	Real Authors	MQuAKE	RippleEdits	World Facts
   Llama3	MEMIT	36.5	50.3	43.8	46.9	37.5	27.0
   Llama3	AlphaEdit	33.8	47.3	42.6	43.1	35.6	23.2
   Llama3	LTU	32.1	39.1	57.1	47.5	26.9	51.8
   Llama3.1	RECT	43.9	51.5	45.2	42.0	38.3	34.5
   OLMo2	AlphaEdit	29.7	26.7	37.2	19.7	31.9	25.6
   Tulu3	RECT	42.1	47.3	39.8	43.1	47.4	37.4
   Tulu3.1	LTU	39.6	44.0	58.9	45.1	39.0	54.0

   （完整表含 5 模型 × 6 技术 × 6 数据集共 180 格，此处省略其余组合；全表最低为 OLMo2 + AlphaEdit + MQuAKE 的 19.7。）

   • 总体水平：作者报告全部组合绕过率介于 19%–57%，平均 38.6%，没有任何技术达到 tokenization 不变的更新。
   • 技术间差异：作者称 AlphaEdit 在这些结果中最鲁棒，而 LTU 在 Real Authors 和 World Facts 上绕过率最高（各模型 48.6–58.9 与 36.9–54.0，Table III）。
   • 作者解读：现有只在规范 tokenization 下的评估会高估抑制效果，表面上被成功抑制的事实仍可被 tokenization 感知的攻击者恢复。

   Q1：tokenization 收敛的可预测性

   • 测了什么：在未编辑模型上，每个提示词生成 30 个随机非规范 tokenization，用表征纠缠度和编辑距离预测其是否收敛到规范回答（Table II）。
   • 结果：表征纠缠度 AUC 介于 0.684–0.850、|rb| 介于 0.368–0.699；编辑距离 AUC 介于 0.526–0.674、|rb| 介于 0.052–0.348；最差的纠缠度结果（AUC 0.684）仍高于最好的编辑距离结果（0.674）。
   • 作者解读：内部表征相似度是收敛的可靠信号，而词面 token 距离几乎不含内部计算行为的信息；这支撑了把纠缠度用作采样路由信号。Figure 5 显示 Llama3.1 与 Tulu3 在 Real Authors 上纠缠度对收敛/不收敛两组的分布分离更好，编辑距离分布则大面积重叠。

   Q3：Toketive 的检测与重构

   • 检测（Table IV，按技术平均）：Toketive 平均 F1 为 84.2%，在所有模型×数据集组合上 F1 最高；Edit distance 平均 66.7%，FUMA-gradient 平均 60.8%（TPR 接近 100% 但 FPR 也接近 100%，精度约 50%），Random-sampling 精度高但 TPR 很低。例如 Llama3 + CounterFact 上 Toketive F1 为 86.1，Edit distance 为 71.5。
   • 重构（Table V，按技术平均）：Toketive 平均 top-1 为 60.9%、top-5 为 74.5%；Random-sampling 平均 top-1/top-5 为 30.7%/36.9%；作者称 Toketive 比重构基线至少高 21.7%（摘要与引言写 21.7%，结论写 21.6%）。
   • 例外：作者提到在部分 OLMo2 设置上 Edit distance 接近甚至超过 Toketive；Table V 中 OLMo2 + Known-1000 的 top-5 为 Edit distance 82.4 对 Toketive 89.5（未超过），OLMo2 + RippleEdits top-1 为 61.9 对 64.9（未超过），论文未给出具体超过的格子，也未解释原因。

   防御分析：自适应编辑与微调

   • Adaptive MEMIT（Appendix A，Llama3，1000 对纠缠度 > 0.9 的编辑-对照事实对）：把发现的绕过 tokenization 逐轮加入遗忘目标，绕过率从标准 MEMIT 的 0.32 降到 2/3/4 轮后的 0.14/0.09/0.04，但涟漪效应从 1.0× 升到 3.3×/6.7×/8.6×（Table VIII、Fig. 8）。
   • 微调对照（Appendix B，Llama3，同样 1000 对事实）：微调绕过率为 0.08，低于 MEMIT 的 0.32，但涟漪效应为 MEMIT 的 5.2×（Table IX）。
   • 作者解读：作者称这揭示了鲁棒性-局部性权衡——提升 tokenization 鲁棒性需要更大范围的参数更新，从而损害定向编辑/遗忘所追求的局部性。

   其他消融与分析

   • 校准（Appendix H）：表征纠缠度 ECE 全部低于编辑距离（如 World Facts 上编辑距离 ECE 超过 0.4，纠缠度低于 0.25）；MCE 上 OLMo2 在 Real Authors 与 CounterFact 两个数据集例外（编辑距离更低）。
   • 均值分析（Appendix F）：30 个模型×数据集组合中，收敛 tokenization 的纠缠度均值全部高于不收敛（差值 0.124–0.278），编辑距离差值为 −0.011 至 −0.094。
   • 超参数校准（Appendix E）：τdet = 0.10 在单一留出配置上选定（该配置 F1 = 82.9%），固定用于其余 179 个组合；检测带 [0.3, 0.5)、重构带 [0.7, 1.0)。
   • 输出分布（Appendix J，Table XIII）：LTU 在多数设置下 Other%（既非旧答案也非新答案）最大；Fig. 6 显示 MEMIT 在 Real Authors（Llama3）上编辑前 70.1% 非规范 tokenization 恢复旧答案，编辑后仍有 43.8%，26.5% 两者皆非。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出鲁棒性-局部性权衡与纠缠度形式化是开放问题；实验覆盖五个 8B–13B 开源模型与六类技术。

   作者指出的局限与后续方向

   • 鲁棒性-局部性权衡（Section VII、Appendix A）：自适应编辑可降低绕过率，但以更大范围改动邻近知识为代价；作者称开发既能 tokenization 鲁棒又不扩大附带影响的知识修改方法仍是开放问题。
   • tokenization 空间难以显式覆盖（Section VII）：合法 tokenization 空间随输入长度增长，反复编辑可能需要越来越宽的参数修改，作者认为简单扩展局部更新可能不是可扩展的解法。
   • 架构层解法待探索（Section VII）：作者认为学习 tokenization 无关的表征等架构或表征层方法可能提供更原则性的解法，但需要重新思考子词 tokenization 与模型内部的交互。
   • 表征纠缠缺乏形式化刻画（Section IV-B）：作者写明表征纠缠的形式化刻画仍是开放研究问题，Toketive 只把它当作以攻击效果验证的路由启发式，而非知识存储的因果理论。
   • 范围排除微调类方法（Section III）：论文只针对 locate-then-edit 类的不精确编辑/遗忘，微调类方法不在范围内（作者称微调对非规范 tokenization 抑制更好但局部性代价大）。

   实验覆盖范围

   • 被测模型：Llama3 (8B)、Llama3.1 (8B)、OLMo2 (13B)、Tulu3 (8B)、Tulu3.1 (8B)，共 5 个开源权重模型（Section V-A）。
   • 数据集与样本量：6 个数据集；CounterFact 取前 1000 样本，MQuAKE 与 RippleEdits 各抽取 1000 个三元组，TOFU 两 split 转为提示词格式（论文未写明这两个 split 的条数）。
   • 被攻击技术：MEMIT、RECT、PRUNE、AlphaEdit、CoME、LTU 共 6 种；每个事实生成 30 个非规范 tokenization。
   • 防御评测：Adaptive MEMIT 与微调对照仅在 Llama3 上进行，各用 1000 对纠缠度 > 0.9 的编辑-对照事实对（Appendix A、B）。
   • 论文未报告：实验重复次数与方差、Toketive 的实际运行耗时（仅给出复杂度上界）、以及检测/重构结果的人工核验。

   收起这一问

6. 06总结一下论文的主要内容

   Toketive 把 tokenization 当作侧信道，无需编辑前模型即可检测编辑/遗忘并重构被抑制知识。

   一篇针对模型编辑与机器遗忘安全性的攻击论文，面向开源权重模型发布后的知识控制场景。

   • 要解决的问题：现有编辑/遗忘评估默认攻击者使用规范 tokenization，且常依赖编辑前模型或辅助分类器；作者认为同一字符串的非规范 tokenization 会走不同的内部计算路径，使局部修改可被绕过。
   • 方法要点：Toketive 只改动输入的 tokenization 而不改动字符串，用表征纠缠度（与规范表征在探测层的余弦相似度）引导自适应采样，把候选分入检测带与重构带；检测阶段用规范回答绕过率判定是否被修改，重构阶段对绕过续写做多数投票恢复编辑前答案。整个过程不需要编辑前模型、训练数据、影子模型或辅助分类器。
   • 关键结果：
     • 五模型×六数据集×六技术上，平均 38.6% 的非规范 tokenization 绕过修改并恢复编辑前回答，范围 19%–57%（Table III）。
     • 检测平均 F1 为 84.2%，高于 Edit distance 的 66.7% 与 FUMA-gradient 的 60.8%（Table IV）。
     • 重构平均 top-1 60.9%、top-5 74.5%，作者称比最强基线高 21.7%（Table V）。
     • 防御侧：Adaptive MEMIT 四轮把绕过率从 0.32 降到 0.04，但涟漪效应升至 8.6×；微调绕过率 0.08、涟漪效应 5.2×（Table VIII、IX）。
   • 作者结论：作者称现有编辑/遗忘技术产生的是表面化更新，被抑制的知识对 tokenization 感知的攻击者仍然可恢复；规范 tokenization 下的评估与发布后的安全保证之间存在缺口，且提升鲁棒性与保持局部性之间存在权衡。

   收起这一问

相关论文