逆向工程语言模型上的模型编辑
Reverse-Engineering Model Editing on Language Models
论文速读
据论文全文整理（AI 生成），以原文为准
研究者提出 KSTER，一种针对定位后编辑（locate-then-edit）模型编辑范式的两阶段逆向工程攻击，可从参数更新中恢复被编辑的主体与提示词。
- locate-then-edit 类模型编辑方法被当作无需重训即可擦除 LLM 中敏感信息的隐私保护手段，但编辑本身是否会造成信息泄漏尚不清楚。作者指出，攻击者若拿到编辑前后的参数，可通过参数差高效定位并还原本应被擦除的知识。
- 作者提出两阶段逆向攻击 KSTER：先从权重更新矩阵的低秩结构出发，理论上证明 ΔW·C 的行空间包含被编辑 subject 的“指纹”，用谱分析（SVD + 投影系数排序）推断 subject；再用编辑前后模型在候选 prompt 上的相对熵下降来恢复编辑 prompt。还提出 subspace camouflage 防御，在更新中注入语义 decoy 混淆该子空间。
- 在 GPT-J、Llama3-8B-Instruct、Qwen2.5-7B-Instruct 上，针对 ROME、MEMIT、AlphaEdit 和 CounterFact、zsRE 数据集做实验：白盒 subject 推断 recall 在 0.94–1.00，明显优于随批量增大而下降的 gray-box 基线；prompt 恢复在 CounterFact 上 top-20 recall 达 0.94–0.99，zsRE 语义相似度 0.78–0.88，端到端可恢复超 70% 原始输出。防御方面，增大 camouflage 系数 α 可显著提升真实 subject 的平均排名，α=5 时仍保持较高编辑效用，但 α 过大（如 7）会损害编辑性能。
- 攻击依赖预定义的 subject 与 prompt 候选池，未来可研究无需辅助数据的梯度式攻击。防御在提升保护强度时会引发 decoy subject 的幻觉，且在大规模、序列化编辑下的长期行为（性能退化或表示漂移）尚待研究。
研究者提出 KSTER，一种针对定位后编辑（locate-then-edit）模型编辑范式的两阶段逆向工程攻击，可从参数更新中恢复被编辑的主体与提示词。作者从理论上说明更新矩阵的行空间编码了被编辑主体的指纹，据此用谱分析做主体推断，再用基于熵的提示词恢复重建编辑的语义上下文。在 GPT-J（6B）、Llama3-8B-Instruct 和 Qwen2.5-7B-Instruct 上，针对 ROME、MEMIT 和 AlphaEdit，在 CounterFact 与 zsRE 数据集上，攻击在 Llama3-8B-Instruct 的 CounterFact 上主体召回率超过 99%、语义相似度 88%，Top-20 提示词召回率为 0.94–0.99，端到端在 Top-20 恢复超过 70% 的原始输出。
推荐理由论文揭示定位后编辑的参数更新会作为侧信道泄露被编辑数据，并给出攻击与防护方法，可供评估模型编辑的隐私风险。