逆向工程语言模型上的模型编辑

研究者提出 KSTER，一种针对定位后编辑（locate-then-edit）模型编辑范式的两阶段逆向工程攻击，可从参数更新中恢复被编辑的主体与提示词。作者从理论上说明更新矩阵的行空间编码了被编辑主体的指纹，据此用谱分析做主体推断，再用基于熵的提示词恢复重建编辑的语义上下文。在 GPT-J（6B）、Llama3-8B-Instruct 和 Qwen2.5-7B-Instruct 上，针对 ROME、MEMIT 和 AlphaEdit，在 CounterFact 与 zsRE 数据集上，攻击在 Llama3-8B-Instruct 的 CounterFact 上主体召回率超过 99%、语义相似度 88%，Top-20 提示词召回率为 0.94–0.99，端到端在 Top-20 恢复超过 70% 的原始输出。

Deep readingGenerating