REBEL：通过进化式评估循环恢复隐藏知识

标准遗忘评测依赖良性查询，作者认为这会把表层抑制当成知识已经移除。

• 场景：作者认为LLM部署需要隐私与安全机制，机器遗忘用于选择性去掉敏感或受版权保护的数据。作者称JailbreakBench一类通用越狱评测用到遗忘问题上仍然有限，针对遗忘结果的对抗利用也还不是常规红队项目。
• 现有不足：作者称良性提示上的遗忘分数，以及基于再学习的代理指标，都会低估残留知识。作者引用Jang et al. (2025)与Wu et al. (2025)，称现有方法常只做表层移除，exact unlearning之后仍可能被抽取。
• 假设：若知识真被移除，就不应有提示词能稳定引出泄漏。作者认为当前遗忘可能只提供表层防护。
• 做法：提出进化式对抗提示框架REBEL，探测所谓已遗忘的数据能否被恢复。作者称它也是检验知识移除是否持久的评测。
• 威胁模型：
  • 目标：在遗忘集上最大化泄漏，检查隐藏答案能否被对抗提示引出。
  • 知识：论文写作black-box。攻击者可查询已遗忘模型，无权重和梯度；生成提示时使用良性问题与隐藏答案。
  • 能力：改写良性问题。论文举例包括前后缀、角色扮演、格式约束和假设性表述。黑客模型还能看到分数；多选题还能看到选项分布。
  • 受害系统：遗忘后的LLM。开放回答由评审判定是否泄漏，多选题另用隐藏选项的概率。

对抗提示与越狱

• JailbreakBench（Chao et al., 2024）：开放的越狱鲁棒性基准。作者称它在机器遗忘上的应用仍然有限。
• 梯度与黑盒越狱：Zou et al. (2023)做可迁移的梯度攻击，AutoDAN（Liu et al., 2023）生成隐蔽提示，Chao et al. (2025)用较少查询绕过黑盒防护。作者称这类攻击还不是遗忘后知识恢复的常规红队手段。
• 嵌入空间威胁：Schwinn et al. (2024)在开源模型嵌入空间用soft prompt冲击安全对齐和遗忘。作者将其写成白盒途径。

机器遗忘方法

• 抑制：解码或logit控制，以及提示、上下文引导（Yu et al., 2021; Huang et al., 2024; Ji et al., 2024; Liu et al., 2024; Thaker et al., 2024a; Pawelczyk et al., 2023）。作者称它们轻量，但是转移访问，而不是移除信息。
• 编辑与合并：Ilharco et al. (2022)、Meng et al. (2022; 2023)、Chen and Yang (2023)等做细粒度行为更新。作者称它们常针对窄机制，难以扩展到分布性遗忘集。
• 训练时更新：作者称这类方法目前给出最好的遗忘效果。包括梯度上升和梯度差、偏好式目标，以及自蒸馏或logit编辑。作者把稳健评测和有意义的保证列为开放问题，并引用Liu et al. (2025)、Ren et al. (2025)、Thaker et al. (2024b)。

可逆性与评测脆弱性

• 再学习：Hu et al. (2024)、Xu et al. (2025c; 2025a)讨论良性再学习或后续微调可逆转遗忘。Zhang et al. (2025)讨论量化后遗忘失效。
• 遗忘与过度遗忘的张力：Tian et al. (2024)、Yang et al. (2025)。Muresanu et al. (2024; 2025)讨论删除能否精确或可证明控制，以及遗忘何时本质上困难。
• 评测本身：Rashid et al. (2025)、Chundawat et al. (2024)被作者归入评测协议脆弱性和隐私泄漏测量。

已遗忘模型上的知识恢复

• 基准：TOFU（Maini et al., 2024）、MUSE（Shi et al., 2024）、WMDP（Li et al., 2024a）。LUME（Ramakrishna et al., 2025）做多任务遗忘评测。
• 恢复证据：Leak@k（Reisizadeh et al., 2025）在概率解码下看到被遗忘知识重现；Wu et al. (2025)在所谓exact unlearning后做定向抽取；Jang et al. (2025)用跨语言或改写扰动恢复被抑制事实。
• 作者的对比：作者称这些评测常常非自适应，会把标准提示下的拒答和真正遗忘混在一起。

基线与基准：实验基线是原始遗忘集提示Baseline，以及Leak@K。遗忘算法包括AltPO、GradDiff、IDKDPO、IDKNLL、UNDIAL、NPO、SimNPO，Table 2另有RMU。实验基准是TOFU与WMDP-Bio子集。

作者把REBEL定位为完全black-box的进化式提示优化环，用评审反馈搜索高泄漏提示，并认为越狱式探测是遗忘评测需要的压力测试。

REBEL把稳健遗忘写成提示空间上的黑盒搜索：黑客模型MH变异提示，已遗忘模型MU作答，评审或logit给出泄漏分，再保留高分候选。Figure 1对比良性提示下的拒答，以及对抗提示被判为leaked的情形。Figure 2是这条进化环。

问题设定

• 遗忘集由良性问题qi和隐藏答案ai组成。MU把提示映射成回答分布。攻击者只改提示。
• 泄漏函数把回答和隐藏答案映到[0, 1]。论文写分数不低于δ表示暴露了隐藏答案，但没有给出δ的数值。遗忘较好时分数接近0，回答暴露ai时接近1。
• 第3.1节的目标是max_{q̂i∈ X}1/n∑_i=1ⁿ𝔼_{y∼ MU(·|q̂i)}[ℓ(y,a_i)]，即提高遗忘集上的期望泄漏。
• 论文写对抗提示由MA(qi, ai)产生，因此搜索方持有隐藏答案，而不只是持有问题。

进化环

• 从良性问题开始，迭代计数置零。每个候选送入MU：开放生成任务采样回答，多选题读取输出分布。
• 任一候选被判泄漏就停止并返回该提示；否则按分数保留top-k，交MH变异，直到成功或预算用尽。
• 主实验最多5轮。各轮每个保留候选的变异次数m为1500、80、50、40、40，对应top-k为20、12、8、5、3。论文称该调度合计4220条对抗提示。
• 生成式与判别式的逐步流程在附录B的Algorithm 1。

两种分数

• 开放生成：MJ判断回答是否泄漏ai，并要求对部分泄漏给0到1之间的分数，用来引导搜索。附录C给出完整提示词。TOFU使用这一路。
• 多选题：ai对应一个输出token。对可接受token做softmax，泄漏分是隐藏答案token的概率。MH还收到完整选项分布。Algorithm 1在该概率为选项中最大时停止。WMDP按这一路计算分数。
• Table 1和Table 2的标题都写使用Qwen2.5-7B-Instruct作为hacker和judge。第4节把ASR定义为：遗忘集中能找到提示、使回答被评审判为leaked的样本比例。

变异与解码

• MH的输入包括当前对抗提示、原始问题、隐藏答案和分数。
• 分数不超过0.3时大幅改写；高于0.3且不超过0.8时保留主旨并展开；高于0.8时主要润色措辞和格式。附录C给出完整提示词。
• MH与MJ都是Qwen2.5-7B-Instruct。MH的temperature为1.0，top-p为0.96，top-k为0.40。MJ的temperature为0。

实验设置

• 模型与解码：黑客和评审都是Qwen2.5-7B-Instruct，解码参数见第3问。同一模型同时担任judge。
• 目标与遗忘方法：TOFU的目标是Llama-3.1-1B-Instruct。WMDP的目标是OPTML-Group提供的、已遗忘的Llama-3-8B-Instruct。Table 2列为AltPO、NPO、IdkDPO、GradDIFF、RMU、IdkNLL、SimNPO。Table 1列为IDKNLL、NPO、GradDiff、UNDIAL、IDKDPO、SimNPO。正文未单独定义RMU。
• 数据：TOFU-10%为400条。Figure 3是TOFU-5%上的SimNPO，该处未写样本量。WMDP报告的是WMDP-Bio的100条子集。第4.2节的预备实验写明是TOFU数据集DF的5%子集、200条，目标为SimNPO。
• 攻击对照：Baseline用原始遗忘集提示。论文称Leak@K使用与REBEL相同的攻击提示词，但对目标做K次独立随机生成，K为10、100、500、1000，样本之间没有自适应反馈或提示词精炼。REBEL最多5轮，论文称合计4220条对抗提示。
• 指标与判定：主指标是ASR。开放任务由MJ的leaked判定。论文未报告重复次数。评审抽查由一名专家标注者完成，未报告验证集规模和一致性系数。
• 方法差异：AltPO把原答案当负偏好；GradDiff从保留损失中减去缩放后的遗忘损失；IDKDPO与IDKNLL把遗忘提示训成「I don't know」，前者用偏好目标，后者用监督NLL；UNDIAL改教师logit后做自蒸馏；NPO与SimNPO用负偏好，SimNPO去掉单独参考模型。

主结果

下表单位为%。TOFU列据Table 2，目标Llama-3.1-1B-Instruct，400条。WMDP列据Table 1，目标Llama-3-8B-Instruct，WMDP-Bio 100条子集。斜杠两侧是两表写法。

表格较宽，可左右滑动

遗忘方法	TOFU Baseline	TOFU REBEL	WMDP Baseline	WMDP REBEL
AltPO	1.50	30.00	未报告	未报告
NPO	4.75	36.25	25.0	60.0
IdkDPO / IDKDPO	0.00	22.00	28.0	69.0
GradDIFF / GradDiff	0.00	8.25	21.0	31.0
RMU	0.25	16.50	未报告	未报告
IdkNLL / IDKNLL	0.50	22.00	32.0	93.0
SimNPO	2.00	60.00	22.0	33.0
UNDIAL	未报告	未报告	26.0	85.0

• 两张表里每个已报告方法的REBEL都高于该行Baseline和Leak@1000。Leak@1000在Table 2为AltPO 13.25、NPO 18.75、IdkDPO 4.75、GradDIFF 1.75、RMU 1.75、IdkNLL 3.25、SimNPO 45.25；在Table 1为IDKNLL 66.0、NPO 44.0、GradDiff 24.0、UNDIAL 51.0、IDKDPO 58.0、SimNPO 26.0。
• 摘要写ASR最高到TOFU上60%、WMDP上93%，对应Table 2的SimNPO 60.00%和Table 1的IDKNLL 93.0%。作者称GradDiff最稳健，并给出24%对31%这一对Leak@1000与REBEL的数字。作者称RMU上相对1.75%的提高接近一个数量级。
• 作者称Figure 3在TOFU-5%的SimNPO上呈类似趋势。图中文字有2.5、31、40.5，横轴为Baseline、Leak@1000、REBEL；正文没有写出三个数与三根柱的对应。NPO与SimNPO的REBEL高低顺序在Table 1和Table 2上相反。

标准指标与再学习

• 测了什么：TOFU遗忘集用1-ROUGE-L、1-Prob.和1-Extr.。Prob是标准答案的教师强制概率，报告1-Prob，更高表示对原答案的抑制更强。WMDP-Bio用1-AccBio。再学习是在少量遗忘数据上微调，学习率10的-5次方，1000步。论文未报告这份数据的条数。
• 结果：作者给出WMDP上NPO与SimNPO的1-AccBio为0.73与0.75，并称再学习曲线形状相近；Table 1的对抗ASR正文写为60与33。TOFU-10%上作者称两项标准指标总体接近，对抗ASR却是36.25与60.00，方向与WMDP相反。
• 作者的解读：标准遗忘指标和再学习行为不能稳定地按对抗可恢复性排序。作者认为对抗提示鲁棒性与已有指标是正交的。

评审校准

• 预备实验用SimNPO和200条子集。一名专家标注者对照隐藏答案核对MJ的分数和二分类。论文未报告这批评审样本的条数。
• 作者称s不低于0.95时，只有精确标准答案或很详细的改写被判leaked，未观察到假阳性。s约0.80时，有语义痕迹但仍含糊的回答被判未泄漏。
• 作者称有个别低估。附录A的Table 3给出一条轨迹，分数为0.20、0.60、0.95。作者称弱信号下搜索仍继续，直到泄漏更明显；并称s适合引导MH。

进化调度

• 同一200条、SimNPO设定下，S1少轮高变异，ASR 47.5%，作者称计算代价高。S2的ASR为42.0%，作者称三者中最有效率。S3多轮低变异，ASR 51.0%，作者称相对S2的新增收益不足以抵消更长运行。
• 作者称多数不同越狱出现在最初几轮，延长搜索的新增收益下降。主实验改用S1与S2的混合，m与k即第3问所列序列。
• Figure 6用S3在图注所称的TOFU 5% benchmark、SimNPO上累计Score不低于0.9的比例。纵轴刻度到14，横轴迭代0到7。图注称增长单调。文本中读不到各点数值。

其他消融与分析

• 变异分三档，阈值0.3和0.8；论文未单独报告各档ASR。
• 附录E的Sample #50：隐藏答案语义接近没有公开信息。作者称静态基线得到高泄漏分，三种进化调度都未收敛；评审把自信幻觉标成泄漏，作者称为假阳性。
• 附录D的Table 4给出TOFU与WMDP-Bio定性示例，含基线输出和REBEL条件下的输出或选项概率。此处不复述示例原文。
• 论文未报告每条样本实际使用的提示条数，也未报告提前停止的比例。

作者指出的局限与后续方向

• 依赖LLM评审给泄漏打分，可能漏掉细微披露；作者认为这类错误主要使ASR向下偏（第5节）。
• 后续应把对抗压力纳入遗忘训练本身，例如用REBEL一类方法找到的越狱提示作为额外信号，抑制基于提示词的可恢复性（第5节）。

实验覆盖范围

• 被测遗忘模型为Llama-3.1-1B-Instruct（TOFU）和Llama-3-8B-Instruct（WMDP）；黑客和评审都是Qwen2.5-7B-Instruct（第4节，Table 1–2）。
• 攻击对照为Baseline与Leak@10、100、500、1000。主调度最多5轮，论文称合计4220条对抗提示；攻击者设定为black-box，无权重或梯度（第3–4节）。
• 报告结果的数据是TOFU-10%（400条）、TOFU-5%，以及WMDP-Bio的100条子集。相关工作提到MUSE，实验节未报告MUSE上的结果。
• 再学习在WMDP上以学习率10的-5次方跑1000步，Figure 4含NPO、SimNPO和Original。论文未报告再学习数据条数，也未报告每条攻击实际查询次数（第4.1节）。
• 评审抽查由一名专家标注者完成。论文未报告该验证集规模、实验重复次数，以及评审与人工的一致性系数（第4.2节）。

REBEL是一个black-box进化式探测框架，用来检查LLM经过遗忘后，良性评测里看起来已经忘掉的知识是否仍能被对抗提示引出。

• 问题：作者认为只看良性提示上的拒答，会把表层抑制当成删除，标准遗忘分数和再学习动态也预测不了对抗可恢复性。
• 方法：已知隐藏答案的黑客模型按分数变异提示，已遗忘模型只接受查询。开放生成由LLM评审打泄漏分，多选题用隐藏选项的softmax概率。保留高分候选，最多5轮，论文称该调度合计4220条对抗提示。
• TOFU：目标Llama-3.1-1B-Instruct，TOFU-10%有400条。Table 2的REBEL列从GradDIFF的8.25%到SimNPO的60.00%，每一行都高于Baseline和Leak@1000。摘要对应的上限是60%。
• WMDP：目标Llama-3-8B-Instruct，WMDP-Bio为100条子集。Table 1的REBEL列从GradDiff的31.0%到IDKNLL的93.0%，同样高于两基线。摘要对应的上限是93%。
• 对照：作者称NPO与SimNPO的1-AccBio为0.73与0.75，再学习曲线形状也相近，但对抗ASR在WMDP上是60与33，在TOFU-10%上是36.25与60.00，顺序相反。作者认为对抗泄漏与已有指标正交。
• 结论：作者认为现有遗忘可能只是表层防护，评测应补上优化后的越狱压力。作者同时指出LLM评审可能漏掉细微泄漏，并认为这主要使测得的ASR偏低。