Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2602.06248· Patryk Rybak, Paweł Batorski, Paul Swoboda, Przemysław Spurek·Indexed by this site · Originally published

REBEL: Recovering Hidden Knowledge through Evolutionary Evaluation Loops

REBEL: Hidden Knowledge Recovery via Evolutionary-Based Evaluation Loop

Quick read

Attacks

Based on 论文 PDF （AI 生成）; refer to the original

REBEL用进化式黑盒提示词探测已遗忘LLM，TOFU-10%上SimNPO的ASR为60.00%。

Threat model黑盒攻击者MA可查询已遗忘模型MU，不能访问权重或梯度。

Questions
遗忘评测常用良性查询。作者认为这会把表层抑制当成知识已删除，从而低估残留知识，也看不出对抗提示还能不能引出所谓已遗忘的内容。
Methods
REBEL在黑盒查询下用黑客模型按泄漏分数变异提示词，送给已遗忘模型作答，再由评审或选项概率打分并保留高分候选。开放生成用LLM评审，多选题用隐藏答案token的softmax概率。
Experiments and results
在TOFU-10%与WMDP-Bio子集上，作者报告REBEL的ASR高于原始提示和Leak@1000。NPO与SimNPO的标准指标接近，但两边的对抗ASR高低顺序相反。
Limitations and future work
作者指出LLM评审可能漏掉细微泄漏，并认为这主要使ASR偏低；后续建议把这类对抗提示纳入遗忘训练。实验使用两个Llama遗忘目标、Qwen2.5-7B-Instruct作黑客和评审，以及TOFU与WMDP-Bio子集。
Experimental setupLlama-3.1-1B-Instruct、Llama-3-8B-Instruct · TOFU、TOFU-10% et al. · ASR、leakage score
Threat model
黑盒攻击者MA可查询已遗忘模型MU，不能访问权重或梯度。攻击者使用遗忘集中的良性问题qi与隐藏答案ai，搜索对抗提示词以最大化泄漏。受害系统是经过遗忘训练的LLM。开放回答由评审判为leaked；多选题还用隐藏选项概率。
Evaluated models
Llama-3.1-1B-InstructLlama-3-8B-Instruct
Benchmarks
TOFUTOFU-10%TOFU-5%WMDPWMDP-Bio
Metrics
ASRleakage score
AI summaryThe paper proposes REBEL, an evolutionary algorithm-based adversarial prompt generation method for testing whether machine-unlearned data can still be recovered by the model. The authors test multiple unlearning algorithms on subsets of the TOFU and WMDP benchmarks, and REBEL achieves the highest attack success rates of 60% and 93% respectively, consistently outperforming static baselines. Based on this, the authors argue that current machine unlearning methods may only provide superficial protection, and that benign queries in standard evaluations mistake the suppression of surface information for the true removal of knowledge. Code is available at https://github.com/patryk-rybak/REBEL/。

The paper proposes REBEL, an evolutionary algorithm-based adversarial prompt generation method for testing whether machine-unlearned data can still be recovered by the model. The authors test multiple unlearning algorithms on subsets of the TOFU and WMDP benchmarks, and REBEL achieves the highest attack success rates of 60% and 93% respectively, consistently outperforming static baselines. Based on this, the authors argue that current machine unlearning methods may only provide superficial protection, and that benign queries in standard evaluations mistake the suppression of surface information for the true removal of knowledge. Code is available at https://github.com/patryk-rybak/REBEL/。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    良性查询会把表层抑制当成遗忘，REBEL用黑盒进化提示词探测残留知识。

    标准遗忘评测依赖良性查询，作者认为这会把表层抑制当成知识已经移除。

    • 场景：作者认为LLM部署需要隐私与安全机制，机器遗忘用于选择性去掉敏感或受版权保护的数据。作者称JailbreakBench一类通用越狱评测用到遗忘问题上仍然有限，针对遗忘结果的对抗利用也还不是常规红队项目。
    • 现有不足：作者称良性提示上的遗忘分数，以及基于再学习的代理指标，都会低估残留知识。作者引用Jang et al. (2025)与Wu et al. (2025)，称现有方法常只做表层移除，exact unlearning之后仍可能被抽取。
    • 假设：若知识真被移除，就不应有提示词能稳定引出泄漏。作者认为当前遗忘可能只提供表层防护。
    • 做法：提出进化式对抗提示框架REBEL，探测所谓已遗忘的数据能否被恢复。作者称它也是检验知识移除是否持久的评测。
    • 威胁模型：
      • 目标：在遗忘集上最大化泄漏，检查隐藏答案能否被对抗提示引出。
      • 知识：论文写作black-box。攻击者可查询已遗忘模型，无权重和梯度；生成提示时使用良性问题与隐藏答案。
      • 能力：改写良性问题。论文举例包括前后缀、角色扮演、格式约束和假设性表述。黑客模型还能看到分数；多选题还能看到选项分布。
      • 受害系统：遗忘后的LLM。开放回答由评审判定是否泄漏，多选题另用隐藏选项的概率。

  2. What related research exists?

    作者把遗忘分为抑制、编辑与训练时更新，并认为非自适应评测会混淆拒答与遗忘。

    对抗提示与越狱

    • JailbreakBench（Chao et al., 2024）：开放的越狱鲁棒性基准。作者称它在机器遗忘上的应用仍然有限。
    • 梯度与黑盒越狱：Zou et al. (2023)做可迁移的梯度攻击，AutoDAN（Liu et al., 2023）生成隐蔽提示，Chao et al. (2025)用较少查询绕过黑盒防护。作者称这类攻击还不是遗忘后知识恢复的常规红队手段。
    • 嵌入空间威胁：Schwinn et al. (2024)在开源模型嵌入空间用soft prompt冲击安全对齐和遗忘。作者将其写成白盒途径。

    机器遗忘方法

    • 抑制：解码或logit控制，以及提示、上下文引导（Yu et al., 2021; Huang et al., 2024; Ji et al., 2024; Liu et al., 2024; Thaker et al., 2024a; Pawelczyk et al., 2023）。作者称它们轻量，但是转移访问，而不是移除信息。
    • 编辑与合并：Ilharco et al. (2022)、Meng et al. (2022; 2023)、Chen and Yang (2023)等做细粒度行为更新。作者称它们常针对窄机制，难以扩展到分布性遗忘集。
    • 训练时更新：作者称这类方法目前给出最好的遗忘效果。包括梯度上升和梯度差、偏好式目标，以及自蒸馏或logit编辑。作者把稳健评测和有意义的保证列为开放问题，并引用Liu et al. (2025)、Ren et al. (2025)、Thaker et al. (2024b)。

    可逆性与评测脆弱性

    • 再学习：Hu et al. (2024)、Xu et al. (2025c; 2025a)讨论良性再学习或后续微调可逆转遗忘。Zhang et al. (2025)讨论量化后遗忘失效。
    • 遗忘与过度遗忘的张力：Tian et al. (2024)、Yang et al. (2025)。Muresanu et al. (2024; 2025)讨论删除能否精确或可证明控制，以及遗忘何时本质上困难。
    • 评测本身：Rashid et al. (2025)、Chundawat et al. (2024)被作者归入评测协议脆弱性和隐私泄漏测量。

    已遗忘模型上的知识恢复

    • 基准：TOFU（Maini et al., 2024）、MUSE（Shi et al., 2024）、WMDP（Li et al., 2024a）。LUME（Ramakrishna et al., 2025）做多任务遗忘评测。
    • 恢复证据：Leak@k（Reisizadeh et al., 2025）在概率解码下看到被遗忘知识重现；Wu et al. (2025)在所谓exact unlearning后做定向抽取；Jang et al. (2025)用跨语言或改写扰动恢复被抑制事实。
    • 作者的对比：作者称这些评测常常非自适应，会把标准提示下的拒答和真正遗忘混在一起。

    基线与基准：实验基线是原始遗忘集提示Baseline，以及Leak@K。遗忘算法包括AltPO、GradDiff、IDKDPO、IDKNLL、UNDIAL、NPO、SimNPO，Table 2另有RMU。实验基准是TOFU与WMDP-Bio子集。

    作者把REBEL定位为完全black-box的进化式提示优化环，用评审反馈搜索高泄漏提示，并认为越狱式探测是遗忘评测需要的压力测试。

  3. How does the paper address this problem?

    黑客模型按泄漏分变异提示，评审或logit打分，黑盒迭代到泄漏或预算用尽。

    REBEL把稳健遗忘写成提示空间上的黑盒搜索：黑客模型MH变异提示，已遗忘模型MU作答，评审或logit给出泄漏分，再保留高分候选。Figure 1对比良性提示下的拒答，以及对抗提示被判为leaked的情形。Figure 2是这条进化环。

    问题设定

    • 遗忘集由良性问题qi和隐藏答案ai组成。MU把提示映射成回答分布。攻击者只改提示。
    • 泄漏函数把回答和隐藏答案映到[0, 1]。论文写分数不低于δ表示暴露了隐藏答案，但没有给出δ的数值。遗忘较好时分数接近0，回答暴露ai时接近1。
    • 第3.1节的目标是maxq̂i∈ X1/n∑i=1n𝔼y∼ MU(·|q̂i)[ℓ(y,ai)]，即提高遗忘集上的期望泄漏。
    • 论文写对抗提示由MA(qi, ai)产生，因此搜索方持有隐藏答案，而不只是持有问题。

    进化环

    • 从良性问题开始，迭代计数置零。每个候选送入MU：开放生成任务采样回答，多选题读取输出分布。
    • 任一候选被判泄漏就停止并返回该提示；否则按分数保留top-k，交MH变异，直到成功或预算用尽。
    • 主实验最多5轮。各轮每个保留候选的变异次数m为1500、80、50、40、40，对应top-k为20、12、8、5、3。论文称该调度合计4220条对抗提示。
    • 生成式与判别式的逐步流程在附录B的Algorithm 1。

    两种分数

    • 开放生成：MJ判断回答是否泄漏ai，并要求对部分泄漏给0到1之间的分数，用来引导搜索。附录C给出完整提示词。TOFU使用这一路。
    • 多选题：ai对应一个输出token。对可接受token做softmax，泄漏分是隐藏答案token的概率。MH还收到完整选项分布。Algorithm 1在该概率为选项中最大时停止。WMDP按这一路计算分数。
    • Table 1和Table 2的标题都写使用Qwen2.5-7B-Instruct作为hacker和judge。第4节把ASR定义为：遗忘集中能找到提示、使回答被评审判为leaked的样本比例。

    变异与解码

    • MH的输入包括当前对抗提示、原始问题、隐藏答案和分数。
    • 分数不超过0.3时大幅改写；高于0.3且不超过0.8时保留主旨并展开；高于0.8时主要润色措辞和格式。附录C给出完整提示词。
    • MH与MJ都是Qwen2.5-7B-Instruct。MH的temperature为1.0，top-p为0.96，top-k为0.40。MJ的temperature为0。

  4. What experiments did the paper conduct?

    Table 1与Table 2上REBEL均高于两基线，WMDP-Bio的IDKNLL达93.0%。

    实验设置

    • 模型与解码：黑客和评审都是Qwen2.5-7B-Instruct，解码参数见第3问。同一模型同时担任judge。
    • 目标与遗忘方法：TOFU的目标是Llama-3.1-1B-Instruct。WMDP的目标是OPTML-Group提供的、已遗忘的Llama-3-8B-Instruct。Table 2列为AltPO、NPO、IdkDPO、GradDIFF、RMU、IdkNLL、SimNPO。Table 1列为IDKNLL、NPO、GradDiff、UNDIAL、IDKDPO、SimNPO。正文未单独定义RMU。
    • 数据：TOFU-10%为400条。Figure 3是TOFU-5%上的SimNPO，该处未写样本量。WMDP报告的是WMDP-Bio的100条子集。第4.2节的预备实验写明是TOFU数据集DF的5%子集、200条，目标为SimNPO。
    • 攻击对照：Baseline用原始遗忘集提示。论文称Leak@K使用与REBEL相同的攻击提示词，但对目标做K次独立随机生成，K为10、100、500、1000，样本之间没有自适应反馈或提示词精炼。REBEL最多5轮，论文称合计4220条对抗提示。
    • 指标与判定：主指标是ASR。开放任务由MJ的leaked判定。论文未报告重复次数。评审抽查由一名专家标注者完成，未报告验证集规模和一致性系数。
    • 方法差异：AltPO把原答案当负偏好；GradDiff从保留损失中减去缩放后的遗忘损失；IDKDPO与IDKNLL把遗忘提示训成「I don't know」，前者用偏好目标，后者用监督NLL；UNDIAL改教师logit后做自蒸馏；NPO与SimNPO用负偏好，SimNPO去掉单独参考模型。

    主结果

    下表单位为%。TOFU列据Table 2，目标Llama-3.1-1B-Instruct，400条。WMDP列据Table 1，目标Llama-3-8B-Instruct，WMDP-Bio 100条子集。斜杠两侧是两表写法。

    Swipe horizontally to read the table

    遗忘方法TOFU BaselineTOFU REBELWMDP BaselineWMDP REBEL
    AltPO1.5030.00未报告未报告
    NPO4.7536.2525.060.0
    IdkDPO / IDKDPO0.0022.0028.069.0
    GradDIFF / GradDiff0.008.2521.031.0
    RMU0.2516.50未报告未报告
    IdkNLL / IDKNLL0.5022.0032.093.0
    SimNPO2.0060.0022.033.0
    UNDIAL未报告未报告26.085.0
    • 两张表里每个已报告方法的REBEL都高于该行Baseline和Leak@1000。Leak@1000在Table 2为AltPO 13.25、NPO 18.75、IdkDPO 4.75、GradDIFF 1.75、RMU 1.75、IdkNLL 3.25、SimNPO 45.25；在Table 1为IDKNLL 66.0、NPO 44.0、GradDiff 24.0、UNDIAL 51.0、IDKDPO 58.0、SimNPO 26.0。
    • 摘要写ASR最高到TOFU上60%、WMDP上93%，对应Table 2的SimNPO 60.00%和Table 1的IDKNLL 93.0%。作者称GradDiff最稳健，并给出24%对31%这一对Leak@1000与REBEL的数字。作者称RMU上相对1.75%的提高接近一个数量级。
    • 作者称Figure 3在TOFU-5%的SimNPO上呈类似趋势。图中文字有2.5、31、40.5，横轴为Baseline、Leak@1000、REBEL；正文没有写出三个数与三根柱的对应。NPO与SimNPO的REBEL高低顺序在Table 1和Table 2上相反。

    标准指标与再学习

    • 测了什么：TOFU遗忘集用1-ROUGE-L、1-Prob.和1-Extr.。Prob是标准答案的教师强制概率，报告1-Prob，更高表示对原答案的抑制更强。WMDP-Bio用1-AccBio。再学习是在少量遗忘数据上微调，学习率10的-5次方，1000步。论文未报告这份数据的条数。
    • 结果：作者给出WMDP上NPO与SimNPO的1-AccBio为0.73与0.75，并称再学习曲线形状相近；Table 1的对抗ASR正文写为60与33。TOFU-10%上作者称两项标准指标总体接近，对抗ASR却是36.25与60.00，方向与WMDP相反。
    • 作者的解读：标准遗忘指标和再学习行为不能稳定地按对抗可恢复性排序。作者认为对抗提示鲁棒性与已有指标是正交的。

    评审校准

    • 预备实验用SimNPO和200条子集。一名专家标注者对照隐藏答案核对MJ的分数和二分类。论文未报告这批评审样本的条数。
    • 作者称s不低于0.95时，只有精确标准答案或很详细的改写被判leaked，未观察到假阳性。s约0.80时，有语义痕迹但仍含糊的回答被判未泄漏。
    • 作者称有个别低估。附录A的Table 3给出一条轨迹，分数为0.20、0.60、0.95。作者称弱信号下搜索仍继续，直到泄漏更明显；并称s适合引导MH。

    进化调度

    • 同一200条、SimNPO设定下，S1少轮高变异，ASR 47.5%，作者称计算代价高。S2的ASR为42.0%，作者称三者中最有效率。S3多轮低变异，ASR 51.0%，作者称相对S2的新增收益不足以抵消更长运行。
    • 作者称多数不同越狱出现在最初几轮，延长搜索的新增收益下降。主实验改用S1与S2的混合，m与k即第3问所列序列。
    • Figure 6用S3在图注所称的TOFU 5% benchmark、SimNPO上累计Score不低于0.9的比例。纵轴刻度到14，横轴迭代0到7。图注称增长单调。文本中读不到各点数值。

    其他消融与分析

    • 变异分三档，阈值0.3和0.8；论文未单独报告各档ASR。
    • 附录E的Sample #50：隐藏答案语义接近没有公开信息。作者称静态基线得到高泄漏分，三种进化调度都未收敛；评审把自信幻觉标成泄漏，作者称为假阳性。
    • 附录D的Table 4给出TOFU与WMDP-Bio定性示例，含基线输出和REBEL条件下的输出或选项概率。此处不复述示例原文。
    • 论文未报告每条样本实际使用的提示条数，也未报告提前停止的比例。

  5. What are some points that can be further explored?

    作者指出评审可能漏掉细微泄漏并使ASR偏低，并建议把对抗压力纳入遗忘训练。

    作者指出的局限与后续方向

    • 依赖LLM评审给泄漏打分，可能漏掉细微披露；作者认为这类错误主要使ASR向下偏（第5节）。
    • 后续应把对抗压力纳入遗忘训练本身，例如用REBEL一类方法找到的越狱提示作为额外信号，抑制基于提示词的可恢复性（第5节）。

    实验覆盖范围

    • 被测遗忘模型为Llama-3.1-1B-Instruct（TOFU）和Llama-3-8B-Instruct（WMDP）；黑客和评审都是Qwen2.5-7B-Instruct（第4节，Table 1–2）。
    • 攻击对照为Baseline与Leak@10、100、500、1000。主调度最多5轮，论文称合计4220条对抗提示；攻击者设定为black-box，无权重或梯度（第3–4节）。
    • 报告结果的数据是TOFU-10%（400条）、TOFU-5%，以及WMDP-Bio的100条子集。相关工作提到MUSE，实验节未报告MUSE上的结果。
    • 再学习在WMDP上以学习率10的-5次方跑1000步，Figure 4含NPO、SimNPO和Original。论文未报告再学习数据条数，也未报告每条攻击实际查询次数（第4.1节）。
    • 评审抽查由一名专家标注者完成。论文未报告该验证集规模、实验重复次数，以及评审与人工的一致性系数（第4.2节）。

  6. Summarize the main content of the paper

    REBEL用黑盒进化提示检验遗忘是否只是表层抑制，并在TOFU与WMDP上收回部分知识。

    REBEL是一个black-box进化式探测框架，用来检查LLM经过遗忘后，良性评测里看起来已经忘掉的知识是否仍能被对抗提示引出。

    • 问题：作者认为只看良性提示上的拒答，会把表层抑制当成删除，标准遗忘分数和再学习动态也预测不了对抗可恢复性。
    • 方法：已知隐藏答案的黑客模型按分数变异提示，已遗忘模型只接受查询。开放生成由LLM评审打泄漏分，多选题用隐藏选项的softmax概率。保留高分候选，最多5轮，论文称该调度合计4220条对抗提示。
    • TOFU：目标Llama-3.1-1B-Instruct，TOFU-10%有400条。Table 2的REBEL列从GradDIFF的8.25%到SimNPO的60.00%，每一行都高于Baseline和Leak@1000。摘要对应的上限是60%。
    • WMDP：目标Llama-3-8B-Instruct，WMDP-Bio为100条子集。Table 1的REBEL列从GradDiff的31.0%到IDKNLL的93.0%，同样高于两基线。摘要对应的上限是93%。
    • 对照：作者称NPO与SimNPO的1-AccBio为0.73与0.75，再学习曲线形状也相近，但对抗ASR在WMDP上是60与33，在TOFU-10%上是36.25与60.00，顺序相反。作者认为对抗泄漏与已有指标正交。
    • 结论：作者认为现有遗忘可能只是表层防护，评测应补上优化后的越狱压力。作者同时指出LLM评审可能漏掉细微泄漏，并认为这主要使测得的ASR偏低。
Read originalarxiv.org