跳到正文
原文

Abliteration 变难了吗?并非一致:在 Heretic 中以基于方向的消融与 ARA 对 Qwen3.8、Gemma 4、Olmo 3.1 和 Mistral Small 3.2 LLM 及其前代进行拒答移除

Is Abliteration Getting Harder? Not Uniformly: Refusal Removal by Direction-Based Ablation and ARA in Heretic on the Qwen3.8, Gemma 4, Olmo 3.1 and Mistral Small 3.2 LLMs Versus Their Predecessors

arXiv:越狱、提示注入、投毒与防御· arXiv:2611.17846· Richard J. YoungUniversity of Nevada Las Vegas, Department of Information Systems本站收录· 4 天前· 原文发表攻击· 扫描记录里的位置 →

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

作者在五个开源模型新旧版本对上统一评测拒答移除:作者称移除并未一致变难,效果取决于版本对、方法与预算。

威胁模型攻击者利用公开权重对开源指令模型做免微调权重编辑(abliteration/ARA),目标是在 first-token KL ≤ 0.1、100 次 TPE 搜索的预算下最小化 dev 关键词拒答;受害系统为 Qwen、Gemma、OLMo、Mistral Small 等指令模型,成功按 WildGuard 在 972 条 held-out 有害提示上判定的残余拒答衡量。

问题
开源权重模型的拒答可被免微调的 abliteration 编辑移除;ARA 作者称方向性消融在新模型上越来越失效,但这一说法此前缺乏独立检验,且工具常用关键词计数与 first-token KL 自评,可能与更强的评审不一致。
方法
在 Qwen、Gemma、OLMo、Mistral Small 四对主模型和一对小 Qwen 上,用 Heretic 2.0 统一跑 DiM、MPOA、SOM、ARA(小对加 J-space),100 次 TPE 试验、first-token KL ≤ 0.1、同一选择规则,再用 WildGuard 在 972 条 held-out 有害提示上评残余拒答,并测能力与分布偏移。
实验与结果
作者报告移除未一致变难:方向类方法的新旧残余拒答差从 Mistral Small 的 −1.2 pp 到 OLMo 的 +36.9 pp,ARA 从 Gemma 的 −26.0 pp 到 Qwen 的 +34.4 pp;只有 OLMo 方向类上升在两种方差模型下都超出 run-to-run 变异;关键词计数在工具窗口平均与评审一致但逐模型差约 7 pp。
局限与可以继续做的
作者指出:主研究每单元只有一个优化 seed,run-to-run 方差由小对迁移;每对仅一个 ARA 运行且导出需重拟合;无人工标注审计,WildGuard 未在编辑后模型上验证;仅贪心解码、关闭推理;代际与规模、架构、训练配方混杂。
实验设置Qwen2.5-32B、Qwen3.8-27B 等 · JailbreakBench、XSTest 等 · residual refusal (WildGuard)、generation effect (pp) 等
被测模型
Qwen2.5-32BQwen3.8-27BGemma-2-27BGemma-4-31BOLMo-2-32BOlmo-3.1-32BMistral-Small-2409Mistral-Small-3.2Qwen2.5-7BQwen3.5-4B
基准
JailbreakBenchXSTestStrongREJECTHarmBenchcode-as-weapon bankMMLU-ProGSM8KIFEvalHumanEvalMBPP
指标
residual refusal (WildGuard)generation effect (pp)H2 contrast (pp)first-token KL divergenceteacher-forced divergencekeyword refusalCohen's κpass@1exact match
AI 导读一篇 arXiv 论文统一条件测试后发现,开源 LLM 的拒答移除(abliteration)并非随模型更新一致变难,是否更难移除取决于发布对、方法与搜索预算,而非模型代际本身。作者在 Heretic 2.0 中对 Qwen、Gemma、OLMo、Mistral Small 的五组新旧版本对,用 difference-in-means、MPOA、SOM 等方向法与 ARA,在相同提示词、名义搜索预算和首 token KL 散度上限下做免微调权重编辑,由 WildGuard 裁判在 972 条留出有害提示词(含 JailbreakBench 等基准与作者自编恶意代码库)上判定拒答。方向法移除后新版本多保留 -1 至 +37 个百分点的拒答,ARA 后为 -26 至 +34,计入运行间方差后方向法效应的组间异质性 I² 在 20-80% 之间。

一篇 arXiv 论文统一条件测试后发现,开源 LLM 的拒答移除(abliteration)并非随模型更新一致变难,是否更难移除取决于发布对、方法与搜索预算,而非模型代际本身。作者在 Heretic 2.0 中对 Qwen、Gemma、OLMo、Mistral Small 的五组新旧版本对,用 difference-in-means、MPOA、SOM 等方向法与 ARA,在相同提示词、名义搜索预算和首 token KL 散度上限下做免微调权重编辑,由 WildGuard 裁判在 972 条留出有害提示词(含 JailbreakBench 等基准与作者自编恶意代码库)上判定拒答。方向法移除后新版本多保留 -1 至 +37 个百分点的拒答,ARA 后为 -26 至 +34,计入运行间方差后方向法效应的组间异质性 I² 在 20-80% 之间。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    检验新一代开源模型是否更难被 abliteration 移除拒答,作者称答案并非一致变难。

    核心问题:新一代开源权重 LLM 的拒答是否比上一代更难被免微调的权重编辑(abliteration)移除。

    • 场景与重要性:开源模型的安全训练可被公开权重事后编辑;abliteration 只需几百条对比提示和单块 GPU,且 Hugging Face 上已有大量消融模型和全自动工具,作者认为这关系到攻击者、防御者和审计者。
    • 现有说法与不足:ARA 作者称旧模型"通常很容易被标准 abliteration 去审查",而方向性消融在最新一代模型上"往往远远不够";作者指出该说法此前未被独立检验,ARA 无已发表评测,既有 abliteration 比较早于 ARA 和当前模型。
    • 方法学缺口:工具通常用自身优化的廉价信号(关键词拒答计数、first-token KL)评估,作者引用的证据显示关键词匹配与人工标签一致性差、结论可能依赖所用分类器。
    • 论文提出:在五个新旧版本对上,用同一框架、提示集、名义搜索预算、KL 上限和选择规则比较方向类方法(DiM、MPOA、SOM、小对加 J-space)与 ARA,并用独立于优化目标的 WildGuard 评审在 held-out 提示上测残余拒答;作者称其为当前所知首个跨版本独立比较 ARA 与方向类方法的研究。
    • 威胁模型:
      • 目标:移除开源指令模型的拒答行为,使其响应有害请求。
      • 知识:攻击者拥有模型公开权重(open-weight),可本地运行与编辑。
      • 能力:免微调的权重编辑,预算为 100 次 TPE 搜索试验、first-token KL ≤ 0.1,按 dev 关键词拒答最少选择试次。
      • 受害系统与成功判定:Qwen、Gemma、OLMo、Mistral Small 等指令模型;成功以 WildGuard 在 972 条 held-out 有害提示上判定的残余拒答率衡量,残余拒答更高即"更难"。
  2. 有哪些相关研究?

    相关工作按拒答几何假设分四类,另有后训练机制、防御与评测问题三组文献。

    单方向消融

    • Arditi et al. (2024)——在 13 个聊天模型上因果验证拒答由单一残差流方向介导,加入该方向诱发拒答、消融则抑制拒答;后续正交化权重得到只需几百提示的免微调编辑。
    • Projected abliteration 与 MPOA(Lai, 2025)——分别投影掉无害均值方向和恢复行范数以减少附带损伤;Heretic(Weidmann, 2025)用 TPE 自动化层、强度和方向选择。论文指出这些变体主要记录在博客,且相关预印本评测的模型不超过 14B。

    多方向与子空间方法

    • Gabliteration(Gülmez, 2025)、OBLITERATUS(2026)、WRDO(Evseev et al., 2026)——投影多个奇异向量或学习逐提示方向权重。
    • Wollschläger et al. (2025)——用梯度学习拒答方向,发现多维"概念锥";Piras et al. (2026) 证明 SOM 是 difference-in-means 的推广,消融多个 SOM 方向优于单方向基线。论文同时指出该前提有争议:Joad et al. (2026)、Wang et al. (2026) 等发现不同拒答方向的操控权衡几乎相同。

    基于优化的方法

    • ARA(Weidmann, 2026)——对每个目标模块拟合低秩更新,使有害输出靠近无害输出而保持无害输出不变;其作者称方向性消融在新模型上日益失效、ARA 在 gpt-oss-20b 上更优,论文指出该证据来自 pull request,且最近邻目标可能过拟合其提示集。

    表示空间方法

    • J-space 消融(Sekinal, 2026)——在 Jacobian lens 定义的工作空间计算拒答方向并拉回残差流;论文指出按其作者自己的测量它移除的拒答很少,参考代码是单模型 forward hook。

    后训练机制、防御与评测

    • 机制研究:DPO 保留毒性能力并学会绕过(Lee et al., 2024);安全微调对 MLP 权重做最小变换(Jain et al., 2024);消融后有自修复现象(McGrath et al., 2023)。
    • 防御:拒答特征对抗训练将 Llama-3-8B 攻击成功率从 53% 降到 10%(Yu et al., 2025);随机消融方向下微调使攻击成功率降约 95%(Xie et al., 2025);decoy 方向将 Heretic 权重级攻击从 88.7% 降到 18%(Muhamed et al., 2026)。
    • 评测问题:关键词匹配对人工标签 κ = 0.37,WildGuard 0.61,微调 LLM 评审约 0.81(Xie et al., 2025);一条未评审实践报告称关键词每百条计 3–5 个拒答而 LLM 评审超过 33 个(Heretic PR #196)。

    基线与基准:本文不比外部攻击基线,比较对象是同一 Heretic 2.0 内的 DiM、MPOA、SOM、J-space 与 ARA,外加 8 个公开社区消融模型作外部参照;held-out 评测集为 JailbreakBench、XSTest、StrongREJECT、HarmBench 和作者自编的 code-as-weapon 提示库。

    定位:作者称本文在四点上区别于既有工作——以版本对为单位做 held-out 检验、四类方法共享同一框架与预算、用独立于优化目标的 harness 评分、以及(作者称)首个跨版本独立比较 ARA 与方向类方法;null-space 消融、拒答锥、WRDO、最优传输消融和微调攻击不在评测范围。

  3. 论文如何解决这个问题?

    五对新旧模型 × 四类编辑方法,统一 100 次 TPE 搜索、KL ≤ 0.1 选择规则与独立评审 harness。

    整体思路:把"模型代际"与"拒答移除方法"交叉,在同一选择规则、同一独立于优化目标的评测 harness 和相同名义预算(100 次试验)下比较残余拒答,方法框架为 Heretic 2.0。

    模型与数据

    • 模型:Qwen、Gemma、OLMo、Mistral 四对主研究对(22–32B,bf16 单卡)加一对小 Qwen(7B→4B);每对为同族新旧两个指令模型,新版本晚 9–23 个月发布(Table 2)。
    • 架构披露:Gemma-2/4、OLMo-2/Olmo-3.1 为 post-norm,方向性编辑在这四个模型上不完整;作者披露而不在主运行中校正,另跑 γ-MPOA 控制。
    • 提示数据:方向估计、SOM 拟合与 ARA 模块捕获用 mlabonne/harmful_behaviors 与 harmless_alpaca 各前 400 条训练提示;dev 集为 harmful_behaviors 前 100 条测试提示。
    • held-out 集:1,322 条提示(972 有害、350 无害),来自 JailbreakBench、XSTest、StrongREJECT、HarmBench 和作者自编的 200 条 code-as-weapon 库(Table 3);在任何 held-out 响应生成前冻结,44 条与搜索提示重叠的条目被标记。

    方法实例化

    • DiM:rank-1 编辑移除 difference-in-means 方向,方向、强度、层剖面由与 MPOA 相同的搜索调优("Heretic-tuned DiM")。
    • MPOA:方向投影至无害均值正交,行归一化后恢复行范数(rank-3 adapter)。
    • SOM:移植 Heretic PR #196 的概念验证,每层 4×4 SOM 取获胜最多的 k = 4 个神经元方向,正交归一化后按搜索到的几何衰减消融(rank-6 adapter)。
    • ARA:每个目标模块拟合 rank-50 adapter,用 L-BFGS 优化目标 L = wp |Ỹg − Yg|2 + ws dk(Ỹb, Yg) − wo dk(Ỹb, Yb),含义:保持无害输出不变、把有害输出拉向无害输出、并推离其原位置(防过度校正的反向项);行范数保持只进入目标,导出 adapter 不再归一化。
    • J-space(仅小对):jspace-refusal 代码从 Jacobian lens 与拒答 token 反嵌入计算方向,烘焙进权重(rank-3),而非原作者的 forward hook。

    搜索与选择

    • 优化:每个模型×方法是一个 Optuna 多变量 TPE 研究,100 次试验(前 30 次随机),seed 1;双目标最小化——dev 100 条响应中含 33 个拒答标记的比例,以及对 100 条无害提示的 first-token KL 散度。
    • 选择规则:在 first-token KL ≤ 0.1 的完成试验中选 dev 拒答最少者,平局按更低 KL、再按试验序号;另在 0.05、0.2、0.5 阈值做敏感性分析。
    • 导出:选中试次合并为独立 checkpoint,仅改动被编辑矩阵;42 个主模型与 4 个 γ-MPOA 控制发布(5 个 Gemma-2-27B 变体除外)。

    评测与统计

    • 生成:每条 held-out 提示一次贪心生成,最多 512 token,关闭推理,统一系统提示。
    • 判定:主结果为 WildGuard 拒答标签;另有 HarmBench 分类器、Qwen3Guard-Gen-8B、两个编码器分类器和 33 个关键词标记(全文及前 100/256 token);退化启发式标记空、重复或不可打印响应。
    • 能力与偏移:MMLU-Pro、GSM8K、IFEval、HumanEval、MBPP 五个基准(Table 4),以及 350 条无害提示上的 teacher-forced 散度。
    • 检验:配对 McNemar 精确检验、Holm 校正;H1 为同 972 条提示上新旧模型残余拒答的配对差;H2 为 GEE 的代际×方法类交互;run-to-run 方差由小对 10 个 seed 对事后估计(σ = 9.2 pp),并分恒定与随拒答水平变化两种方差模型。
  4. 论文做了哪些实验?

    五对模型上 H1–H3 检验:移除未一致变难,仅 OLMo 方向类上升在两种方差模型下都稳健。

    实验设置

    • 被测模型:Qwen2.5-32B→Qwen3.8-27B、Gemma-2-27B→Gemma-4-31B、OLMo-2-32B→Olmo-3.1-32B、Mistral-Small-2409→Mistral-Small-3.2、Qwen2.5-7B→Qwen3.5-4B(小对),共 10 个原始模型加各自编辑版。
    • 方法:DiM、MPOA、SOM、ARA,小对加 J-space;另 4 个 γ-MPOA 控制、10 个 seed-2 复跑(仅小对)、8 个社区发布。
    • 数据:held-out 1,322 条提示(972 有害、350 无害;Table 3);dev 100 条用于搜索与选择。
    • 指标与评审:主指标为 WildGuard 在 972 条有害提示上判定的残余拒答率;第二评审 Qwen3Guard-Gen-8B,HarmBench 分类器测有害遵从;无人工审计。
    • 预算与重复:每单元 100 次 TPE 试验、seed 1;主研究每单元仅一次优化,run-to-run SD 9.2 pp 由小对两个 seed 估计。
    • 统计:精确 McNemar + Holm(H1 共 23 个检验);区间同时报告仅提示采样与加入 run-to-run 方差两种。

    主结果

    新旧版本残余拒答差(newer − older,pp,WildGuard,972 条有害提示;据 Table 5、Table 6):

    表格较宽,可左右滑动

    版本对原始模型方向类(均值)ARAH2 对比(ARA−方向)
    Qwen+13.1+10.7 [−4.0, +25.5]+34.4 [+8.8, +59.9]+23.6 [−5.9, +53.1]
    Gemma+1.0 ns+4.7 [−10.2, +19.6]−26.0 [−51.6, −0.5]−30.8 [−60.2, −1.3]
    OLMo+0.8 ns+36.9 [+22.1, +51.7]−2.5 [−27.9, +23.0]−39.3 [−68.8, −9.9]
    Mistral Small+17.9−1.2 [−16.0, +13.5]−0.7 [−26.1, +24.7]+0.5 [−28.8, +29.9]
    小对+16.4+17.3 [+4.4, +30.1]+14.2 [−11.3, +39.7]−3.1 [−31.6, +25.4]

    区间为加入 run-to-run 方差的 95% 区间;Gemma 方向类含失败的 Gemma-4-31B DiM 编辑(残余拒答不低于其原始模型)。

    • H1 不成立:作者报告没有任何主研究对在所有方法上新版残余拒答都更高;方向类效应从 −1.2 pp(Mistral Small)到 +36.9 pp(OLMo),ARA 从 −26.0 pp(Gemma)到 +34.4 pp(Qwen)。
    • 稳健性:在 run-to-run SD 点估计下,唯一在两种方差模型下区间都排除零的原始每对效应是 OLMo 方向类上升;Qwen 与 Gemma 的 ARA 效应在随拒答水平变化的方差模型下不再排除零。
    • 异质性:作者报告方向类效应的对间异质性随尺度与方差模型从低到高变化(I² 在 log-odds 尺度 20%、pp 尺度恒定方差 80%、拒答水平方差 46%)。

    H2:ARA 与方向类方法的对比

    • 测了什么:每对 ARA 与方向类均值的新旧效应差(Table 5、Table 8)。
    • 结果:ARA 在 Gemma(−30.8 pp)和 OLMo(−39.3 pp)比方向类少失效果,在 Qwen 反而多失(+23.6 pp,区间含零,不确定); pooled 对比 −11.5 pp [−57.6, +34.6]。
    • 作者解读:每个对比仅基于一个 ARA 运行,且结论随 KL 预算与方差模型改变;作者称对 ARA 作者说法的支持限于 Gemma 与 OLMo 两对且以这些单元为条件。

    H3:关键词计数与自动评审的一致性

    • 测了什么:同一批 held-out 响应上,Heretic 33 个关键词标记与 WildGuard 的拒答判定差(Table 9、Table 10,Figure 4)。
    • 结果:H3 预测的低估不成立——100-token 窗口(Heretic 搜索所用)平均差 +0.5 pp [−1.0, +1.9],但逐模型平均相差 7.0 pp,25 个模型差异显著且方向不一;全文窗口关键词反而多计 +8.4 pp。关键词与 WildGuard 的一致性从原始模型的 κ = 0.73 降到消融后的 0.40(主研究),两个 LLM 评审之间为 0.82。
    • 作者解读:两个都会出错的评分者之间存在分歧,关键词优化的搜索被一种与判定拒答关系随模型变化的信号引导;无人工标签无法判定谁正确。

    其他消融与分析

    • γ-MPOA 控制:校正 post-norm 增益后四个 post-norm 模型残余拒答都下降(Gemma-4-31B 降 19.9 pp),OLMo 代际效应仍 +57.0 pp;Gemma-4-31B 与 OLMo-2-32B 分别损失 21.4 与 8.1 pp 平均能力(Figure 5)。
    • 社区发布:8 个公开消融中 4 个残余拒答低于本文同 checkpoint 最佳选中模型(如 Qwen3.8-27B 上 1.4% 对 14.0%),teacher-forced 散度 0.085–0.151(Figure 6)。
    • 条目来源:Gemma 方向类上升全部来自 code-as-weapon 库(代码条目 +49.3 pp,公共集 −6.8 pp);OLMo 上升在两类来源上都成立(Table 7)。
    • seed 敏感性:小对第二个 seed 使全部 10 个单元的 held-out 拒答显著变化(中位 9.4 pp,最大 25.2 pp),并抹去 ARA 代际效应(seed 1 为 +14.2 pp,seed 2 为 +0.0 pp)(Figure 7)。
    • 能力与偏移:42 个主模型平均能力变化 −4.2 到 +0.9 pp;能力变化与 teacher-forced 散度相关(ρ = −0.48)而与 dev first-token KL 不相关(ρ = −0.03),作者据此称 first-token KL 不能约束能力损失。
    • 有害遵从:消融后主研究中未被 WildGuard 判为拒答的响应 75.1% 被 HarmBench 分类器判为有害;以有害遵从为结果时 pooled 结论不变,但 Qwen 对在 HarmBench 下满足 H1 标准(附录 D.6)。
  5. 有什么可以进一步探索的点?

    作者列出单 seed、单 ARA 运行、无人工审计等局限,并给出四个后续方向。

    作者指出的局限与后续方向

    • 单 seed 优化(§5.1):主研究每单元仅 seed 1;小对上第二个 seed 改变全部 10 个单元的 held-out 拒答(中位 9.4 pp)并抹去 ARA 代际效应;9.2 pp 的 run-to-run SD 从 4B/7B 模型迁移到 22–32B 模型的假设无法检验。后续方向:为 32 个主研究单元跑第二个 seed(§6)。
    • ARA 单元问题(§5.1):发布的 ARA 模型靠重拟合 adapter 重建,四个在与搜索不同 GPU 上重拟合的导出在 dev 重评分上漂移 5–9 个拒答;Gemma-4-31B ARA 导出重评分 KL 为 0.107,超过上限;H2 的 Qwen 反转与 Gemma 支持都基于单个 ARA 单元,作者称每对 H2 判定是初步的。后续方向:在此流程中跑 heretic-org 报告的 Qwen3.8-27B ARA 试次、在搜索硬件上重拟合导出、为 Qwen 与 Gemma 对跑第二个 ARA seed(§6)。
    • 无人工审计(§5.1):所有拒答率相对于自动评审,WildGuard 未在编辑后模型输出上验证;关键词与评审分歧处无法判定谁对。后续方向:对关键词与评审分歧的响应做人工标注审计(§6)。
    • 生成设置(§5.1):每条提示仅一次贪心响应、最多 512 token、关闭推理;采样解码可能大幅改变拒答率,思维链可携带拒答;结论仅适用于贪心、非思考模式。
    • 代际混杂(§5.1):代际与规模、架构、训练数据、后训练配方和发布间隔混杂;post-norm 泄漏使方向类方法在 8 个主研究模型中的 4 个上处于劣势,DiM 与 SOM 未校正;200 条作者自编代码条目承担了原始模型代际差约一半。
    • 实现范围(§5.1):J-space 仅限小对(只有这两个模型有指令调优 Jacobian lens),方向烘焙进权重而非 forward hook,偏差方向未知;Heretic-tuned SOM 与 Piras et al. 有多处偏差,更窄的搜索可能低估 SOM;论文忠实的 SOM 配置与 J-space forward hook 计划运行而未运行,留作后续工作。§6 另提出:为非选中试次获取评审标签,以判定目标和全序列散度约束重新选择 Pareto 前沿。

    实验覆盖范围

    • 被测模型为 4 族 5 对共 10 个稠密指令模型(4–32B),英文提示,单一 Heretic 2.0 配置、100 次试验(附录 C)。
    • 方法覆盖 DiM、MPOA、SOM、ARA,J-space 仅小对;null-space 消融、拒答锥、WRDO、最优传输消融未评测,微调攻击不在范围(§2.7)。
    • 主研究每单元一个优化 seed;seed-2 复跑仅覆盖小对 10 个单元(§3.4)。
    • 评审为 WildGuard(主)、Qwen3Guard-Gen-8B(第二)、HarmBench 分类器与两个编码器分类器;论文未报告评审与人工标签在编辑后模型上的一致性(§3.3、§5.1)。
    • 外部参照为 8 个社区发布;OBLITERATUS 三个预设在 Qwen2.5-7B 上的结果在姊妹论文中报告,不在本文(§3.2)。
  6. 总结一下论文的主要内容

    跨五对开源模型新旧版本的受控比较:拒答移除难度取决于版本对、方法与预算,而非代际本身。

    一篇关于开源权重模型拒答移除(abliteration)的受控比较研究,检验"新一代模型更难被移除拒答"这一说法。

    • 问题:ARA 作者称方向性消融在最新模型上日益失效,但作者指出该说法缺独立检验,且工具惯用的关键词计数与 first-token KL 自评信号可能与更强评审不一致。
    • 方法:在 Qwen、Gemma、OLMo、Mistral Small 四对主模型和一对小 Qwen 上,用 Heretic 2.0 统一运行 DiM、MPOA、SOM、ARA(小对加 J-space),100 次 TPE 试验、first-token KL ≤ 0.1、同一选择规则,再由 WildGuard 在 972 条 held-out 有害提示上判定残余拒答。
    • 主结果:移除未一致变难——方向类方法的新旧残余拒答差从 Mistral Small 的 −1.2 pp 到 OLMo 的 +36.9 pp,ARA 从 Gemma 的 −26.0 pp 到 Qwen 的 +34.4 pp(Table 5);在 run-to-run SD 点估计下,仅 OLMo 方向类上升在两种方差模型下都超出 run-to-run 变异。
    • 方法类对比:ARA 在 Gemma 与 OLMo 比方向类少失效果(−30.8、−39.3 pp),在 Qwen 的点估计反转(+23.6 pp)但区间含零;每对对比仅基于一个 ARA 运行,作者称其为初步比较。
    • 评测信号:H3 预测的低估不成立——100-token 窗口关键词与 WildGuard 平均一致(+0.5 pp)但逐模型平均差 7.0 pp;first-token KL 不能约束能力损失。
    • 作者结论:一个模型是否抗移除应被读作关于一个版本对、一种方法、一个预算和一种度量的陈述;作者建议审计至少用两类方法、多个 seed、多来源 held-out 提示、至少两个评审和多个散度预算,并计划补跑主研究第二 seed、人工标注审计和重选 Pareto 前沿。

相关论文

共同使用 MBPP
再看 3 篇
共同使用 MBPP
共同使用 HumanEval
阅读原文arxiv.org