跳到正文
原文

冻结护栏探针在底座模型更新下的工作点失效

Operating-Point Failure of Frozen Guardrail Probes Under Backbone Updates

arXiv:其他 AI 安全论文· arXiv:2611.19216· Yusuf Khalid Shire, Sang-Chul KimSchool of Computer Science, Kookmin University本站收录· 2 天前· 原文发表防御· 扫描记录里的位置 →

论文速读

分析与理论

据论文 PDF 整理(AI 生成),以原文为准

作者测 16 组公开模型更新下冻结护栏探针的工作点:1% 目标下 9 个 Phase 1 单元 8 个失效关闭,AUROC 检查全部漏报。

问题
护栏探针的阈值按 1% 假阳性率设定后冻结,骨干模型随后被部署方未计划的版本更新替换;AUROC 类陈旧性检查不读阈值,无法回答工作点(FPR/TPR)是否幸存。
方法
在 16 组公开检查点对的 18 个 headline 单元上,用 5 个探针种子和 1000 次重划分测量冻结阈值前后的 paired ratio;提出 two-moment 模型解释变化、label-free estimated-rate check 检测损伤,并评测阈值重设、realignment 等修复及投毒与更新攻击。
实验与结果
1% 目标下 9 个 Phase 1 单元 8 个失效关闭、Phase 2 有 2 个关闭 1 个开放,最大 FPR 从 1.01% 升至 15.12%,而 AUROC 变化不超过 0.0058、Duan 标准不判任何单元陈旧;estimated-rate check 标记 0.918 受损单元,AUC rule 仅 0.019;存储良性提示词上重设阈值可恢复目标 FPR。
局限与可以继续做的
作者指出 Phase 1 配对无注册选择规则、阶段与更新类型和读出方式混淆、7 对配置变化未与权重分离、HH-harmless 训练数据与评测项重叠、仅研究 9B 以下开源权重模型、自适应攻击者超出范围;攻击与 LoRA 实验各用一个骨干。
实验设置Mistral-7B v0.1、Mistral-7B v0.2 等 · Aegis 2.0、WildGuardMix 等 · paired ratio r(FPRpost/FPRpre)、FPR/target 等
威胁模型
攻击者知道冻结探针、层和阈值,占据三种位置之一:更新生产者控制权重、live traffic 贡献者控制 quantile transfer 等拟合所用提示词份额、存储参考集供应者或可写内部人员控制阈值重设所用提示词份额。攻击在 stealth bound 内移动全部或单一有害类别的冻结分数;自适应攻击者和编写新提示词文本的攻击者不在范围内。
被测模型
Mistral-7B v0.1Mistral-7B v0.2Gemma-2-9BLlama-3-8BLlama-3.1-8BQwen2.5-7BOLMo-2-1124-7BMistral-7B-Instruct v0.1Mistral-7B-Instruct v0.2Mistral-7B-Instruct v0.3Llama-3-8B-InstructLlama-3.1-8B-InstructQwen2-7B-InstructQwen2.5-7B-InstructPhi-3-mini-128k-instructPhi-3.5-mini-instructLlama-3.1-Tulu-3-8B
基准
Aegis 2.0WildGuardMixXSTestAlpacaHH-harmlessPKU-SafeRLHFARC-Easy
指标
paired ratio r(FPRpost/FPRpre)FPR/targetTPR at frozen thresholdAUROCestimated-rate check 的 sensitivity/specificity
AI 导读研究发现,冻结的护栏探针与阈值在底座模型更新后工作点失效,最大增幅为误报率从 1.01% 升至 15.12%,而各单元 AUROC 变化不超过 0.0058。实验覆盖 16 次公开 LLM 更新的 18 个单元;在 1% 误报率目标下,第一阶段 9 个单元中 8 个失效为过严(fail closed),预注册第二阶段(描述性)9 个中 3 个失效为过严或过松。基准过期判据未判任何更新过期;无标注比率估计标记了 0.918 的比率倍增或减半单元,并放行其余单元中的 0.898;双矩模型在 63 个预注册单元中的 0.905、22 个移动单元中的 0.773 上以 1.5 倍以内匹配变化。

研究发现,冻结的护栏探针与阈值在底座模型更新后工作点失效,最大增幅为误报率从 1.01% 升至 15.12%,而各单元 AUROC 变化不超过 0.0058。实验覆盖 16 次公开 LLM 更新的 18 个单元;在 1% 误报率目标下,第一阶段 9 个单元中 8 个失效为过严(fail closed),预注册第二阶段(描述性)9 个中 3 个失效为过严或过松。基准过期判据未判任何更新过期;无标注比率估计标记了 0.918 的比率倍增或减半单元,并放行其余单元中的 0.898;双矩模型在 63 个预注册单元中的 0.905、22 个移动单元中的 0.773 上以 1.5 倍以内匹配变化。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    骨干更新后冻结探针阈值的工作点是否幸存,AUROC 检查回答不了,作者实测并给出无标签检测与修复。

    核心问题:冻结的护栏探针阈值在骨干模型更新后,其工作点(FPR/TPR)是否仍然成立,而非 AUROC 是否幸存。

    • 场景与重要性:部署方把线性探针的阈值 T 设为标记 1% 良性提示词后冻结,骨干随后被未计划的发布替换;若良性分数越过 T,护栏失效关闭(误报增多)或失效开放(更宽松),而部署方仍以为它标记 1%。
    • 现有方法不足:作者称 Duan [1] 以 AUROC 标准判断探针陈旧并记录 1%、5% FPR 下的 recall,但不报告冻结阈值上实际实现的 FPR;AUROC 不读阈值,所有分数平移相同量时 AUROC 不变而工作点可变(Varshney [2] 在构造分数上演示过)。
    • 核心观察:作者认为更新不改变良性与有害提示词的可分性,但会移动良性分数的均值与标准差,从而移动阈值处的假阳性率;这一变化可用前两阶矩刻画。
    • 论文产出:18 个 headline 单元的工作点测量、two-moment 解释模型、label-free estimated-rate check、阈值重设等无标签修复、对修复参考集的投毒与更新控制攻击,以及 137 条注册预测的记录。
    • 威胁模型(Section 3):
      • 目标:移动冻结探针的工作点——全部提示词的分数,或单一有害类别的分数。
      • 知识:攻击者知道冻结探针、所在层和阈值 T。
      • 能力:三种位置之一——更新生产者控制权重;live traffic 贡献者控制 quantile transfer 等拟合所用提示词份额;存储参考集供应者或可写内部人员控制阈值重设所用提示词份额。攻击在 stealth bound 内(KL 不超过干净种子间 KL 0.08644 nats/token,ARC-Easy 准确率在干净范围内)。
      • 受害系统:单一冻结线性探针护栏及其阈值;自适应攻击者、编写新提示词文本(如触发短语)的攻击者超出范围。
  2. 有哪些相关研究?

    相关工作分四组:探针护栏、模型变化下的探针、攻击、分布偏移下的重校准;作者定位差异在冻结阈值的工作点测量。

    探针作为护栏

    • Belinkov [7] 综述了隐藏状态探针方法;Sahoo et al. [8] 报告嵌入漂移使毒性分类器 AUROC 降到随机而置信度仍高。
    • Goldowsky-Dill et al. [9] 报告 1% FPR 阈值在一个数据集上漏掉 4% 欺骗性回复;McKenzie et al. [10] 在该速率下比较高风险交互探针与语言模型基线。
    • Gao [11] 测量冻结模型自身校准/测试划分上锁定阈值实现的检测与误报率;作者指出本文是在更新前后读同一批提示词。

    模型变化下的探针

    • Duan [1] 在量化、LoRA、merged LoRA、QLoRA 下以 AUROC 标准判断激活监控器是否陈旧,并用配对无标签激活的 realignment 修复;作者指出其未给冻结阈值上实现的 FPR,本文的 estimated-rate check 估计的是更新后 FPR 比值而非 AUROC 变化。
    • 并行工作 [5] 在 OLMo-3-7B、Apertus-8B 的后训练检查点上保持 5% FPR 阈值并报告其漂移、在良性输入上重设阈值;作者称本文保持 1% 目标、覆盖版本增量并测量投毒代价。Tsatsos [6] 以 AUC 判断基座探针可迁移到指令调优与蒸馏后继。
    • Bakker and Louizos [17] 冻结探针跨 Qwen2.5 的量化/LoRA/QLoRA;Das and Fioretto [19] 建议微调后重训探针、更新后重校准;并行工作 [18] 发现压缩下保留的 AUROC 不保证拒答保留。

    攻击

    • Lyons Keenan et al. [21] 用 rank-one LoRA 让模型沿被监控方向编辑激活以降低监控器 TPR;作者称本文 A1m、A2 借用该机制,由更新生产方投递,A2 在 KL 约束下只移动一个有害类别。
    • 投毒方面,Rubinstein et al. [24]、Kloft and Laskov [25] 针对异常检测器,Wu et al. [26] 针对 test-time adaptation,Huang et al. [29] 针对越狱检测分类器的更新循环;本文投毒的是修复的参考集。

    分布偏移下的重校准

    • Berlin [30] 每次发布重拟合整条良性 FPR 曲线的校准;作者称本文只对单个阈值在存储良性提示词上重设。Schirmer et al. [31]、Tong et al. [32] 给出误报界限,作者指出更新前分数不满足其假设。
    • Lipton et al. [33]、Saerens et al. [34] 处理 label shift;AdaBN [36] 在新分布上重估批归一化统计,本文 restandardisation 把同一原则用于探针输入的标准化统计。

    基线与基准:检测基线为 Duan 三准则构成的 AUC rule、KS 检验 [51]、ATC [52] 和直接比率;修复对照含 quantile transfer、restandardisation、ridge/Procrustes realignment;数据集为 Aegis 2.0 [42]、WildGuardMix [43]、XSTest [47]。

    作者定位:本文读的是冻结阈值处的 FPR 而非 AUROC,且注册预测、测量投毒代价与更新控制攻击。

  3. 论文如何解决这个问题?

    冻结探针与阈值,在更新前后重划分测量 paired ratio;用前两阶矩解释、label-free 检查检测、无标签修复恢复,并做投毒与更新攻击。

    整体思路:把探针、标准化统计、层 L* 和阈值 T 全部冻结,在 16 组公开检查点更新前后测量工作点变化,再用 two-moment 模型 解释、estimated-rate check 无标签检测、阈值重设等无标签方法修复,最后以注册预测的方式攻击更新与修复。

    探针、层与阈值(Section 4.1)

    • 探针:ℓ2 正则 logistic 回归,输入为层 ℓ 隐藏状态按 token 平均并标准化;每个探针在 4000 提示词(2000 有害、2000 良性)上训练,5 个种子各留 20% 验证。
    • 选择:C 与 L* 联合按更新前模型的平均留出 AUROC 选择,C 选自 8 个候选值,L* 每隔一层;选出的 C 均为 10⁻³ 或 3·10⁻³。
    • 阈值:T 为使至多 1% 校准负样本得分不低于 t 的最小不同分数;Phase 1 用 1000 校准负样本,Phase 2 用 5000;5% 阈值为注册敏感性臂。
    • 估计量:每单元 5 个探针种子、1000 次把校准与评估负样本重划分,每次重设 T 后取平均;带为 2.5/97.5 百分位。

    更新配对(Section 4.2)

    • Phase 1:7 个 headline 对(6 个 base→instruct 发布加 Llama-3-8B→Llama-3.1-8B),其中 Mistral 与 Llama-3 对在 WildGuardMix 上重复,共 9 个 L* 单元;探针用 Aegis 2.0,评估划分 2000 负 + 2000 正;输入为原始提示词、不用 chat template。
    • Phase 2:9 个 instruct 侧更新(4 个发布、5 个后训练步骤),由注册规则在任何 Phase 2 评分前固定;只用 WildGuardMix,5000 校准负样本,评估 6000 负 + 4000 正;instruct 模型用各自 chat template,只对 user-message token 平均。
    • Phase 3:在 Mistral-7B-Instruct-v0.2 上做模型侧攻击与防御;干净更新为 Alpaca 上 400 步 rank-16 LoRA,3 个种子。另有 Mistral-7B v0.1 在 Alpaca、HH-harmless、PKU-SafeRLHF 上 25/100/400 步 LoRA 微调。

    指标与损伤规则(Section 4.3)

    • paired ratio r:同一评估负样本上更新后 FPR 与更新前 FPR 之比(FPR 以 1/n_neg 为下限),对种子和重划分取平均;r ≥ 2 为失效关闭,r ≤ 0.5 为失效开放。
    • AUC rule:Duan 的三准则——更新前 AUROC ≥ 0.75 为合格门,∆AUROC ≤ −0.05 为 big drop,更新后 AUROC < 0.70 为 operational failure;本文对 5 个种子的均值应用。
    • 注册:每个结果标注为 registered(带 verdict)或 descriptive;137 条注册条目全部报告(Supplement S-2)。

    two-moment 模型与 estimated-rate check(Section 4.4)

    • two-moment 模型:把更新前分数 x 映射为 f̃(x) = μ1 + (fpre(x) − μ0)σ1/σ0,即用评估负样本更新前后的均值和标准差做线性映射,检验前两阶矩能否解释 FPR 变化;误差 e = |log R − log R̂|,e ≤ log 1.5 为在 ×1.5 内。它用评估负样本的更新后矩,是解释而非预测。
    • estimated-rate check:只用存储校准负样本的更新前后矩,比较高斯尾部在阈值处的比值 Gd(式 3),G_d ≥ 2 或 ≤ 0.5 时报警;校准与评估负样本每次划分都不相交,因而是样本外检查。

    修复、攻击与 canary(Section 4.5–4.6)

    • 修复(均不需新标签):阈值重设(Rsame 用 1000 存储校准负样本、Rfresh 用留出新鲜负样本)、quantile transfer(1000 条 1% 有害的 unlabelled traffic)、restandardisation(类平衡或 traffic 参考)、ridge/Procrustes realignment。
    • 攻击:A1 给每个更新后状态加沿探针方向的平移 δ = cσv/(vᵀv),AUROC 不变;A1m 用 rank-1 LoRA 实现该平移;A2 只移动一个目标类别(cat-1 至 cat-3,c ∈ {−2, −1},各 5 种子,共 30 个被攻击模型),KL 项保持模型接近干净更新;A3 以份额 ρ(0.001 至 0.25)投毒修复的 1000 项参考集。
    • canary:每个目标类别 47 至 99 条留出标注有害提示词,取三个类别在冻结阈值下 canary TPR 最大降幅为统计量,阈值 τ 匹配全局 estimated-rate check 的干净误报数;canary 在 A2 评分后才固定,属 post hoc 检查。
  4. 论文做了哪些实验?

    18 个 headline 单元实测:Phase 1 有 8/9 失效关闭而 AUROC 不动;estimated-rate check 检出 0.918,阈值重设恢复目标 FPR。

    实验设置

    • 被测对象:16 组公开检查点对(Phase 1 七对、Phase 2 九对),涉及 Mistral-7B、Gemma-2-9B、Llama-3/3.1-8B、Qwen2/2.5-7B、OLMo-2-1124-7B、Phi-3-mini/3.5-mini、Llama-3.1-Tulu-3-8B 等 7B–9B 开源权重模型;另有 Mistral-7B v0.1 的 9 个 LoRA 微调与 Mistral-7B-Instruct-v0.2 上的攻击实验。
    • 数据:探针训练用 Aegis 2.0(Phase 1)与 WildGuardMix(Phase 2 及 Phase 1 两个重复单元);XSTest 250 条安全提示词测过度标记;LoRA 语料为 Alpaca、HH-harmless、PKU-SafeRLHF(各 6400 例);ARC-Easy 2376 题做能力检查。
    • 规模与重复:每单元 5 个探针种子、1000 次校准/评估负样本重划分;参考池、攻击与 ridge realignment 用 200 次,Procrustes 用 50 次;bootstrap 5000 次。
    • 指标:paired ratio r(损伤切点 2 与 0.5)、FPR/target、冻结阈值处 TPR、AUROC;检测器按 sensitivity/specificity 对 damaged 类评分。
    • 判定方式:无 LLM 评审;AUROC、CKA 等在固定评估划分上读数;结果标注 registered(HELD/FAILED/REFUTED 等)或 descriptive。
    • 基线:AUC rule(Duan 三准则)、KS 检验、ATC、直接比率;修复对照 quantile transfer、restandardisation、ridge/Procrustes realignment。

    主结果

    据 Table 3(1% 目标,r 为 1000 次重划分均值):

    表格较宽,可左右滑动

    ID数据r类别TPR pre→postAUROC pre→post
    1aAegis17.377closed0.396→0.7910.9170→0.9112
    1aWGM9.521closed0.713→0.8940.9704→0.9665
    1bAegis6.783closed0.413→0.6810.9199→0.9213
    1eAegis1.577within0.371→0.4270.9093→0.9133
    1gAegis3.224closed0.420→0.5700.9163→0.9161
    2aWGM0.055open0.738→0.3650.9776→0.9733
    2bWGM2.254closed0.773→0.8390.9814→0.9808
    2eWGM5.874closed0.710→0.8980.9730→0.9760

    (省略 1c 两单元、1d、1f、2c、2d、2f–2i,均为 within 或较小幅度的 closed;完整 18 行见 Table 3。)

    • 作者报告:1% 目标下 9 个 Phase 1 单元 8 个失效关闭,Phase 2 有 2 个关闭(2b、2e)1 个开放(2a);最大上升为 1a Aegis 的 FPR 从 1.01% 到 15.12%,其 AUROC 仅降 0.0058,18 个单元 AUROC 变化均不超过该值,Duan 标准不判任何单元陈旧(descriptive)。
    • 作者指出两阶段在更新类型与输入格式上同时不同,阶段间计数差异不能归因于更新类型;所有 10 个失效关闭单元 TPR 都上升,失效是误报负担增加而非检测丢失。
    • 5% 目标下 5 个单元失效关闭、2a 开放、12 个 within;1c(两数据集)、1d、1g、2b 从 closed 变为 within,作者称这些是跨过切点 2 的单元而非大效果消失(descriptive)。

    机制与 estimated-rate check(Section 5.3)

    • two-moment 模型:Phase 2 的 63 个注册单元中 0.905 在 ×1.5 内、中位误差 0.058(P2-M.2,HELD),斜率 0.911 [0.806, 1.292](P2-M.1,HELD),优于仅平移对照的 0.730(P2-M.3,HELD);在 22 个移动的单元中为 17 个(0.773)。
    • estimated-rate check:156 个 Phase 1 层单元上标记 0.918 的受损单元、放行 0.898 的未受损单元(Table 5、Fig. 1;Fig. 1 为 realised r 对 G_d 的散点,两轴均有 0.5 与 2 切线,固定划分上受损且被标记/受损未标记/未受损被标记/未受损未标记为 97/13/4/42);AUC rule 只标记 0.019 的受损单元(specificity 1.000)。
    • 更强基线:KS sensitivity 0.966 但 specificity 0.543(P-C5.1,HELD);ATC specificity 更高但 sensitivity 0.479,其 AUROC 0.965 高于 G_d 的 0.952,使预测 ATC 排名更差的 P-C5.2 FAILED;无基线两项都不低于 G_d(P-C5.3,HELD)。

    修复与投毒(Section 5.5)

    • 阈值重设:Rsame 上 9 个 Phase 1 单元平均 FPR/target 为 0.98–1.02,Rfresh 上 0.96–1.02(descriptive);TPR 为更新后模型在该速率下的 0.351–0.721,不保证恢复更新前 TPR。
    • restandardisation:仅在类匹配参考上有效(类平衡训练行上 FPR/target 1.01–1.71);在 1% traffic 上过冲到 4.74–9.82(Aegis)与 21.87、24.36(WGM),8/9 单元比不修复更差(descriptive)。
    • 投毒(n=1000 参考集):高分有害提示词在 0.5%(4 对)或 1%(5 对)先使重设损失 10 点 TPR;1% 时重设只标记 0.006–0.017 有害提示词;quantile transfer 在 1% 损失 10 点但仍标记 0.153–0.489(descriptive)。
    • realignment:27/27 单元在六种臂下保持扩展的 Duan 标准(P-RA.1,HELD),但 ridge 图在 9/9 单元、Procrustes 在 6/4/3(Phase 1/2/LoRA)单元把 FPR/target 留在 ×1.5 之外;作者注册的"至少 6/9"对 ridge 与 Phase 1 Procrustes HELD,对 Phase 2 与 LoRA 的 Procrustes FAILED。

    攻击与 canary(Section 5.8)

    • A1/A1m:A1 保持 AUROC 不变、AUC rule 不报警(P-A1.1、P-A1.2,HELD);two-moment 模型只在 0.656 单元内预测准(P-A1.3,FAILED),estimated-rate check sensitivity 0.951、specificity 0.568(P-A1.4,FAILED)。
    • A2:30 个单元整体 AUROC 无 ≥0.05 下降(P-A2.1,HELD)、整体 FPR 保持 ×1.5 内(P-A2.4,HELD);cat-3 在 5 个种子中 3 个达到 stealthy(c = −2),使"无单一攻击者同时躲过两种检查"的 Hypothesis A2 被 REFUTED;estimated-rate check 标记 7/30,多于预测(P-A2.2,FAILED)。
    • canary:post hoc canary 标记全部 8 个(冻结阈值读数 9 个)c = −2 的 blinded 单元,603 次干净划分无误报(由其阈值规则构造保证);作者注明 canary 在 A2 评分后才固定,无攻击者适配过它。

    其他消融与分析

    • LoRA 剂量(Table 4):安全语料臂 frozen error 为通用臂的 5.39–7.00 倍(descriptive),PKU-SafeRLHF 损伤超过通用臂的注册预测在固定划分上 HELD;损伤不随剂量增长,H-LoRA-1 NOT SUPPORTED。
    • MLP 探针(Section 5.6):9 个 Phase 1 单元中 7 个 paired ratio ≥ 2(P-MLP.1,HELD),与线性探针比值差在 ×1.5 内,失效与修复不限于线性探针。
    • XSTest 过度标记(Section 5.4):Phase 2 中 2d 更新后安全提示词被标记 2.178 倍 [1.867, 2.733],2a 为 0.265 倍 [0.025, 0.086];Phase 1 的 1a 在 L16 处 paired ratio 9.43,250 条安全提示词被标记份额均值从 0.053 升至 0.480。
    • 硬件对照(Section 4.2):V100/A100 对照的 paired ratio 在 0.9995–1.0029 内,但激活仅 1/17 层逐位一致,注册行 13 FAILED;LoRA 系列随后在 A100 上重测,无注册 verdict 改变。
    • CKA(Section 5.1):1a–1h 各层最小 CKA 不低于 0.855,作者称表示相似度不是损伤的可靠指引。
    • 注册记录(Section 6.2):137 条注册条目中 69 HELD、24 FAILED、5 NOT SUPPORTED、3 REFUTED、6 撤回/未定义/不确定,30 条 outcome-only 或 descriptive。
  5. 有什么可以进一步探索的点?

    作者列出配对选择、混淆、数据暴露、模型范围等局限;实验覆盖 7B–9B 开源模型与两个安全数据集。

    作者指出的局限与后续方向

    • Phase 1 配对无注册选择规则:Section 6.2 指出 Phase 1 的 7 对先于注册规则存在,无现存书面规则能推出它们,且其 9 个 headline 单元中 8 个失效关闭;Phase 2 由注册规则固定,3/9 失效。
    • 阶段、更新类型与读出方式混淆:Section 6.2 指出 Phase 1 全部从基座模型出发、读原始提示词,Phase 2 为 instruct 侧更新且读 chat template,三者 aliased;2b、2c、2e 的渲染输入随权重变化,作者未分离二者。
    • 配置变化未分离:Section 6.2 指出 1e、1g、2a、2b、2d 及 1h、2j 改变模型配置(Table 2),未与权重变化分离。
    • HH-harmless 暴露:Section 6.2 与 5.7 指出该臂训练对话在其他 user turn 含评测项(400 步时 810 条对话、763 个不同项),且无记录界定 paraphrase 或近重复污染;作者据此把 PKU-SafeRLHF 作为干净安全臂。
    • 模型与数据范围:Section 6.2 写明只研究了至多 9B 参数的开源权重模型;受控 LoRA 用一个检查点(Mistral-7B v0.1),模型侧攻击用一个骨干(Mistral-7B-Instruct-v0.2);探针只在 Aegis 2.0 与 WildGuardMix 上训练,过度标记只在 XSTest 上测。
    • 自适应攻击者超出范围:Section 6.2 指出无攻击适配 canary(canary 在 A2 评分后才固定);Section 6.2 还指出"无陈旧单元"依赖 −0.0470 距 big drop 线仅 0.003 的余量,且仅一个 headline 单元失效开放,不能推广。

    实验覆盖范围

    • 被测更新为 16 组公开检查点对(18 个 headline 单元)加 1 个补充对 1h 与 1 个头line 外对 2j,全部为 7B–9B 开源权重模型(Section 4.2、Table S-I)。
    • 探针为线性 logistic 回归,另有一个一隐层 MLP 探针在 9 个 Phase 1 单元上复核(Section 5.6);每单元 5 个种子、1000 次重划分。
    • 防御/修复评测覆盖阈值重设(Rsame、Rfresh)、quantile transfer、restandardisation、ridge/Procrustes realignment;投毒实验仅在 n = 1000 的参考集上运行(Section 5.5)。
    • 攻击覆盖 A1(模拟平移)、A1m(rank-1 LoRA)、A2(类别定向,3 类 × 2 个 c × 5 种子 = 30 模型)、A3(36 单元参考集投毒);canary 为 post hoc,未测自适应攻击(Section 4.6、5.8)。
    • 论文未报告评审模型(判定全靠阈值规则与 AUROC,无 LLM 或人工评审);4 个 headline 单元的部分输入缓存无提取记录,同 GPU 假设依赖一条事后读取的验证记录(Section 6.2、Supplement S-7)。
  6. 总结一下论文的主要内容

    冻结探针阈值在骨干更新后工作点大幅移动而 AUROC 不动;作者给出无标签检测与修复,并演示更新控制攻击。

    一篇关于激活探针护栏运维的分析论文:部署方按 1% 假阳性率设好阈值并冻结后,骨干模型被发布更新替换,探针的工作点是否还成立。

    • 问题:AUROC 类陈旧性检查(如 Duan [1] 的标准)不读阈值,无法回答冻结阈值处的 FPR/TPR 是否幸存;作者称这是与 AUROC 不同的问题。
    • 方法:在 16 组公开检查点对的 18 个 headline 单元上,以 5 个探针种子、1000 次重划分测量 paired ratio;用 two-moment 模型解释变化、estimated-rate check 做无标签检测、阈值重设等无标签方法修复,并以 137 条注册预测记录全部 verdict。
    • 主结果 1:1% 目标下 9 个 Phase 1 单元 8 个失效关闭、Phase 2 有 2 个关闭 1 个开放;最大上升为 Mistral-7B v0.1→Instruct 在 Aegis 2.0 上 FPR 从 1.01% 到 15.12%,而 18 个单元 AUROC 变化均不超过 0.0058,Duan 标准不判任何单元陈旧(Table 3,descriptive)。
    • 主结果 2:two-moment 模型在 63 个 Phase 2 注册单元的 0.905 内把变化解释到 ×1.5(HELD);estimated-rate check 标记 0.918 的受损 Phase 1 层单元、放行 0.898 未受损单元,而 AUC rule 只标记 0.019。
    • 主结果 3:在存储或新鲜良性提示词上重设阈值使 9 个 Phase 1 单元的 FPR/target 回到 0.96–1.02,无需新标签;但 1% 投毒 1000 项参考集使重设只标记 0.006–0.017 的有害提示词(descriptive)。
    • 主结果 4:控制更新的攻击者(A2)在 cat-3 上 5 个种子中 3 个实现 stealthy 致盲,两种检查均沉默,注册的 Hypothesis A2 被 REFUTED;post hoc canary 标记全部此类单元。
    • 作者结论:部署方应在每次更新后按在用的目标速率,用存储良性提示词过更新后的模型重测 T 处 FPR,必要时在同一批提示词上重设阈值;作者强调参考集须置于攻击者不可写处,且 realignment 保 AUROC 却不能可靠恢复工作点。

相关论文

共同使用 Aegis 2.0
共同使用 ARC-Easy
再看 3 篇
共同使用 WildGuardMix
共同使用 PKU-SafeRLHF
共同使用 Alpaca
阅读原文arxiv.org