SkillScreen:用决策模型高召回筛查恶意 Agent 技能
SkillScreen: High-Recall Screening of Malicious Agent Skills with Decision Models
SkillScreen用2B模型筛技能;MSD未见攻击族上99%测试召回的FPR为22.6%,词SVM为45.6%。
攻击者发布供用户安装的skill。SkillScreen针对SKILL.md直接表达、或经其规定的初始化步骤表达的攻击;只存在于捆绑代码中的行为需包级分析。
- 公开注册表中的agent skill会把指令变成动作,正当自动化与恶意行为外观相近。筛查要尽量不漏检,又要把误报留在可复核范围。作者称静态扫描召回低,提示词评审在99%召回时误标至少87%的正当技能。
- SkillScreen把SKILL.md当作前提,配上固定恶意假设,用LoRA微调OpenJev-2B,一次前向输出连续恶意分数。验证集上选取达到99%召回的最高阈值,测试前冻结检查点、标定和阈值。
- 未见攻击族上SkillScreen默认召回95.6%、FPR 3.3%,99%召回时FPR 22.6%,低于词SVM的45.6%。换到未见来源后该FPR为50.5%,ModernBERT-large为74.7%。作者称陌生正当来源会抬高误报。
- 作者写明只读SKILL.md,且用固定改写而非自适应攻击;命令移出正文后,冻结门召回从99.8%降到87.0%。正当测试源与训练源不同时误报上升。约21%的FPR下,恶意占比10%时精度为34%,占比1%时为4.5%。
- 威胁模型
- 攻击者发布供用户安装的skill。SkillScreen针对SKILL.md直接表达、或经其规定的初始化步骤表达的攻击;只存在于捆绑代码中的行为需包级分析。检测器在技能被使用前为Markdown打分,高分送人工复核。评估使用固定改写而非自适应攻击。
- 被测模型
- SkillScreen
- 基准
- MaliciousSkillBenchMalicious-Structural-Disjoint (MSD)Source-Disjoint (SD)Source-Balanced Random (SBR)
- 指标
- RecallFPRAUROCAPFPR at 99% recall
SkillScreen 是一个紧凑的决策模型,从 SKILL.md 单次前向传播直接给出技能的恶意性评分,在 MaliciousSkillBench 上对未见攻击家族达到 99% 召回。在这一召回水平下,它把 20-25% 的良性技能误标,数量低于论文测试的词级分类器和提示 LLM 评判。在相同训练协议下,它对未见来源的泛化也优于全量微调的编码器。但面对陌生的良性来源时,误报会明显上升,作者据此指出识别新攻击并不等于能可靠筛查新的技能集合。论文共 21 页,归入 cs.CR。
相关热点
1 个事件 · 1 条新闻提到
提到这篇论文的新闻
RL/RLHF 训练条件可诱发模型智能体提权逃逸
- 公众号 大模型安全研究引用了论文编号或链接大模型安全周报:RL/RLHF 训练条件本身即可诱发前沿模型智能体提权逃逸(CVE-2026-65616)
SkillScreen: High-Recall Screening of Malicious Agent Skills with Decision Models(https://arxiv.org/abs/2610.17727)
深度解读
这篇论文试图解决什么问题?
正当技能与恶意技能外观相近,筛查要高召回且压低误报。
公开注册表中的 agent skill 要在安装前筛查:尽量不漏检恶意技能,同时少把正当技能送去人工复核。
- 场景:技能用 SKILL.md 把指令变成文件、代码或服务操作,经公开注册表形成供应链。作者称已有技能会窃取凭证、远程执行或操纵智能体,受控评估也看到数据外泄和破坏性动作,漏检一次就可能影响用户。
- 现有做法的缺口:作者称静态扫描器 SkillSpector 在 MaliciousSkillBench 上只检出 10.5% 的恶意技能;提示词评审查询贵、偏保守,分数过粗。引言称主划分上被测评审在 99% 召回时至少误标 87% 的正当技能,Table 1 中这些评审的 FPR 为 86.8%–100.0%。
- 作者的观察:正当开发工具也会跑 shell、读凭证、访问远程服务。作者称区分点是这些能力在上下文中如何使用;为多抓攻击而降低阈值,也会标出更多正当技能。
- 提出的筛查器:SkillScreen 用小型决策模型,一次前向从 SKILL.md 打出连续恶意分数,并在验证集上标定 99% 召回阈值,本地运行、按条计费的 API 不是其设定路径。
- 威胁模型:
- 目标:攻击者发布供用户安装的 skill。筛查针对 Markdown 直接表达、或通过其规定的初始化步骤表达的攻击。
- 评估方式:Limitations 写明针对发布技能的攻击者,使用固定改写,而不是自适应攻击。论文未另写攻击者对检测器权重的访问方式。
- 受害方:智能体加载技能后,用已授予的工具和权限执行指令。打分发生在技能被使用之前。
- 处置:高分送人工复核。只存在于捆绑代码、正文未表达的行为,作者称需要包级分析。
有哪些相关研究?
相关工作分智能体攻击、恶意技能、软件包和决策模型四组。
针对智能体的攻击
- Greshake 等人(2023)、Perez 与 Ribeiro(2022)、Liu 等人(2025)研究间接提示注入:对抗指令嵌在 LLM 应用所消费的内容里。
- InjecAgent、AgentDojo 与 Agent Security Bench(Zhan 等人,2024;Debenedetti 等人,2024;Zhang 等人,2025)通过智能体交互测试这类攻击和防御。
- Radosevich 与 Halloran(2025)讨论 MCP 工具描述的类似风险。论文此处只写自己在智能体使用技能之前做筛查。
恶意技能与检测
- Liu 等人(2026)记录公开技能注册表中的凭证窃取和智能体操纵。
- SkillInject(Schmotz 等人,2026)评估嵌在技能文件中的攻击。MalSkillBench(Guo 等人,2026)在运行时核验恶意行为,并评测跨代码与指令攻击的检测器。
- MaliciousSkillBench(Wang 等人,2026)汇总公开来源,并给出结构不相交与来源不相交协议。作者在这些协议上比较小型训练打分器。
恶意软件包与静态规则
- Ohm 等人(2020)综述经第三方包分发的供应链攻击;Sejfia 与 Schäfer(2022)用元数据和代码分类恶意包。作者称 agent skill 还包含由 LLM 直接解释的指令。
- SkillSpector(NVIDIA,2026)对技能包使用静态规则。作者用 Table 1 对比:SkillScreen 检出 95.6% 的恶意技能,静态规则检出 10.5%。
决策模型、NLI 与评审
- TypeSafe(2026)、Ibrahim 与 Zaki(2026)讨论对预定结果输出概率的决策模型。Llama Guard 与 ShieldGemma 把语言模型用于安全筛查(Inan 等人,2023;Zeng 等人,2024)。
- Yin 等人(2019)、Wang 等人(2021)用假设表达标签。SkillScreen 用 LoRA(Hu 等人,2022)把该接口用于技能检测。
- Zheng 等人(2023)、Wang 等人(2024)研究提示词评审及其偏差;Greenblatt 等人(2024)、Baker 等人(2025)等把类似判断用于监督。作者称,在同一可见技能文本上,任务训练的打分能以更低误报代价达到高攻击召回。
基线与基准:对比基线为全参数微调的 ModernBERT-large、词级 TF-IDF 线性 SVM、未微调 OpenJev-2B、TypeSafe Jev 1.13、SkillSpector,以及 GPT-5.5、Grok 4.3、Claude Haiku 4.5、GPT-5.4 mini。基准是 MaliciousSkillBench,协议为 MSD、SD、SBR。
作者把本文放在安装前筛查:用标注技能训练小型打分器,而不是只靠静态规则或提示词评审,并在攻击结构偏移和来源偏移下比较高召回时的误报。
论文如何解决这个问题?
SkillScreen用LoRA微调OpenJev-2B,把SKILL.md打成可标定阈值的恶意分数。
SkillScreen 把检测写成自然语言推断:SKILL.md 为前提,固定假设陈述技能是否恶意,分类头输出连续分数,验证集阈值决定是否送复核。Figure 1 中,训练与推理使用同一技能、假设和模型,测试前冻结模型、标定和阈值。
数据划分
- MSD(主协议):恶意结构族不跨划分。训练 6,814、验证 974、测试 1,947(恶意 1,500、正当 447)。训练族 2,458 与测试族 1,364 不相交,文本经空白归一化后也不跨划分重复。
- SD:整源留出。训练 7,510、验证 833、测试 1,384(恶意 839、正当 545),测试来自训练中没有的三个来源。三十个恶意族、占恶意测试技能的 38%,也出现在训练中。
- SBR:各源同时出现在训练和测试。训练 6,812、验证 973、测试 1,950。一半恶意测试技能属于训练中见过的族。
- 基准含十一来源、9,740 条标注技能。实验排除五条缺少公开原文的记录,并保留官方标签与划分;SD 再少八条(Section 2)。
LoRA 微调
- 从固定的 OpenJev-2B 初始化。该检查点把 Qwen3.5-2B 适配为 NLI。
- 冻结骨干,在注意力投影上训练 rank-8、缩放因子 α=16 的适配器,并全量微调从预训练 NLI 权重初始化的分类头。可训练参数 2.19M,适配器可与骨干分开分发。
- 标注训练集上训练一个 epoch,一块 10 GB GPU。Appendix A 给出 AdamW、学习率 2×10−4、权重衰减 0.01、梯度裁剪 1.0;MSD 与 SBR 为 426 次更新,SD 为 470 次。作者写明该配置未再调参。
- 训练中途和结束时看验证分数,选取 99% 验证召回下 FPR 最低的检查点;并列时先更高 AP,再更低损失。文中十五个当前代码运行都选了最终检查点。
NLI 与分数
- Markdown 作前提,固定假设为 This AI agent skill is malicious。输入是前提接假设,上限 8,192 token;超长只截断前提,假设保持完整。
- 头输出 contradiction、entailment、neutral 三个 logit。交叉熵把正当技能标为 contradiction,恶意标为 entailment;没有样本以 neutral 为目标。未微调检查点用同一输入直接打分,作为零样本参照。
- 检测分数是三类 logit 经 softmax 后 entailment 的权重:s(x)=exp(ze)/(exp(zc)+exp(ze)+exp(zn))。zc、ze、zn 分别为 contradiction、entailment、neutral 的 logit。分数连续,因此可按目标召回设阈值。
- 作者称,把任务写进假设在 99% 召回处有作用(Section 5.4);标签只剩 25%–50% 时,NLI 初始化加上点名任务的假设会把误报大约减半(Section 5.5)。
阈值与复核
- 同时报告原始分数在 0.5 的结果,以及单独的高召回阈值。对验证集 log-odds 拟合斜率为正的 sigmoid,取达到 99% 验证召回的最高阈值。
- 测试前冻结检查点、标定和阈值。达到或超过该阈值的技能送人工复核。
- 默认决策另有一套规则,用于和基线对齐:概率 ≥ 0.5,SVM margin ≥ 0,扫描器风险 > 50。
- 对比编码器 ModernBERT-large 全参数微调一个 epoch,学习率 2×10−5,输入同样截到 8,192 token,但用自己的分词器。词级 SVM 用 12 万维词 uni/bigram TF-IDF,margin ≥ 0 判恶意。
论文做了哪些实验?
MSD上99%测试召回时SkillScreen的FPR为22.6%,低于词SVM与LLM评审。
实验设置
- 检测器:SkillScreen(OpenJev-2B + LoRA);全参数微调的 ModernBERT-large(395.8M);Word-SVM;未微调 OpenJev-2B;TypeSafe Jev 1.13;SkillSpector 2.12.0。LLM 评审为 GPT-5.5、GPT-5.4 mini、Claude Haiku 4.5、Grok 4.3。消融另从 Qwen3.5-2B 与 OpenJev-0.8B 训练。
- 数据:MaliciousSkillBench。MSD 测试 1,947 条(恶意 1,500、正当 447),测试族与训练不相交,其中 90% 为单条族。SD 测试 1,384 条(839 / 545)。SBR 测试 1,950 条。来源计数见 Table 3。
- 指标:恶意召回、正当 FPR、AUROC、AP。Table 1 阴影列是各方法在测试分数上达到 99% 召回的 FPR。真正用于决策的高召回阈值在验证集上选定后冻结,两者不是同一个工作点。
- 标签与评审:沿用官方标签,没有另设裁判模型给检测器打分。评审基线看同一可见前缀,共享提示词区分恶意行为与授权的开发或安全流程,输出布尔结论和 JSON 概率,概率 ≥ 0.5 判恶意,每条一次。GPT-5.5 另有八示例和中等推理两种条件。附录 N 给出请求设置。Grok 4.3 经转售商访问;请求把推理力度设为 none,回复仍带推理 token。Grok 的布尔结论与概率在 MSD 的 1,947 条中有 242 条不一致,SD 的 1,384 条中有 253 条;论文采用报告的概率。
- 重复:SkillScreen 与 ModernBERT 每划分五个种子;SD 上 encoder 六个种子,用其中一轮替换崩溃轮。10%、25%、50% 标签条件各九次运行。配对 bootstrap 2,000 次,各类样本量固定。Table 1 的 ModernBERT MSD 数字是 GPU 重跑,作者称这是两套五种子结果中更强的一套(Limitations;Appendix H)。
- 输入:SkillScreen 与编码器都截到 8,192 token。MSD 训练集中位长度 1,367 token,上限截断 44/6,814 条训练技能和 17/1,947 条测试技能(Appendix A)。
主结果
表格较宽,可左右滑动
方法 MSD召回/FPR MSD@99%FPR SD召回/FPR SD@99%FPR SkillScreen 95.6±0.6 / 3.3±1.3 22.6 97.3±1.1 / 36.0±4.3 50.5 ModernBERT-large 96.0±0.4 / 4.1±1.8 30.4 94.1±4.8 / 54.8±3.8 74.7 Word-SVM 94.6 / 8.9 45.6 95.6 / 62.4 82.2 GPT-5.5零样本 72.1 / 0.7 91.1 42.8 / 0.9 100.0 GPT-5.5八示例 87.9 / 2.5 95.7 60.4 / 2.2 79.8 GPT-5.5推理 71.1 / 1.3 86.8 33.7 / 1.1 100.0 SkillSpector 10.5 / 0.7 100.0 1.3 / 1.8 100.0 Untuned OpenJev-2B 4.2 / 0.0 95.5 0.6 / 0.0 99.8 据 Table 1,单位为百分比。默认列是概率 ≥ 0.5(SkillSpector 为风险 > 50)。@99% 是测试分数上达到 99% 召回的 FPR。带 ± 的是五种子均值和标准差;SD 的 ModernBERT 用收敛轮。未列入表的 Table 1 方法:Claude Haiku 4.5(MSD @99% FPR 92.6)、Grok 4.3(96.6)、GPT-5.4 mini(100.0)、TypeSafe Jev 1.13(100.0)。MSD 默认召回最低的是表中的 Untuned OpenJev-2B。
- 作者认为任务训练把 NLI 模型变成检测器。五个 SkillScreen 种子在 0.5 处的召回为 95.1%–96.5%。与 Word-SVM 相比,同一重采样记录上 FPR 低 5.6 个百分点([−8.5, −3.0]),召回差 +1.0([−0.1, +2.1]),AUROC 差 +0.015([+0.010, +0.021])。
- 默认阈值附近与 ModernBERT 持平:召回对齐到 95.6% 时 FPR 配对差为 0.0([−1.8, +2.0])。99% 测试召回处,每个 SkillScreen 种子的 FPR 都低于每个 encoder run(种子范围 19.9%–24.6% 对 25.1%–36.2%)。相对 encoder 的配对差为 +7.8 点([−3.4, +22.1]),记录级区间在 MSD 仍含 0;相对 Word-SVM 为 +23.0 点([+6.8, +39.8])。
- SBR 上,族是否见过几乎不改变召回:0.5 处见过族 98.8%,未见族 97.4%(五种子,Appendix K)。Table 5:MSD 恶意占比 77% 时,SkillScreen 的 AP 为 0.998,Word-SVM 为 0.993,GPT-5.5 零样本为 0.983。
冻结阈值与评审工作点
- 验证集上为 99% 召回选定并冻结的阈值,在 MSD 测试集上给出 98.7%–99.1% 召回、20.1%–23.9% FPR。ModernBERT 在验证集 99% 召回的平均 FPR 为 27.7%(SkillScreen 为 22.8%),测试为 98.5%–99.1% 召回、25.1%–38.0% FPR;Word-SVM 为 99.3% 召回、60.6% FPR(Appendix G、H)。
- SBR 上,99% 测试召回的平均 FPR:SkillScreen 6.6%([2.4, 13.5]),ModernBERT-large 12.1%([6.2, 25.5]),配对差 +5.4([−0.1, +15.5])。冻结门上 SkillScreen 为 98.7%–99.5% 召回、2.9%–9.8% FPR(Appendix I)。
- 作者称提示词评审没有可用的 99% 召回工作点:概率只有 13–60 个不同取值。Table 4:对齐到 95.6% 召回时,SkillScreen 的 FPR 为 2.0%–4.0%,Word-SVM 为 13.6%,GPT-5.5 零样本为 34.7%。八示例把 GPT-5.5 的默认召回提高后,在 SkillScreen 平均召回处仍需 28.2% FPR;中等推理后其默认召回为 71.1%(Section 5.2)。
未见来源与误差
- SD 上 SkillScreen 在 0.5 处召回 97.3%,冻结门为 98.9%–99.6%。99% 测试召回的 FPR 为 50.5%(种子 46%–56%),相对收敛 encoder 的配对差为 +24.1 点([+14.4, +32.7])。作者称 SD 上 GPT-5.5 的 AUROC(零样本 0.914,八示例 0.941)与 SkillScreen 的 0.916 相近,但在 95.6% 召回处,零样本与八示例分别标出 78.5% 与 65.7% 的正当技能,SkillScreen 为 24%–33%(Appendix J)。
- 误报集中在两个与训练源都不同的正当测试源。合成模板 SkillFortifyBench 的正当与恶意变体只在命令上不同:每个 SkillScreen 种子和收敛 encoder 都标出全部 90 个正当与 90 个恶意变体,GPT-5.5 的正当变体一个都没标。ATR 的 455 条正当技能描述安全工具;正文写 SkillScreen 在 0.5 处标出 17%–30%,encoder 为 46%,GPT-5.5 为 1.1%(Appendix M)。Figure 7 的五种子均值是 23.3。
- 作者认为偏移在正当分布:验证阈值选在训练源正当技能的 8%–11% FPR,169 条中 165 条来自测试集没有的 SkillTrustBench;这些阈值在未见测试源上标出 56%–64% 的正当技能。MSD 上验证与测试 FPR 同为约 20%–28% 与 20%–24%。Figure 2:MSD 上漏检集中在小来源,SkillLeakBench 为 73.3%(n=9),AgentTrap 为 44.5%(n=22),MalSkillBench 为 2.9%(n=967)。五个种子共同漏掉 42 条恶意技能、共同标出 4 条正当技能;作者认为部分共同漏检的 Markdown 中没有恶意证据,标签可能来自正文以外的包代码。
其他消融与分析
- 扫描器上下文(Table 6,MSD):findings-only 召回 95.4%、FPR 1.3%;full context 为 95.1%、2.5%。相对 seed 42 的配对区间含 0。MSD 测试集上扫描多 817 秒。
- 初始化与假设(Table 2,概率 0.5):plain Qwen3.5-2B 五种子召回 96.9±0.8%、FPR 4.1±1.6%,测试扫描 FPR@99 为 21.1;无关假设为 28.9;空假设单种子为 44.7,配对差 +22.1([+2.0, +40.4])。OpenJev-0.8B 在 0.5 处为 95.4% / 2.9%,高召回阈值为 30%–34% FPR,2B 为 20%–24%(Section 5.4;与 Table 2 的测试扫描 26.0 不是同一工作点)。
- 少标签(Figure 3,Section 5.5):10% 时任务假设 AUROC 0.850±0.043,无关假设 0.755±0.055,九次配对都更高(符号检验 p=0.004);相对 plain base(0.807±0.058)为五对中的八对、p=0.73。25% 与 50% 时,0.5 处 FPR 为 7.8% 与 3.1%,plain base 为 19.2% 与 6.7%,无关假设为 16.1% 与 6.2%(Appendix A)。10% 时九次运行在冻结门上标出 89%–96% 的正当技能。
- 改写(Table 12,200 条恶意 MSD 测试技能,四适配器均值):释义后 0.5 召回 96.6% 到 96.0%,冻结门 99.8% 到 99.6%;命令移出 SKILL.md 后,0.5 为 96.6% 到 67.5%,冻结门 99.8% 到 87.0%。
- 组合与低占比精度(Appendix K):冻结门阳性再交给 GPT-5.5,SD 召回为 42.7%。MSD 上门限精度在恶意占比 1%、10% 时为 4.5%、33.9%。
- 负面:默认配方 encoder 在 MSD 与 SD 共十六次中崩溃两次(Appendix H)。Table 10 把 SD 六轮都算入时,99% 召回 FPR 为 78.2%,而不是 Table 1 收敛轮的 74.7%。验证集 99% 召回阈值下,商用 NLI API 与静态扫描器标出全部 MSD 记录(Appendix G)。
有什么可以进一步探索的点?
作者指出只读SKILL.md、不用自适应攻击,陌生正当来源会抬高误报。
作者指出的局限与后续方向
- 只读 SKILL.md,评估对象是发布技能的攻击者,使用固定改写而不是自适应攻击(Limitations)。
- 把命令移入被引用脚本并中和正文后,冻结门召回从 99.8% 降到 87.0%,0.5 阈值从 96.6% 降到 67.5%。只读 SKILL.md 的检测器都有这一限制;包级输入留作后续。该改写只用于恶意技能和 SkillScreen(Limitations;Appendix L)。
- 保留官方标签,其中一些依赖 SKILL.md 中没有的包代码或行为,因而限制任何纯文本检测器能恢复的上限(Limitations)。
- MSD 留出的是恶意族,正当技能仍跨划分共享来源;SD 只有两个正当测试源。来源宏平均召回 79%,总体 95.6%,小来源的区间宽(Limitations)。
- MSD 上报的是 encoder 两套五种子结果中更强的 GPU 重跑。评审比较只用一个提示词、一组示例、文中的提供方设置和模型报告的概率;对数概率或重复采样会给评审更细的 99% 召回分数。单轮训练使更新次数随数据量变化;扫描器上下文、释义假设和空假设各一个种子;规模消融还更换了 NLI 检查点版本(Limitations)。
- 在 99% 召回处,作者将其定位为分诊而不是警报:FPR 约 21% 时,流中 10% 为恶意则精度 34%,1% 为恶意则 4.5%。部署估计还取决于来源构成,以及模型预训练与公开技能的重叠(Limitations)。结论称,更多来源的正当数据、包级输入,以及只在会改变决定时征询评审,可以继续扩展。
实验覆盖范围
- 评测使用 MaliciousSkillBench 的 MSD、SD、SBR。MSD 测试 1,947 条(恶意 1,500、正当 447),SD 测试 1,384 条(839 / 545),SBR 测试 1,950 条(Section 4,Table 3)。
- 检测器包括 SkillScreen、ModernBERT-large、Word-SVM、未微调 OpenJev-2B、TypeSafe Jev 1.13、SkillSpector 2.12.0,以及 GPT-5.5、Grok 4.3、Claude Haiku 4.5、GPT-5.4 mini。SkillScreen 与 ModernBERT 每划分五个种子,SD 上 encoder 为六个种子(Section 4,Table 1,Appendix H)。
- 不确定性用 2,000 次配对 bootstrap。高召回决策阈值在验证集上选定后冻结;Table 1 阴影列则在测试分数上重取阈值(Section 4–5)。
- 消融包括扫描器上下文、假设措辞、plain Qwen3.5-2B、OpenJev-0.8B,以及训练标签的 10%、25%、50%(Table 2,Figure 3,Section 5.4–5.5)。
- 改写实验用 200 条恶意 MSD 测试技能和四个已存档适配器,只作用于 SkillScreen(Appendix L)。评审比较使用一个共享提示词、每条记录一次回答(Section 4)。
总结一下论文的主要内容
2B决策模型一次前向筛SKILL.md;未见攻击族上99%召回的FPR为22.6%。
SkillScreen 是面向 agent skill 安装前筛查的小型决策模型,目标是高召回,同时把正当技能的复核量压下来。
- 问题:SKILL.md 里的正当自动化和恶意行为外观相近。静态规则召回低,提示词评审的粗分数又难以在高召回下控制误报。攻击者发布供安装的技能;筛查读的是正文直接写出、或初始化步骤所规定的行为,高分送人工复核。
- 方法:冻结 OpenJev-2B 骨干,用 rank-8 LoRA 和一个 NLI 头做一 epoch 训练。前提是技能 Markdown,假设固定为该技能是恶意的。entailment 在三类 logit 中的 softmax 权重作为连续分数。验证集上取达到 99% 召回的最高阈值,测试前冻结。
- 未见攻击族:MSD 上默认阈值召回 95.6%、FPR 3.3%(Table 1)。99% 测试召回的 FPR 为 22.6%,词 SVM 为 45.6%,被测 LLM 评审为 86.8%–100.0%。摘要和结论把这一档写成标出 20%–25% 的正当技能。验证集冻结阈值在测试上为 98.7%–99.1% 召回、20.1%–23.9% FPR。
- 未见来源:SD 上同一 99% 测试召回的 FPR 为 50.5%。作者报告比同为单轮训练、且取收敛轮的 ModernBERT-large 低 24.1 个百分点。两个陌生正当测试源抬高了各训练检测器的误报。
- 作者的结论:高召回筛查不必依赖前沿模型;任务训练是增益来源,点名任务的假设在标签较少时把排序质量和误报分开。作者同时称,认出新攻击并不保证新技能集合上的筛查可控。后续扩展是更多正当来源、包级输入,以及只在会改变决定时征询评审。99% 召回处作者将其写成第一道分诊:约 21% FPR 下,10% 恶意流的精度为 34%,1% 时为 4.5%。