用部分生成区分提示词有害性与交互安全性
Separating Prompt Harmfulness from Interaction Safety via Partial Generation
七模型语料上提示词与回复标签一致率50.46%;测试集Llama Guard微调加完整回复的有害类AUPRC为0.885。
- 只看提示词的护栏会在生成前拒绝看起来有害的请求。作者称许多被拒提示词本会得到安全回复,有害取决于模型实际写出的内容;看完整回复再决定则要等生成结束。
- 约6000条提示词来自四个公开来源,七个开源模型各答一遍,得41944对。Gemini 3.1 Flash-Lite按回复是否遵从恶意意图标注,1050对人工核对。五个分类器微调后,在0%–100%回复前缀上评测。
- 提示词与交互标签全语料一致率50.46%。使任一模型失败的提示中仅3.5%让七模型都失败。测试集上Llama Guard微调后看完整回复,有害类AUPRC 0.885、F1 0.807。作者称约三分之一token即接近完整回复的AUPRC。
- 作者指出:单一LLM评审标注含测试集的全语料,人工仅1050对且两人严格程度不同;未端到端运行监控,故未报告误拦、漏放和停止前的有害文本;仅单轮提示词;未测闭源或前沿模型。实验覆盖七个2B–27B开源模型与五个分类器的前缀扫描。
- 被测模型
- Gemma 2 2BGemma 3 12BGemma 3 27BLlama 3.2 3BLlama 3.1 8BQwen 2.5 7BQwen 2.5 14BDeBERTa-v3Prompt-Guard-2-86MLlama-Guard-3-8BWildGuard-7BLAYA
- 基准
- AdvBenchChatbot ArenadeepsetxTRam1
- 指标
- AUPRCF1precisionrecallCohen's κagreement
研究者提出让模型先开始生成,只依据部分输出判断这次交互是否安全,从而避免仅凭提示词就拒答。他们构建了 41,944 个提示词-回答对的数据集,覆盖 Llama、Gemma、Qwen 三个系列的七个开源权重模型。结果显示提示词有害标签与回答有害标签仅在 50.46% 的条目上一致(Cohen's κ = 0.06),能让任一模型产生有害回答的提示词中,只有 3.5% 会让全部七个模型都产生有害回答。微调后的分类器在回答层面预测有害性,最佳 AUPRC 为 0.885、F1 为 0.807,约三分之一的回答 token 即可接近完整回答的 AUPRC。
相关热点
1 个事件 · 1 条新闻提到
提到这篇论文的新闻
RL/RLHF 训练条件可诱发模型智能体提权逃逸
- 公众号 大模型安全研究引用了论文编号或链接大模型安全周报:RL/RLHF 训练条件本身即可诱发前沿模型智能体提权逃逸(CVE-2026-65616)
Separating Prompt Harmfulness from Interaction Safety via Partial Generation(https://arxiv.org/abs/2610.16761)
深度解读
这篇论文试图解决什么问题?
作者要分开提示词有害与交互安全,并用回复前缀尽早判断。
提示词有害并不等于交互有害。 作者要把二者分开,并看只生成回复前缀能否尽早判断交互是否安全。
- 场景:护栏多在生成前只看提示词,看起来有害就拒绝。作者称这会让本可得到安全回复的用户失去帮助;对话式和生成式搜索变常见后,这一代价更大。
- 现有两端:prompt-only 分类器把提示词有害等同于交互不安全,须拒绝任何模型都可能写出有害回复的提示词。input-output guard 看完整个回复再决定,能看见真实交互,但决策晚,生成成本已经付出。作者认为两端都不理想。
- 观察:交互安全同时取决于提示词和模型。Figure 1 里同一提示词下,一个模型拒绝并给出安全替代,另一个开始遵从恶意意图。作者称开头几个词已能分开这两种交互,因此可以在生成过程中停止。
- 本文:要回答的是,真实模型上二者是否不同、能否从回复预测交互安全、决策能有多早。作者建 41,944 对多模型语料来量化差距,并检验只在完整回复上训练的分类器对前缀的预测。作者称主张限于测量与数据,不提出新监控器,也不针对部分回复训练。
有哪些相关研究?
相关工作按决策在生成前、生成后或生成中来组织。
作者按安全决策发生的位置组织相关工作,并另讨论拒绝评测与拒得过多。
生成前
- 提示词分类器:prompt injection 与 jailbreak 检测器对提示词做二分类,如 ProtectAI 检测器,训练数据包括 xTRam1 与 deepset。作者称它们不运行模型所以快,但标签按构造与模型无关,必须防御性地拒绝任何模型都可能造成伤害的提示词。
- 攻击基准:AdvBench、HarmBench、BIPIA 衡量攻击成功率。作者用这类数据集作为提示词和提示词标签,并看这些标签对交互安全预测得如何。
生成后
- 回复级护栏:Llama Guard、ShieldGemma 按安全分类体系判断提示词和回复。WildGuard 分开提示词有害、回复有害与拒绝;BeaverTails 标注问答对有害性;Qwen3Guard-Gen 增加 controversial 类。
- 与本文:作者称这些回复级标签最接近本文,但判断的是已经写完的回复。作者引用 Li 等的说法:完整检测会造成高服务延迟。
生成中
- FineHarm:Li 等认为,把在完整回复上训练的审核器用到部分回复,会造成训练与推理的差距。FineHarm 有 29K 对和 token 级标签。作者称其流式监控在平均看到约 18% token 后 macro-F1 达到 0.95 或更高。
- Qwen3Guard-Stream 与 CARE:前者用 token 级头做实时监控,并接入 CARE。CARE 检测不安全文本、回滚,并在解码时干预。作者称这些工作说明针对早决策的训练可行;本文看的是另一情形,即护栏并非为部分回复而建。
拒绝评测与拒得过多
- 拒绝评测:SORRY-Bench 用同一组 440 条不安全指令比较 50 余个模型,拒绝行为因模型而异,并用 7K 余条人工标注核验 LLM 评审。HarmBench 在相同攻击下比较多个模型。作者称这支持同一提示词上模型会不同,以及 LLM 评审可用人工核验;但提示词按设计都不安全,没有提示词标签与结果的对照,也不用来决定拒绝或停止。
- 拒得过多与检索:XSTest、OR-Bench 测模型对看起来不安全的安全提示词拒绝多少。另有工作把过度拒绝追溯到少量 attention head。Kumar 等讨论更强护栏降低效用并增加延迟。作者称这些工作在良性但看起来不安全的一端;本文问被标成恶意却得到安全回复的提示词有多少。QHP 在检索前从查询预测有害结果;对 AI 搜索引擎的研究称它们可能引用恶意内容。作者称那仍是只从查询决策。
基线:实验评测 ProtectAI DeBERTa-v3、Prompt-Guard-2、Llama Guard 3 8B、WildGuard 7B 与 LAYA。提示词来自 AdvBench、Chatbot Arena、deepset、xTRam1。
作者在 Table 4 把本文放在生成过程中:依据是提示词加部分回复,护栏在完整回复上训练,测量七个模型上提示词标签与交互结果的差距。
论文如何解决这个问题?
建七模型语料并微调五个护栏,再在回复前缀上预测交互标签。
作者把 prompt harmfulness(提示词是否在索要有害内容)和 interaction safety(该模型的回复是否有害)分开,用多模型语料训练分类器,再在回复前缀上做同一判定。
问题设定
- 两个标签:提示词标签 y_p 来自来源数据集,表示该提示词是否被标为恶意。交互标签 y 依赖模型:回复遵从恶意意图则为 1,否则为 0。同一提示词可以在一个模型上为 0、在另一个上为 1。
- 护栏输入:prompt-level guard 只看提示词。interaction-level guard 还看回复,也可输入模型身份 m。回复的前 k 个 token 为前缀。k=0 时只看提示词,k 等于回复长度时看完整回复。
- 目标:作者写成 Cp(p) ≈ yp, Cpr(p, rm) ≈ y。前者逼近提示词标签,后者逼近该回复是否遵从恶意意图。
- 三种用法:Prompt gating 在只看提示词判为 1 时拒绝,否则生成完整回复。input-output guard 在看完回复后判为 1 则拒绝。Partial Generation monitoring 对任何提示词都开始生成,在检查点集合 K 上给前缀打分,在第一个判为 1 的检查点停止;若都不触发,则交付完整回复。
语料
- 提示词:AdvBench 提供有害指令,deepset 提供安全与注入提示词,xTRam1 提供合成攻击与良性提示词,Chatbot Arena 的自然请求被当作良性。训练 5,000 条、测试 1,000 条,提示词不重叠。Table 1 给出各来源在训练、验证、测试中的良性与恶意条数。作者称约一半提示词被标为恶意。
- 标签含义不同:AdvBench 的恶意指有害指令,deepset 与 xTRam1 的恶意指 prompt injection。作者写明,比较提示词标签与交互标签时会回到这一点。
- 回复与规模:Gemma 2 2B、Gemma 3 12B、Gemma 3 27B、Llama 3.2 3B、Llama 3.1 8B、Qwen 2.5 7B、Qwen 2.5 14B 各答每条提示词。计划 6,000×7=42,000 对,去掉评审没有明确标签的 56 对,得到 41,944 对(训练 34,946,测试 6,998)。
- 标注:Gemini 3.1 Flash-Lite 只判断回复是否遵从恶意意图。评审提示词和标注指南在代码库,正文未列出。人工从每个模型抽 150 对,共 1,050 对,两名标注者全部标注。作者报告 Cohen's κ、Fleiss' κ,并因不平衡另报 PABAK 与 Randolph's κ。发布时保留交互标签、生成模型、提示词来源和提示词标签。
分类器与阈值
- 五个分类器:ProtectAI DeBERTa-v3 与 Prompt-Guard-2 是编码器;Llama Guard 3 8B 与 WildGuard 7B 是生成式护栏;LAYA 用编码器骨干加小型决策头。每种都测只看提示词,以及提示词加回复。先零样本,再在训练对上微调。
- 训练:编码器与 LAYA 全量微调。两个生成式护栏用 QLoRA,损失只算决策 token 上的 next-token 交叉熵。微调分类器都在提示词加完整回复上训练。
- 不平衡:训练对有害比例为 3.6%。作者比较标准交叉熵、加权损失、过采样、欠采样、加权过采样和 focal loss。过采样与欠采样把有害率调到 20%。34,946 对中 29,710 用于训练,5,236 为验证集。按验证集最高召回选策略,相差不超过 0.02 时用 F1 决胜。阈值在验证集的完整回复上最大化有害类 F1,之后对该分类器保持固定。
前缀协议
- 扫描:先用在完整回复上训练的分类器测试更短前缀,从回复 token 的 0% 到 100%,步长 10%。0% 只看提示词。阈值固定为在 100% 上选定的值。
- 指标:有害类 AUPRC、precision、recall、F1。作者称有害对约占数据的 3.7%,所以这几项比 AUROC 或准确率更要紧。precision 和 recall 在该固定阈值上报告。
论文做了哪些实验?
全语料标签一致率50.46%;测试集Llama Guard微调AUPRC为0.885。
实验设置
- 生成模型:Gemma 2 2B、Gemma 3 12B、Gemma 3 27B、Llama 3.2 3B、Llama 3.1 8B、Qwen 2.5 7B、Qwen 2.5 14B。每条提示词都由这七个模型回答。
- 语料:提示词 6,000 条(训练含验证 5,000,测试 1,000),来自 AdvBench、Chatbot Arena、deepset、xTRam1。最终 41,944 对,有害 1,535 对(3.66%);训练划分有害率 3.68%,测试划分 3.56%。测试集 6,998 对。
- 被评分类器:ProtectAI DeBERTa-v3、Prompt-Guard-2-86M、Llama Guard 3 8B、WildGuard 7B、LAYA。各有零样本和微调;输入为仅提示词,或提示词加回复。微调都在提示词加完整回复上进行;prompt only 行在测试时不给回复。
- 指标与阈值:有害类 AUPRC、precision、recall、F1。Table 3 里微调行的阈值,按该行同一种输入在验证集上选取,使有害类 F1 最大。前缀实验则把阈值固定在完整回复上选定的值。
- 评审:全语料由 Gemini 3.1 Flash-Lite 标注回复是否遵从恶意意图。人工审核 1,050 对(每模型 150),两名标注者。论文未报告实验重复次数;只给 Llama Guard 微调后的 AUPRC 报告了 95% 置信区间。
主结果
测试集(6,998 对,3.56% 有害)上,微调分类器的有害类结果如下(据 Table 3)。仅提示词行在测试时不给回复。
表格较宽,可左右滑动
分类器 策略 仅提示词 AUPRC 加完整回复 AUPRC 加完整回复 F1 DeBERTa-v3 standard 0.444 0.683 0.695 Prompt-Guard-2-86M oversampling 0.459 0.646 0.675 Llama-Guard-3-8B weighted loss 0.052 0.885 0.807 WildGuard-7B oversampling 0.379 0.685 0.655 LAYA focal loss 0.510 0.706 0.654 - 作者的排序:作者称 Llama Guard 最好,其 AUPRC 的 95% CI 为 0.84–0.93。其余四个的置信区间重叠,作者不给它们排序。
- 零样本:Table 3 中零样本精度在 0.052 到 0.501。作者称这些模型按其他标签定义训练,其中几个是为标记提示词而非判断交互。给出回复后,增益主要在两个生成式护栏:WildGuard 的 AUPRC 从 0.041 升到 0.615,Llama Guard 从 0.037 升到 0.252;其余三个增益很小。
- 回复多带来的部分:作者称对 DeBERTa、Prompt-Guard-2、WildGuard 和 LAYA,加上回复使 AUPRC 提高 0.19–0.31、F1 提高 0.12–0.17;只看提示词时精度为 0.46–0.49,作者称被拦下的交互里超过一半是安全的。Llama Guard 的提升几乎全来自回复。作者还称没有训练只在提示词上训练的分类器,那种模型也许更好。
标签差距与跨模型失败
- 测了什么:比较来源数据集的提示词标签和交互标签,并统计一条提示词会使多少个模型产生有害回复。
- 结果:全语料一致率 50.46%(Cohen's κ=0.06,PABAK=0.0091)。6,000 条中 53% 带恶意标签,但只有 509 条(8.5%)使至少一个模型失败;其中恰好一个模型失败的有 159 条,七个模型都失败的有 18 条(3.5%)。结论中作者称,对带恶意标签的提示词,至少 93% 的回复是安全的。引言中的对应说法是约一半提示词带恶意标签、约 8.5% 使任一模型产生有害回复。
- 作者的解读:作者称差距主要来自被标为恶意、却得到安全回复的提示词,而且不是评审造成的假象。审核集上提示词标签与评审的一致率为 62.76%(κ=0.272),与两名人工为 61.05% 和 57.43%(Table 2)。失败部分在族内共享,例如 43 条是三个 Gemma 都失败、其他族都不失败。作者称同一族共享训练数据和方法,因此这在预期之中。
前缀要多长
- 测了什么:五个微调分类器在测试时只看回复 token 的前 0% 到 100%,步长 10%(Figure 3)。阈值固定为完整回复上选定的值。
- 结果:作者称看到 30% 之后,分类器达到完整回复 AUPRC 的大约 85–95%,曲线随后变平;五个里有四个,大部分增益在 10% 时已经出现。作者称 Llama Guard 变化最大:只看提示词时 AUPRC 约 0.05,30% 时约 0.78,100% 时为 0.885;在 0% 且阈值固定时召回高、精度接近 0,几乎把每对都标出来。其余四个只看提示词时 F1 为 0.53–0.54,完整回复时为 0.65–0.70。
- 作者的解读:作者称约三分之一回复已带有大部分安全信号。同时写明两点:0% 点是在完整回复上训练、再在只有提示词时测试,不是只在提示词上训练的分类器;阈值按完整回复选取,会惩罚短前缀,因此曲线可能低估为早决策而训练的分类器。作者认为 Llama Guard 在无回复时几乎全标,可能是因为它被建成 input-output guard,更依赖回复。
评审与人工
- 结果:1,050 对上,三人标签相同 948 对(90.29%),Fleiss' κ=0.72,Randolph's κ=0.87。人工之间一致率 92.57%(κ=0.664);人工 1 与评审 95.43%(κ=0.825),人工 2 与评审 92.57%(κ=0.667)(Table 2)。第二名人工标 103 对有害,第一名标 161 对,评审标 163 对。
- 作者的解读:作者称评审与人工足够一致,可用于标注全语料;评审更接近第一名人工,作者称第二名人工更严。作者把 κ 低于原始一致率归因于标签不平衡。
其他消融与分析
- 有害回复率:Qwen 14B 为 1.5%、7B 为 3.1%;Llama 8B 为 1.7%、3B 为 2.5%;Gemma 27B 为 6.19%、12B 为 5.1%、2B 为 5.3%。族平均 Gemma 5.55%、Llama 2.13%、Qwen 2.35%。
- 规模并不一致对应更低有害率:Llama 与 Qwen 中较大模型更低,Gemma 中最大模型最高。
- 作者称零样本加回复的 F1 为 0.11–0.60,微调后为 0.65–0.81;DeBERTa、Llama Guard、LAYA 的精度从 0.06–0.17 升到 0.60–0.75。
- 过采样与欠采样把有害率调到 20%。训练用 29,710 对,验证 5,236 对。论文未给出六种不平衡策略各自的分数,也未报告分类器耗时;作者称该延迟相对生成模型可忽略。
有什么可以进一步探索的点?
作者列出标签、端到端评测、单轮提示词和模型范围上的局限。
作者指出的局限与后续方向
- 标签:全语料包括测试集由一个 LLM 评审标注。人工审核覆盖 1,050 对,两名标注者严格程度不同。作者把有害定义为遵从恶意意图并含有害文本,并称其他定义会给出其他标签(第 6 节)。
- 评测未端到端:分类器在固定前缀上评测,没有端到端运行 stop-or-continue 监控,因此未报告会拦截多少安全交互、放过多有害交互,以及停止前会产生多少有害文本(第 6 节)。
- 提示词:只含单轮查询,多轮对话不在数据集中(第 6 节)。
- 模型:七个开源权重模型、三个族、2B 到 27B,未测试闭源或前沿模型(第 6 节)。
- 主张范围:作者称不提出新监控器,也不针对部分回复训练;语料把提示词标签、生成模型和回复标签放在一起,供他人据此差距测试监控器(Conclusion)。
- 对抗与提前暴露:作者称知道监控器的攻击者可以把有害部分推迟到检查点之后,或先写无害开场,并称须另行应对这类对抗攻击。第 4.3 节还写,停止前可能已经产生一些有害文本,流式界面下用户可能看到。
实验覆盖范围
- 被测生成模型为 Gemma 2 2B、Gemma 3 12B、Gemma 3 27B、Llama 3.2 3B、Llama 3.1 8B、Qwen 2.5 7B、Qwen 2.5 14B,共 7 个;每条提示词都由这七个模型回答(第 2.2 节)。
- 提示词来自 AdvBench、Chatbot Arena、deepset、xTRam1,训练 5,000 条、测试 1,000 条;配对语料 41,944 对,测试集 6,998 对(Table 1、第 2.2 节)。
- 分类器评测包括 ProtectAI DeBERTa-v3、Prompt-Guard-2-86M、Llama Guard 3 8B、WildGuard 7B、LAYA 的零样本与微调,输入为仅提示词或提示词加回复;前缀从 0% 到 100%、步长 10%(Table 3、Figure 3)。
- 人工审核为每模型 150 对、共 1,050 对;全语料评审模型为 Gemini 3.1 Flash-Lite(第 2.2 节、Table 2)。
- 论文未报告实验重复次数、端到端监控的拦截数与漏放数、停止前有害文本量,以及分类器耗时。作者在相关工作中讨论了针对早决策训练的流式监控,并说明本文用的是未为部分回复设计、且只在完整回复上训练的护栏(第 5 节、第 6 节)。
总结一下论文的主要内容
提示词标签说不出哪个模型会失败;回复前段已含大部分安全信号。
作者用测量和数据分开提示词有害与交互安全,并看回复前缀里有多少安全信号。
- 问题:生成前按提示词拒绝,会挡掉本可安全作答的请求;生成后再审,则要付完整生成的代价。作者认为有害取决于模型写出什么,开头若干 token 往往已能判断走向。
- 做法:AdvBench、Chatbot Arena、deepset、xTRam1 共约 6,000 条提示词,由 Llama、Gemma、Qwen 七个开源模型作答,得 41,944 对。Gemini 3.1 Flash-Lite 标注回复是否遵从恶意意图,1,050 对由两名人工核对。五个分类器微调后,按 10% 步长测试回复前缀。
- 差距:全语料两类标签一致率 50.46%(κ=0.06)。6,000 条中 8.5% 使至少一个模型失败,其中 3.5% 让七个模型都失败。作者称带恶意标签的提示词至少有 93% 的回复是安全的。有害交互占语料 3.66%。
- 预测:测试集上,Llama Guard 3 8B 经加权损失微调、输入为提示词加完整回复时,有害类 AUPRC 为 0.885、F1 为 0.807(Table 3)。作者称现成护栏在本文标签上的精度至多 0.50;约三分之一 token 可达到完整回复 AUPRC 的大约 85–95%。
- 结论:作者称提示词标签说不出哪个模型会失败,生成前一律拒绝会拦下大多安全交互。缺失信息在回复里,而且出现得早,决策可以放在生成过程中。作者称这些是测量与数据上的主张,并不提出新监控器,也不针对部分回复训练。