面向 LLM-as-a-judge 护栏的风险认证提示词优化
Risk-certified prompt optimization for LLM-as-a-judge guardrails
作者提出 CPS 与 CRISP 两种系统提示词优化流程,为 LLM-as-a-judge 护栏提供漏检率有限样本认证;作者报告在四个数据集上测试风险均不超过目标 α。
防御方设定:用通用 LLM(如 gpt-5.4-mini)作 LLM-as-a-judge 护栏,仅靠系统提示词输出 BLOCK/ALLOW,不改模型权重;目标是在恶意输入漏检率 R ≤ α(用户指定)的约束下最大化良性通过率 U,并要求该约束以概率至少 1−δ 在未来同分布样本上成立。
- LLM-as-a-judge 护栏只靠系统提示词控制,而标准提示词优化追求平均性能,无法保证漏检率低于用户指定的 α。作者要解决的问题是:在只暴露二元判定、无分数阈值可调时,如何选出带有限样本风险认证的护栏提示词。
- 把护栏提示词选择形式化为约束优化:最大化良性通过率、约束漏检率 R≤α。CPS 先用 GEPA 生成固定候选池,再用 Clopper–Pearson 上界加 Bonferroni 校正做认证;CRISP 把风险认证经 Guess-and-Check 可复用留出集反馈进迭代改写,闭合生成缺口。
- 在 BIPIA、Deepset、SPL、SID 四个数据集上,作者报告所有被认证提示词在测试集上的漏检率均不超过目标 α;α 放宽时良性通过率上升。CPS 在 12 个提示注入设置中 4 次无法认证,CRISP 全部认证成功;Best-of-N 诊断中 CRISP(α=0.10)至 N=100 漏检率不超过 0.07。
- 作者指出:证书仅在 i.i.d. 校准分布下成立,攻击构成、用户群或评审模型变化可使其失效;不覆盖自适应对手(Best-of-N 仅为诊断);需要标注数据,小认证集使界偏保守;限二元、贪心解码评审与单一漏检约束。实验覆盖 2 个评审模型、4 个数据集,主表为单次划分。
- 威胁模型
- 防御方设定:用通用 LLM(如 gpt-5.4-mini)作 LLM-as-a-judge 护栏,仅靠系统提示词输出 BLOCK/ALLOW,不改模型权重;目标是在恶意输入漏检率 R ≤ α(用户指定)的约束下最大化良性通过率 U,并要求该约束以概率至少 1−δ 在未来同分布样本上成立。防护场景为提示注入、系统提示词泄露与敏感信息泄露。
- 被测模型
- gpt-4o-minigpt-5.4-mini
- 基准
- BIPIADeepset (deepset/prompt-injections)SPLSID (BeaverTails)
- 指标
- Risk(missed-attack rate,越低越好)Utility(benign pass rate,越高越好)Risk@N(Best-of-N)
研究者提出将 LLM-as-a-judge 护栏的系统提示词选择建模为约束优化问题,在把漏检攻击率控制在用户指定水平 α 以下的同时最大化良性通过率,并结合 LLM 评审、自动提示词生成与分布无关的风险认证提供有限样本保证。框架给出两种流程:CPS 从训练数据生成固定提示词池,用同时上置信界在留出评测集上认证候选,选出良性效用最高的已认证提示词;CRISP 将风险反馈融入自适应搜索,借助难例引导改写和可复用留出集接口把生成推向可行的效用前沿。在覆盖提示注入、系统提示词泄露和敏感信息披露的四个数据集上,风险认证选择在留出测试中始终满足目标漏检水平,允许风险放宽时效用随之提升;当固定池搜索找不到可认证的高效用候选时,CRISP 尤其有用。
深度解读
这篇论文试图解决什么问题?
如何为只靠系统提示词的 LLM-as-a-judge 护栏选出提示词,使漏检率以统计保证低于用户指定的 α。
核心问题:在护栏只暴露二元判定、无连续分数可调阈值时,如何通过优化系统提示词本身,使漏检率(missed-attack rate)以有限样本统计保证不超过用户指定的风险水平 α,同时尽量放行良性请求。
- 场景与动机:LLM-as-a-judge 护栏用通用模型(论文举例 gpt-5.4)经系统提示词输出 BLOCK/ALLOW,不改权重、适配便宜;但漏放恶意请求与误拦良性请求的代价不对称,平均错误率不是合适目标(Section 1)。
- 现有方法的不足:作者指出,conformal 式风险控制需要连续分数阈值,而部署中的护栏常只暴露二元标记,且许多托管模型不提供 logits(Claude API 无 logprobs 参数、OpenAI reasoning 模型拒绝 logprobs);自动提示词优化方法只最大化无约束平均分,不强制 R ≤ α 也不给有限样本保证。
- 核心主张:作者称,仅凭系统提示词优化、不改模型权重,就能把通用 LLM 变成带统计风险控制的护栏;问题形式化为 max U(p) s.t. R(p) ≤ α,并要求以概率至少 1−δ 在校准数据上成立。
- 论文提出:风险认证系统提示词优化框架及 (α, ϵ, δ)-validity 定义(Definition 1),并实例化为两个流程——CPS(先优化后认证)与 CRISP(风险反馈闭环优化),在提示注入、系统提示词泄露、敏感信息泄露三类任务上测试。
- 威胁模型(防御方视角):
- 防护对象:LLM 系统的输入/输出护栏,受害场景为间接/直接提示注入(BIPIA、Deepset)、系统提示词泄露(SPL)、敏感信息泄露(SID)。
- 防御方可控面:仅系统提示词;评审模型贪心解码(temperature=0)、输出二元判定。
- 攻击者假设:证书针对与校准数据同分布(i.i.d.)的样本;Best-of-N 多查询攻击只作鲁棒性诊断,不在证书范围内(Section 6)。
有哪些相关研究?
相关工作分三组:LLM 护栏、自动提示词优化、分布无关风险控制;本文定位为三者的组合与扩展。
LLM 系统护栏
- 微调分类器:ProtectAI 的 DeBERTa 检测器(2024)、Prompt Guard(Meta, 2024)、PIGuard(Li et al., 2025)——论文称它们快且便宜,但绑定训练分布,新策略或新攻击族需要重标注重训练。
- 安全调优模型与可编排护栏:Llama Guard(Inan et al., 2023)、ShieldGemma(Zeng et al., 2024)应用固定策略分类法;NeMo Guardrails(Rebedea et al., 2023)让开发者编写安全流程。
- LLM-as-a-judge:Zheng et al.(2023)、Gu et al.(2026)——通用模型直接按系统提示词做放行/拦截判定;论文称这种方式适配便宜但对微小编辑敏感(引 Sclar et al., 2024;Wang et al., 2024)。论文指出,上述所有设计中策略提示词都是手写后冻结的,没有一种给出在显式、统计强制的风险水平下选择提示词的程序。
自动提示词优化
- APE(Zhou et al., 2023)、OPRO(Yang et al., 2024)、EvoPrompt(Guo et al., 2024)、PromptBreeder(Fernando et al., 2023)、ProTeGi(Pryzant et al., 2023)、MIPROv2(Opsahl-Ong et al., 2024)、GEPA(Agrawal et al., 2025)——搜索自然语言指令以提升下游任务表现。论文指出,它们都最大化无约束平均分并返回单一胜者,不直接强制 R ≤ α,也不提供部署后满足该约束的有限样本保证;本文把它们用作候选生成器,自己施加约束。
分布无关风险控制
- Risk-Controlling Prediction Sets(Bates et al., 2021)在单调损失下校准标量阈值;Learn-then-Test(LTT, Angelopoulos et al., 2021)放弃单调性,对每个候选配置做假设检验并用族系错误率校正(Bonferroni 或 Holm);Prompt Risk Control(Zollo et al., 2024)用该框架从固定候选集中选 LLM 提示词。
- 论文指出,这些工作中被校准的对象是连续分数上的阈值或事先固定的候选集,而护栏提示词空间离散、无序、开放;CRISP 的候选由校准反馈生成,因此借助 Guess-and-Check 可复用留出机制(Dwork et al., 2015;Rogers et al., 2020)保持有效性。论文还区分了 adaptive LTT(Zecchin et al., 2024):后者固定假设、在陆续到达的数据上检验,CRISP 则固定数据、顺序生成假设。
基线与基准:实验基线为未优化提示词(Naive)、无约束优化器 ProTeGi/GEPA/MIPROv2,以及提示注入上的分类器护栏 ProtectAI、PIGuard、Prompt Guard、Model Armor;数据集为 BIPIA、Deepset、SPL、SID(BeaverTails)。
作者将本文定位为:把 LTT 式设置从固定候选族扩展到顺序、自适应的候选选择,被检验假设由校准反馈与目标风险共同生成(贡献第 3 条)。
论文如何解决这个问题?
把护栏提示词选择形式化为约束优化,CPS 先固定候选池再做 LTT 式认证,CRISP 用可复用留出机制把风险反馈接入迭代改写。
整体思路:评审模型 f 与系统提示词 p 组成确定性二元分类器 f(p, x)(贪心解码,temperature=0),在约束 R(p) ≤ α 下最大化良性通过率 U(p),并用分布无关的有限样本界认证候选提示词。框架实例化为 CPS 与 CRISP 两个流程。
问题形式化
- 风险与效用定义:R(p) = Pr(f(p,x)=0 ∣ y=1)(恶意输入被放行的漏检率),U(p) = Pr(f(p,x)=0 ∣ y=0)(良性输入通过率);目标为 max U(p) s.t. R(p) ≤ α(Eq. 3)。
- (α, ϵ, δ)-validity(Definition 1):流程返回候选集与部署提示词 p̂,要求以概率至少 1−δ 同时满足所有候选风险 ≤ α 且 U(p̂) 不低于候选内最优减 ϵ。
- 数据划分:Dn 分为 Dtrain(仅生成/改写)、Dcert(仅认证与选择)、Dtest(仅最终评测);Dcert 按标签再分为恶意子集(m 条)与良性子集(b 条)。
- 认证工具:Clopper–Pearson 上置信界 Rucb(p, Dcert, β) = Beta−1(1−β; kp+1, m−kp),其中 kp 为漏检数(Eq. 6)。
CPS:先优化后认证(Section 4.1)
- 从 Dtrain 抽 N 个 bootstrap 样本,各跑一次提示词优化器(如 GEPA),得到固定候选池 Ptrain = {p1, …, pN}。
- 在 Dcert 上以 Bonferroni 校正水平 δR/N 计算每个候选的风险上界。
- 保留 Rucb(pj) ≤ α 的候选组成认证集 C;为空则弃权(报告“–”)。
- 在 Dcert 良性子集上选经验效用最高的认证候选。Proposition 1 给出 R(p̂) ≤ α 且效用近优的概率 ≥ 1 − δR − δU。
CRISP:风险反馈闭环(Section 4.2)
- 动机:CPS 只能认证池中已有提示词,若池中没有低风险候选则认证无法补救(生成缺口);CRISP 把认证结果反馈进生成。
- 双种群搜索(借鉴 FI-2pop):每轮把已探索提示词分为认证集 Ct 与未认证集 Ut;认证候选向提升效用方向改写,未认证候选向降低风险方向改写。
- 每轮至多两个提案:ImproveUtility 取训练效用最高的认证提示词,改写以放行被误拦的良性样本;ReduceRisk 取训练风险最低的未认证提示词,改写以拦截漏掉的攻击。每次改写是一次 LLM 调用,输入父提示词、当前风险、预算 α 和仅来自 Dtrain 的难例(模板见附录 A.6)。
- Guess-and-Check(GnC)认证:先在 Dtrain 上算 Clopper–Pearson 上界,超过 α 直接返回 1 且不接触留出集;否则在 Dcert 恶意子集上检验,训练界更保守则只释放训练界;检验失败则释放粗粒化到 γ 网格的留出估计并计一次失败;置信水平按可求和权重 cj = 6/(π²(j+1)²) 分配,预算耗尽返回 ⊥ 并停止。
- 适应性下的有效性:CRISP 不直接读 Dcert 恶意子集,只经 GnC 的受限输出观察;风险只依赖恶意样本,故 Dcert 良性子集在最终选择前保持未用,认证候选至多 2T+1 个。Proposition 2 给出与 CPS 同形的保证(K = 2T+1)。
关键参数
- CPS:N = 20 个 bootstrap 样本,每个大小 B = 0.20|Dtrain|,GEPA light 配置、25% 内部验证(附录 A.4)。
- CRISP:T = 20 轮、每轮至多 2 个提案;改写用 gpt-5.4-mini、temperature 0.7、至多 420 token;难例为至多 3 个假阳性+3 个真阳性(效用分支)或 3 个假阴性+3 个真阴性(风险分支)。
- 全程 δR = 0.10;提示注入用 α ∈ {0.10, 0.20, 0.30},输出护栏用 α = 0.30。
论文做了哪些实验?
四个数据集、两个评审模型上,作者报告认证提示词测试风险均不超过 α;CRISP 在 12 个提示注入设置中全部可认证,CPS 有 4 次弃权。
实验设置
- 评审模型(被优化的护栏):gpt-4o-mini 与 gpt-5.4-mini(Table 1 提示注入);输出护栏(Table 2)仅用 gpt-5.4-mini。贪心解码 temperature=0,至多 5 个 completion token,无法解析的回复默认 ALLOW(附录 A.3)。
- 生成/改写模型:所有提示词优化方法(含基线)均用 gpt-5.4-mini,从同一任务种子提示词出发;Naive 直接部署种子。
- 数据集与规模(Table 4,train/cert/test):BIPIA 600/1800/597;Deepset 132/397/132(论文称该集较小,紧 α 下认证偏保守);SPL 93/278/92;SID 599/1798/597。测试集已剔除 API 内容过滤拒绝的样本(BIPIA 3 条、SID 3 条)。
- 基线:Naive、ProTeGi、GEPA、MIPROv2(均最大化平均准确率);提示注入另有分类器护栏 ProtectAI、PIGuard、Prompt Guard、Model Armor。
- 指标:Risk = 测试集漏检率(越低越好),Utility = 良性通过率(越高越好);无候选可认证时报告“–”。
- 重复与诊断:主表为单次 0.20/0.60/0.20 划分(seed 1);附录 A.8 在 BIPIA 上重划分 50 次验证覆盖率;Figure 3 为 Best-of-N 越狱诊断(30 个恶意种子,gpt-4o-mini 评审)。
主结果
据 Table 1(提示注入,测试集 Risk/Utility):
表格较宽,可左右滑动
评审模型 方法 BIPIA α=0.1 BIPIA α=0.3 Deepset α=0.1 Deepset α=0.3 gpt-4o-mini CPS 0.06/0.84 0.25/0.88 –/– 0.16/0.96 gpt-4o-mini CRISP 0.02/0.58 0.20/0.86 0.02/0.83 0.11/0.96 gpt-5.4-mini CPS –/– 0.17/0.86 –/– 0.15/1.00 gpt-5.4-mini CRISP 0.01/0.78 0.18/0.89 0.04/0.94 0.09/1.00 gpt-4o-mini Naive / GEPA 0.60/0.90 / 0.33/0.90 同左(α 无关) 0.29/0.92 / 0.16/0.95 同左 gpt-5.4-mini Naive / GEPA 0.38/0.93 / 0.40/0.95 同左 0.35/0.97 / 0.15/1.00 同左 – PIGuard / Prompt Guard 0.15/0.86 / 0.13/0.78 同左 0.08/1.00 / 0.07/0.14 同左 (α=0.2 行与 ProTeGi、MIPROv2、ProtectAI、Model Armor 从略;完整数值见 Table 1。)
- 风险校准成立:作者报告,Table 1 中所有获得认证的配置(2 评审 × 2 数据集 × 3 风险水平 × 2 方法)测试漏检率均 ≤ 目标 α;Table 2 两个输出护栏任务在 α=0.30 下同样成立。
- α 是可用的控制旋钮:CRISP + gpt-4o-mini 的效用在 BIPIA 上从 α=0.10 的 0.58 升至 α=0.30 的 0.86,Deepset 上从 0.83 升至 0.96;gpt-5.4-mini 下 BIPIA 从 0.78 到 0.85 到 0.89,Deepset 从 0.94 到 1.00。
- 与无约束优化器相比:作者称认证提示词在相近风险下常有竞争力,例如 α=0.20、BIPIA、gpt-4o-mini 时 CPS/CRISP 为 R=0.12/0.11、U=0.86,ProTeGi 为 R=0.19、U=0.80。
输出护栏任务(Table 2,α=0.30,gpt-5.4-mini)
- SPL:CPS 0.21/0.78,CRISP 0.08/0.60;Naive 0.17/0.38,ProTeGi 0.15/0.78,GEPA 0.17/0.58,MIPROv2 0.06/0.65。
- SID:CPS 0.15/0.97,CRISP 0.22/0.96;Naive 0.52/1.00(超过 α),ProTeGi 0.13/0.93,GEPA 0.12/0.95,MIPROv2 0.13/0.97。
- 作者的解读:认证选择并不一致优于无约束基线,但 consistently 返回满足 α=0.30 的操作点;作者认为该场景下主要收益是认证可行性而非全面的前沿改进。
生成缺口与分类器对比
- 可认证性:CPS 在 12 个提示注入设置中 4 次返回空认证集,CRISP 12 次全部认证成功(Section 5.2)。
- 对比专用分类器:作者称通用评审无需微调即可匹配 PIGuard——α=0.20、BIPIA 上 CRISP(gpt-4o-mini)0.11/0.86 对 PIGuard 0.15/0.86;Deepset 上 CRISP(gpt-5.4-mini)0.05/0.99 对 PIGuard 0.08/1.00,且 CPS/CRISP 附带有限样本保证。
Best-of-N 鲁棒性诊断(Figure 3,BIPIA,gpt-4o-mini 评审)
- 测了什么:攻击者对每个种子最多查询 N 次,任一查询被放行即攻击成功;30 个恶意种子,变体库对所有防御方法共享(附录 A.5)。
- 结果:作者报告 MIPROv2 在 N=40 时漏检率达 0.8,GEPA 在 N=100 时达 0.8;CRISP(α=0.10)至 N=100 保持 ≤ 0.07,低于图中 α=0.10 参考线。
- 作者强调:该实验是鲁棒性诊断,不属于认证保证,证书不覆盖多查询攻击场景。
其他消融与分析
- 搜索轮次(Table 5/6,BIPIA,gpt-5.4-mini):α=0.20 时测试效用从 T=1 的 0.50 升至 T=10 的 0.83,T=10 到 T=40 所选提示词不变;α=0.30 时 T=40 选出另一提示词,测试风险从 0.24 降到 0.16、效用维持 0.84。
- 重复划分(Table 7,BIPIA,50 次重划分,CRISP,gpt-4o-mini 评审,T=10):α=0.20 时 49/49 个认证划分满足 Rtest ≤ α(1 次弃权),α=0.30 时 50/50;平均 Rtest 分别为 0.09 与 0.15,经验覆盖率 1.00 高于 1−δ=0.90。
- 例外:Deepset 上 CPS 在 α=0.10 与 α=0.20 均弃权(Table 1);BIPIA + gpt-5.4-mini 下 CPS 在 α=0.10、α=0.20 弃权。
有什么可以进一步探索的点?
作者在 Limitations 中列出证书适用条件与未覆盖场景;实验覆盖两个评审模型、四个数据集,主表为单次划分。
作者指出的局限与后续方向
- 分布假设:保证在 i.i.d. 校准分布下成立;攻击构成、用户群体或评审模型发生变化可使证书失效(Section 6)。
- 生成缺口:若生成器从未提出高效用可行提示词,认证无法补救——这正是 CPS 可能返回空认证集的原因(Section 6)。
- 不覆盖自适应对手:Best-of-N 越狱只是鲁棒性诊断,不是认证保证(Section 6)。
- 数据与保守性:两个流程都需要标注的恶意与良性数据;认证集较小时 Clopper–Pearson 与 Guess-and-Check 界偏保守;CRISP 的可复用留出预算耗尽时可能提前停止(Section 6)。
- 设定限制与开放方向:目前限于二元、贪心解码的评审与单一漏检约束;随机解码、多类别策略、对过度拦截(over-blocking)的联合控制仍是开放问题(Section 6)。
- 定位:作者认为认证提示词应视为纵深防御栈中的一层,不能替代分布漂移或自适应攻击下的监控(Section 7)。
实验覆盖范围
- 被测评审模型为 gpt-4o-mini 与 gpt-5.4-mini 共 2 个;生成/改写模型为 gpt-5.4-mini(Section 5.1、附录 A.3)。
- 数据集为 BIPIA、Deepset、SPL、SID 共 4 个,覆盖提示注入、系统提示词泄露、敏感信息泄露三类任务;测试集规模 92–597 条(Table 4)。
- 主结果表基于单次 0.20/0.60/0.20 划分(seed 1);50 次重复划分验证仅在 BIPIA、CRISP、α ∈ {0.20, 0.30}、gpt-4o-mini 评审下进行(附录 A.8)。
- 鲁棒性诊断仅覆盖 Best-of-N 一种多查询攻击、仅在 BIPIA 与 gpt-4o-mini 评审下、30 个恶意种子(附录 A.5)。
- 论文未报告人工评估与评审判定的一致性;SPL 的 Promptfoo 标签经两名标注者联合复核(附录 A.1)。
总结一下论文的主要内容
将护栏提示词选择形式化为带有限样本风险认证的约束优化,CPS 与 CRISP 在四个数据集上实现测试风险不超目标 α。
一篇关于 LLM-as-a-judge 护栏的防御论文:在护栏只暴露二元 BLOCK/ALLOW 判定、无分数阈值可调的前提下,把系统提示词选择做成约束优化——最大化良性通过率、约束漏检率 R ≤ α,并以概率至少 1−δ 给出有限样本保证。
- 方法:CPS 用 GEPA 从训练数据生成固定候选池,再用 Clopper–Pearson 上界加 Bonferroni 校正在留出集上认证,选认证候选中良性效用最高者;CRISP 把风险认证经 Guess-and-Check 可复用留出机制反馈进迭代改写,分认证/未认证双种群分别向提效用、降风险方向搜索,闭合固定池的生成缺口。
- 风险校准:作者报告,Table 1 全部获得认证的提示注入配置与 Table 2 两个输出护栏任务(α=0.30)上,测试漏检率均不超过目标 α;50 次 BIPIA 重划分中认证划分 49/49(α=0.20)与 50/50(α=0.30)满足 Rtest ≤ α(Table 7)。
- α 可控:CRISP + gpt-4o-mini 的良性效用在 BIPIA 上从 α=0.10 的 0.58 升至 α=0.30 的 0.86,测试风险相应上升但保持在目标内。
- 可认证性:CPS 在 12 个提示注入设置中 4 次弃权,CRISP 全部认证成功。
- 对比基线:作者称通用评审无需微调即可匹配专用分类器 PIGuard(如 BIPIA、α=0.20 时 CRISP 0.11/0.86 对 0.15/0.86);Best-of-N 诊断中 CRISP(α=0.10)至 N=100 漏检率 ≤ 0.07,而 MIPROv2 在 N=40 已达 0.8。
- 作者的结论:认证提示词应作为纵深防御的一层;证书不覆盖分布漂移与自适应对手,随机解码、多类别策略与过度拦截的联合控制留作开放问题。
相关论文
- Hidden Risks of Jev攻击arXiv