CorrectGuard 提出黑盒安全护栏的免查看正确性估计框架

如何在不能人工查看生产输入、也不能读取护栏内部时，判断黑盒安全护栏决策是否正确。

• 场景：作者称AI服务依赖黑盒护栏检测有害内容、越狱和提示注入，但离线基准表现随数据集、攻击策略和应用场景变化，未必代表生产分布。隐私政策、合同和零留存等约束常禁止人工检查生产输入。
• 缺口：作者称商业护栏多只给出离散决策，不提供内部状态或校准置信度。已有线上审计用研究者构造的探针，刻画的是受控探针分布，而不是发生偏移的生产流量。
• 访问设定：人eyes-off禁止人查看输入，模型仍可在推理时使用输入；机器eyes-off还禁止自然语言，以及可被反演还原原文的稠密表示。评估器只用其他分布上的有标签eyes-on数据训练。
• CorrectGuard：独立模型估计护栏决策正确的概率，不访问护栏内部。作者用它考察未见分布上的错误识别、偏移下的判别与校准、排序，以及决策弃权。

护栏评测与监测

• 内容与安全护栏：作者把OpenAI Moderation、Azure AI Content Safety、Llama Guard和Meta Prompt Guard作为审核或安全护栏的例子，并称这类系统通常在有标签基准上离线评测。
• 离线基准：GuardBench、WildGuard、HarmBench、JailbreakBench等被用来说明护栏表现会随评测分布、攻击类型和应用场景变化。作者称这限制了基准结果向生产环境的迁移。
• 线上探针：Dai等以及相关审计反复探测线上黑盒系统，或使用研究者构造的探针。作者称这些工作刻画受控探针分布；本文研究的是标签不可得、人不能检查输入时的分布偏移。

失败预测与正确性模型

• 模型内部信号：作者称，用输出概率或隐藏表示估计正确性或不确定性的方法，通常需要灰盒或白盒访问。黑盒路线则引出置信度、多次采样或衡量回答一致性。
• 外部代理模型：Shrivastava等与Kapoor等用代理或外部模型预测目标模型是否正确。相关工作只作引述，未与本文做数值对比。
• Xiao等：在多个LLM的问答对上训练可跨目标模型迁移的广义正确性模型，并报告偏移下校准变差、且受益于目标域数据。作者称本文改为安全与安全护栏，训练和再校准都没有目标域标签，评估器也不需要护栏的特权访问。

校准与学习型评估器

• 置信度校准：已有工作用token概率、隐藏表示、口头置信度或额外训练来校准LLM置信度。
• 验证器与LLM评审：学习型验证器和LLM judge用于选择、排序或强化学习中的正确性或回答质量评估。作者称本文是用外部评估器估计固定黑盒护栏在分布偏移下的决策是否正确；正确性概率的系统误差会直接进入总体表现估计。

基线方法与基准

• 实验对照：正确率基线是“始终相信护栏”，其准确率等于护栏自身准确率。弃权实验另有未排序选择器，风险等于全覆盖时的错误率。数据为Table I的13个数据集，协议为留一数据集（LODO）。

作者把本文定位为不对称访问下的护栏正确性估计：不用护栏内部，也不用目标分布上的标签。

整体思路是CorrectGuard：用独立的正确性模型（correctness model, CM），只在其他分布的有标签eyes-on数据上学习，再估计人不可查看、有时机器也不可查看的输入上，黑盒护栏决策是否正确。

问题形式化

部署后的护栏在eyes-off下接受评估：人不能查看用户提示和AI回复；部分设定下机器也不能查看原文。输入x有二元安全标签y，黑盒护栏给出ŷ = g(x)。决策正确性定义为 C = 1{y = ŷ}。推理时评估器看到(x, ŷ)或隐私变换t(x)，估计 c_θ(x, ŷ) = P(y = ŷ ∣ x, ŷ)。cθ完全从外部有标签数据学习。y = 1表示该输入应当被护栏标记。

数据与LODO

• 13个数据集：Table I覆盖有害内容、越狱、间接提示注入、信息抽取、良性或混合输入。较大数据集抽样6,000条并固定；不足6,000的用全部。表中#Records即实验使用条数。
• 正确性元组：原生标注映射为二元安全标签。每个护栏跑完全部输入，保存(x, ŷ, c)，因此每个护栏一份正确性数据（Figure 1）。
• 输入表示：文本x，或OpenAI text-embedding-3-large嵌入。机器eyes-off消融采用BinaryShield：先去除PII，再嵌入、二值量化并加噪，得到带差分隐私式保护的二值向量。
• LODO：每一折完全留出一个数据集作评测，其余数据集构成源池，用于训练、优化和验证，然后轮换留出集。作者称这是为了避免同数据集重叠抬高估计。

护栏与三类CM

三个开源护栏被当作黑盒代理：Granite Guardian 3.1 2B、Qwen3Guard 8B、GPT-OSS-Safeguard-20B。CM只接收x和ŷ。各护栏单独训练CM，因为同一输入上正确与错误决策的分布不同。

• ICL：全部用GPT-5.4，每折10条只来自源数据的有标签示例。变体为固定指令加按结果类型平衡的示例、DSPy同时优化指令和示例，以及Hybrid（固定指令、DSPy优化示例）。源池分为65%示例选择、20%提示优化、15%验证。文本判决再解析为二元预测；该端点不提供这些判决的token概率。附录A给出完整提示词，并写明temperature为1.0、最多5个completion token。
• 嵌入MLP：Dense-MLP用3,072维嵌入；Binary-MLP用3,072位指纹，符号量化后以α = 2加噪。指纹前用Microsoft Presidio按语言检测去除PII。表示与护栏二元预测拼接。源数据集内80%拟合、20%验证。隐藏层为256和128，ReLU，dropout 0.2。AdamW，学习率10−3，权重衰减10−4，批大小256，最多50个epoch；按验证Brier分数早停，patience为5。验证集上在0.01到0.99间选取使错误检测F1最大的阈值。
• 微调：对Qwen2.5-7B、Llama-3.1-8B、Phi-4-14B做LoRA。输入为x和ŷ，目标为决策是否正确。推理时归一化“正确”与“不正确”对应token的logit。源池60%微调、15%验证、25%事后校准。LoRA的r = 16、α = 32、dropout 0.05，学习率2×10−5。校准只在校准划分上拟合temperature scaling、对原始对数几率的Platt scaling和isotonic regression，再原样用于未见测试集。作者称规模选择与可用算力和持续服务成本有关。

排序与弃权的计算

• 正确率lift：CM正确率减去“始终相信护栏”的正确率；后者等于护栏准确率，记为∆。
• 五等分排序：按预测正确概率把每个留出集分成五组，用最高组与最低组的实际正确率之差看排序是否有用。
• 弃权：预测正确概率不低于τ则接受该决策，否则弃权。按分数从高到低保留；coverage是保留比例，selective risk是保留集错误率，AURC是风险–覆盖曲线下的离散面积。作者称AURC越低，低分越集中在实际错误的决策上。

实验设置

• 护栏：Granite Guardian 3.1 2B、Qwen3Guard 8B、GPT-OSS-Safeguard-20B，均作黑盒代理，CM只接收输入和二元决策，并按护栏分别训练。Table II的准确率为0.58、0.68、0.69，FPR为0.10、0.07、0.06，FNR为0.59、0.46、0.49。
• 数据：Table I为advbench 520、harmbench 400、wildjailbreak 6,000、bipia 6,000、bipia_code 6,000、spikee 986、injecagent 1,054、llmail 6,000、safeguard 6,000、deepset 546、gandalf 999、piguard 6,000、openorca 6,000。类别为Harmful、Jailbreak、Indirect prompt injection、Extraction、Mixed、Benign。6,000为固定抽样上限。
• 协议：LODO，每折留出一个数据集。宏平均对每个数据集等权，不论规模。ICL源池为65/20/15；嵌入模型在源数据集内为80/20；微调为60/15/25，并另留校准划分。
• CM：GPT-5.4上的ICL、DSPy hybrid、DSPy pure；Dense MLP与Binary MLP；LoRA微调的Qwen2.5-7B、Llama-3.1-8B、Phi-4-14B。Table II把后三者写作Qwen-7B、Llama-8B、Phi-4-14B。嵌入来自text-embedding-3-large。
• 指标：Corr. acc.是判断护栏决策是否正确的准确率；∆相对“始终相信护栏”。Pwrong、Rwrong、F1wrong针对错误决策。概率分析用0.5阈值准确率、每折10个等宽箱后再宏平均的ECE，以及只在同时含正确与错误决策的留出集上宏平均的AUROC。弃权用coverage、selective risk和AURC。ICL由文本解析，论文未使用单独评审模型。
• 未写明项：论文未报告重复次数，也未报告与人工判定的一致性。

主结果

下表为LODO宏平均正确率，括号内为∆与∆>0折数，据Table II。列名中的小数是该表的护栏准确率。

| CM | Granite（0.58） | Qwen3Guard（0.68） | GPT-OSS（0.69） | | ICL | 0.840（+0.258，11/13） | 0.761（+0.085，6/13） | 0.815（+0.125，10/13） | | DSPy hybrid | 0.825（+0.243，11/13） | 0.789（+0.112，6/13） | 0.827（+0.136，9/13） | | DSPy pure | 0.819（+0.237，10/13） | 0.777（+0.101，8/13） | 0.811（+0.121，10/13） | | Dense MLP | 0.726（+0.144，9/13） | 0.706（+0.030，6/13） | 0.703（+0.012，7/13） | | Binary MLP | 0.591（+0.009，6/13） | 0.671（−0.005，5/13） | 0.721（+0.031，7/13） | | Qwen-7B | 0.72（+0.132，8/13） | 0.697（+0.017，7/13） | 0.714（+0.021，7/13） | | Phi-4-14B | 0.734（+0.148，9/13） | 0.761（+0.082，8/13） | 0.762（+0.068，7/13） | | Llama-8B | 0.643（+0.060，8/13） | 0.652（−0.023，7/13） | 0.684（−0.009，9/13） |

• 作者称外部CM能在未见分布上识别错误，但取决于协议和上游护栏。Figure 2的图注称lift随护栏变强而下降，ICL增益最大。正文另给ICL的lift范围+0.101到+0.258，以及ICL协议级平均lift +15.8个百分点。
• 作者称DSPy hybrid在三个护栏上正确率都最高。Table II的Granite列中ICL高于DSPy hybrid，与后半句不一致。作者称两种方法在llmail和openorca上没有提升；Table II里11/13只出现在Granite的ICL与DSPy hybrid，论文未逐护栏给出这两个数据集的∆。
• 摘要写两种eyes-off下最高25个百分点、微调近15个百分点。Table II中最大正lift来自使用文本的ICL和微调，不是Binary MLP。引言称机器eyes-off（仅二值指纹输入传统分类器）结果参差；Table II中Binary MLP并非每个护栏都为正。

校准与判别

• 测了什么：Table III报告原始正确性概率在0.5阈值下的准确率、ECE和AUROC。ECE先在每折用10个等宽箱，再对13个数据集宏平均。AUROC只在同时有两类决策的留出集上宏平均。ICL不在此分析中。Always correct把每条决策的正确概率设为1。
• 结果：作者称最好的ECE是Phi-4与Granite的0.206。Table III中0.206是Phi-4配GPT-OSS Safeguard 20B；Phi-4配Granite Guardian 3.1-2B的ECE是0.230。表中最高AUROC为Phi-4对GPT-OSS的0.781，最低为Llama-3.1-8B对Qwen3Guard 8B的0.554。Llama-3.1-8B在GPT-OSS上的准确率0.684，低于Always correct的0.693；Qwen3Guard上Llama-3.1-8B为0.650、BinaryShield MLP为0.675，均低于0.679。
• 作者解读：作者称每个CM都优于Always correct，且偏移下都不算校准良好，0.206仍有20个百分点的置信度与经验准确率不匹配；又称为AUROC在各CM、各护栏上都高。前两句与Table III的部分行不一致。Table III的Always correct准确率0.693、0.583、0.679，与Table II护栏准确率0.69、0.58、0.68的小数位不同，论文未解释。

排序效用

• 测了什么：按正确性概率把每个留出集分成五个大致等份，比较最高与最低等份的实际正确率之差∆Q5−Q1。Figure 3每个子图是一个护栏与CM配对；横轴为分数由低到高的五箱，纵轴为决策实际正确的百分比。下列数字来自正文对Figure 3的描述，正文未逐箱列出坐标。
• 结果：作者称所有配对都呈上升曲线，15条中有9条单调上升。作者称Phi-4在三个护栏上都单调上升，与GPT-OSS配对时∆Q5−Q1约为37%；Embedding MLP的平均∆Q5−Q1约为28个百分点，Phi-4约为29个百分点。
• 作者解读：作者称嵌入MLP已有足够排序信号，可在算力受限时支持正确性估计。该分析不含ICL。

决策弃权

• 测了什么：把13个留出集的测试样本合并，按预测正确概率从高到低保留。Figure 4为风险–覆盖曲线，含未排序选择器；从0.5%覆盖的整分阈值工作点画起。AURC越低越好。
• 结果：讨论写最好的排序把AURC从未排序基线0.330–0.438降到0.170–0.217，并在不超过10%观测风险下保留23.8–36.1%的决策。摘要写基线0.33–0.44降到0.17–0.22，在15%观测风险下保留37.5–52.0%。作者称若生产护栏为Qwen3Guard，Qwen正确性模型在10%风险下可让约36%的决策直接通过，在20%风险下可保留60%。作者称BinaryShield MLP把基线AURC降低18–35%，但在10%风险下只保留GPT-OSS决策的14.4%，Granite与Qwen3Guard不到2%。
• 作者解读：作者称Qwen是最强选择器；Phi-4对GPT-OSS的overall-best AURC有18–35%降幅，论文未给出该降幅对应的AURC原值。作者称Embedding MLP与Granite配对时AURC最好，但在GPT-OSS上不如微调模型，且不能只看AURC。作者认为二值化丢掉幅度信息，方向信息或够做排序、不够做弃权。作者称绝对概率不应直接当成生产准确率。

其他消融与分析

• Table II全部F1wrong中，最高为Granite的ICL 0.743，最低为Qwen3Guard的Llama-8B 0.180。
• 正文报告的ICL lift范围为+0.101到+0.258；协议级ICL平均lift为+15.8个百分点。
• 作者称llmail与openorca上没有提升；论文未给出这两个留出集各自的∆。
• 方法节拟合了temperature、Platt和isotonic，结果部分只报告原始概率，论文未报告校准后的ECE或准确率。
• 作者对Figure 3称Embedding MLP平均∆Q5−Q1约28个百分点，Phi-4约29个百分点。
• 引言称机器eyes-off有不大的准确率提升和排序效用；Table II中Qwen3Guard的Binary MLP ∆为−0.005。

作者指出的局限与后续方向

• ICL基座：全部ICL实验使用同一个基座LLM，即GPT 5.4（第VI节）。
• 微调规模：全部微调实验使用小型或中型LLM，作者称原因是算力（第VI节）。
• 护栏类型：使用黑盒模型的代理，而不是真正的闭源护栏（第VI节）。
• LoRA：使用LoRA被列为局限；作者计划在后续工作中与全量监督微调比较（第VI节）。
• BinaryShield：实验只用稀疏向量作输入。作者计划再做基于KNN、近似恢复未二值化原文的实验，并称BinaryShield的作者已展示该做法有效（第VI节）。
• 应用范围：CM的效用是在护栏这一范围内展示的；作者称更跨领域的做法才能展示其总体效用（第VI节）。

实验覆盖范围

• 被测护栏为Granite Guardian 3.1 2B、Qwen3Guard 8B、GPT-OSS-Safeguard-20B，共3个，均按黑盒处理（第III-C节、Table II）。
• 数据为Table I的13个数据集，协议为LODO；较大数据集固定抽样6,000条，不足则用全部。
• CM包括GPT-5.4上的三种ICL、Dense MLP、Binary MLP，以及Qwen2.5-7B、Llama-3.1-8B、Phi-4-14B的LoRA微调。机器eyes-off以BinaryShield指纹实现。
• Table III、Figure 3和Figure 4的概率分析不含ICL，因为GPT-5.4端点不提供这些判决的token概率。
• 论文未报告重复次数、与人工判定的一致性，以及事后校准应用到留出集后的ECE或准确率。

CorrectGuard面向不能人工检查生产输入、也没有生产标签的黑盒安全护栏，用外部模型估计单条决策是否正确，并据此排序和弃权。

离线基准会随数据和攻击变化，未必代表生产分布；隐私约束还可能禁止模型查看原文或可反演的稠密嵌入。评估器只在其他分布的eyes-on标注上学习，不读取护栏内部。

实验把三个开源护栏当作黑盒代理，在13个安全数据集上做LODO。CM包括GPT-5.4的上下文学习、嵌入上的MLP，以及三个开源模型的LoRA微调；机器eyes-off用BinaryShield二值指纹。

• Granite Guardian-3.1-2B的护栏准确率为0.58；ICL的LODO宏平均正确率为0.840，lift为+0.258（Table II）。摘要把最高提升写成25个百分点。
• 同一护栏上Phi-4-14B的lift为+0.148；摘要写微调近15个百分点。Llama-8B在Qwen3Guard-8B与GPT-OSS-Safeguard-20B上的∆为−0.023和−0.009。
• 讨论称最好的排序把AURC从0.330–0.438降到0.170–0.217；摘要称15%观测风险下可保留37.5–52.0%的决策。
• Table III中，0.5阈值下Phi-4对GPT-OSS的ECE为0.206。作者称偏移下校准变差。Qwen3Guard上Binary MLP的∆为−0.005。

作者的结论是：外部正确性模型可以在无特权访问时暴露系统性失败并支持弃权，但效果随护栏、训练方式和留出分布变化；它更适合排序和弃权，而不是直接估计总体准确率。作者计划在审稿期间发布代码。