面向安全可靠大语言模型的检测器:实现、用途与局限
Detectors for Safe and Reliable LLMs: Implementations, Uses, and Limitations
IBM Research 介绍其 LLM 危害检测器库:约 30M 参数的 BERT 类分类器,覆盖显性/隐性仇恨、污名、提示注入等,用作护栏与治理工具。
论文非攻击论文,无明确攻击者建模。防御侧设定:因训练成本、API 访问、数据可用性等限制,无法对已部署 LLM 直接施加安全约束,故用独立的小型分类器(detectors)在 LLM 生命周期各阶段(预训练数据过滤、输入/输出监控、评测、治理)检测各类危害文本,包括 prompt-injection-and-jailbreaks 类输入。
- LLM 存在毒性、偏见、幻觉、提示注入等风险,但因训练成本、API 访问、数据可用性等限制,无法总能在部署模型上直接施加安全约束,需要高效可靠的替代方案。
- IBM Research 构建了一个检测器库:针对每类危害收集或合成标注数据,在 BERT 类小模型(约 30M 参数)上监督微调;并用 NAS 压缩架构、合成数据增强、集成与 conformal 预测提升效率与可靠性,配套红队 UI 收集人工反馈。
- implicit-hate 检测器在四个测试集上 F1 为 0.665–0.987(Table 1);faithfulness 检测器 v2 mix 平均 ROC-AUC 82.2,高于 BertScore 等基线(Table 2);conformal 预测达到 90.4% 经验覆盖率,弃权 38% 后准确率从 0.77 升至 0.85(附录 D)。
- 作者指出危害定义依赖语境、数据标注本质上是主观的,检测器可能再生产并放大有害分类;训练数据与 LLM 生成分布不匹配,对长输出和规避性回答表现欠佳;多轮检测、越狱检测系统化、长文本归因列为未来方向。
- 被测模型
- implicit-hate-detectorfaithfulness-detector
- 基准
- Latent Hatred20 NewsGroupsIdentity GroupsCivilCommentsMultiNLISNLIHotPotQANewsQAFRANKSummEvalMNBMQAGS-CQAGS-XBEGINQ2DialFactPAWSAtta-QSocialStigmaQAProvoQ
- 指标
- accuracybalanced accuracyprecisionrecallF1ROC-AUCECEempirical coverageabstention rate
论文介绍了构建和部署检测器库的持续工作,检测器是紧凑、易构建的分类模型,为大语言模型的各类有害输出提供标签。论文指出,受训练成本、API 访问、数据可用性等因素限制,对已部署模型直接施加安全约束不一定可行,需要高效可靠的替代方案。检测器用途广泛,从充当护栏到支持 AI 治理,论文还深入分析了开发中的固有挑战,并讨论了让检测器更可靠、扩大适用范围的未来工作。
深度解读
这篇论文试图解决什么问题?
无法直接约束已部署 LLM 时,用独立小型分类器库检测各类危害文本,并探讨其用途与固有挑战。
核心问题:由于训练成本、API 访问、数据可用性等限制,无法总是对已部署 LLM 直接施加安全约束,需要高效可靠的替代方案来检测和缓解 LLM 的不良行为。
- 风险场景:作者称 LLM 在医疗、金融等关键领域部署时会产出毒性、偏见、幻觉等内容,且通过自然语言提示词的交互方式不受约束,带来新挑战。
- 现有路径的不足:作者引用 Qi et al. 2024 称微调 LLM 会损害其安全机制,因此主张检测器应独立于 LLM 微调过程;用 LLM 评测 LLM 则存在世界知识干扰、特定偏见和成本问题(论文转述 Shen et al. 2023a、Wang et al. 2023、Samsi et al. 2023)。
- 核心方案:提出一个检测器(detectors)库——紧凑、易构建的分类模型,为各类危害打标签,覆盖输出侧(偏见、社会规范、安全、AI 生成内容)、输入侧(提示注入、越狱)和输入+输出侧(不忠实)。
- 威胁模型(防御视角):论文未建模攻击者,防御设定如下:
- 防护对象:部署中的 LLM 及其输入输出,包括 prompt-injection-and-jailbreaks 类恶意输入。
- 防御层:独立于 LLM 的外部分类器,可置于预训练数据过滤、提示词监控、响应监控或两者(附录 B,Figure 4)。
- 假设:检测器参数量约 30M,推理成本相对 LLM 可忽略;训练数据分布与部署分布可能不匹配。
- 落地背景:检测器已用于 IBM Granite 系列 LLM 的数据与模型工厂,并作为 moderation 部署在 IBM Research 实验性 prompt 实验室(超过 25,000 名内部用户),为进入 IBM watsonx 商用平台做测试。
有哪些相关研究?
相关工作分四组:危害检测数据集、LLM 评测与护栏、不确定性与校准、内容审核与标注的社会科学研究。
危害检测与数据集
- ElSherief et al. 2021a(Latent Hatred)——隐性仇恨言论基准;Mei et al. 2022a——隐蔽不安全文本;Pachankis et al. 2018——心理学文献中 93 种污名的分类,本文 stigma 检测器的合成数据以其为基础。
- Zou et al. 2023、Shen et al. 2023b、Hu et al. 2024——对抗后缀、野外越狱提示词与越狱检测,被引用为 prompt-injection-and-jailbreaks 检测器的相关攻击与检测工作。
- Webster et al. 2018(性别歧义代词)、Forbes et al. 2020(社会规范)、Hu et al. 2023(RADAR,AI 生成文本检测)——分别对应 gender-ambiguity、social-norms、AI-generated-text 检测器。
LLM 评测、护栏与治理
- Kim et al. 2023、Chiang and Lee 2023、Zheng et al. 2023、Zhu et al. 2023——用 LLM 评测 LLM;论文转述 Shen et al. 2023a、Wang et al. 2023 指出此类评测存在偏见问题,Samsi et al. 2023 指出成本可能过高,作者据此将检测器定位为高效透明的替代。
- Inan et al. 2023(Llama Guard)、Rebedea et al. 2023(NeMo Guardrails)、Dong et al. 2024——LLM 输出护栏工具,本文检测器被作者定位为同类用途。
- 安全基准:Atta-Q(Kour et al. 2023)、SocialStigmaQA(Nagireddy et al. 2024a)及 BBQ、CrowS-Pairs、StereoSet、BOLD 等;作者称对 Atta-Q 和 SocialStigmaQA 两个内部基准用多个检测器量化了 LLM 有害生成的比例。
不确定性、校准与数据增强
- Lakshminarayanan et al. 2017(深度集成)、Rahaman et al. 2021——用集成降低过自信,本文在 implicit-hate 检测器上采用了 5 个随机初始化的模型平均。
- Vovk et al. 1999、Romano et al. 2020、Angelopoulos et al. 2021——conformal 预测与 regularized adaptive prediction sets,本文用其为检测器提供覆盖率保证。
- Gehman et al. 2020、Dhamala et al. 2021、Kour et al. 2023——用前缀续写或挑衅性问题诱导 LLM 生成,本文据此构建真实世界评测数据并开源了 ProvoQ 数据集。
内容审核与标注的社会科学研究
- Bowker and Star 1999——分类系统固有地抬高一种观点、压制另一种;Caplan 2018、Gillespie 2018——内容审核中语境、意图、语言和文化线索都影响判定。
- Davani et al. 2023a/b、Sap et al. 2022、Welbl et al. 2021、Aroyo et al. 2023——标注者的身份与观念影响毒性标注、标注者之间常有分歧,本文第 4 节以此论证危害检测的固有挑战。
定位:作者称本文的区别在于把检测器作为独立于 LLM 微调、贯穿 LLM 全生命周期(数据过滤、护栏、评测、治理)的紧凑分类器库来构建和部署,并从社会科学视角反思其固有局限。
论文如何解决这个问题?
为每类危害收集或合成标注数据、微调 BERT 类小模型,再用 NAS、集成、conformal 预测和红队反馈提升效率与可靠性。
整体思路:针对每个风险维度,先收集或生成带标签数据,再在 BERT 类模型上监督微调得到检测器(detectors),参数量约 30M,可独立部署在 LLM 生命周期的多个环节(Figure 1)。
危害分类体系
- 仇恨与歧视语言:explicit-hate(HAP)、implicit-hate、stigma、gender-ambiguity(代词-实体指代歧义)。
- 语境与规范:social-norms、blocklisted-topics(特定用例的禁忌话题)。
- 信息危害:unfaithfulness(输出不忠实于输入上下文)、AI-generated-text。
- 欺骗与有害语言:covert-safety(隐蔽的身体伤害教唆)、prompt-injection-and-jailbreaks。
数据:合成生成与真实世界评测
- 合成数据:对缺乏标注数据的危害(如 stigma),用 LLM 以 in-context learning 方式基于心理学文献(Pachankis et al. 2018)的污名分类生成数据,再人工标注;附录 C 给出了完整提示词。生成文本需进一步处理和标注,作者称用了人工标注。
- 分布不匹配问题:作者指出训练数据多来自人类文本,与 LLM 生成分布不匹配;为此用前缀续写或挑衅性问题诱导多个 LLM 生成回答,由人类或 AI 评审(如奖励模型)打标签作为 ground truth,与检测器标签比对发现失败模式。由此发现检测器对长输出和高度对齐、措辞迂回模型(如 Llama 2)的回答分类欠佳,并据此补充长回复训练样本。
- 许可:作者称合成与收集的数据经过内部 clearance 流程确认可商用;挑衅性问题数据集 ProvoQ 已开源。
效率:架构搜索
- 用 Neural Architecture Search(Trivedi et al. 2023)得到 transformer 架构,作者称其达到 BERT Base 类模型 95% 的准确率,CPU 上快 7 倍、GPU 上快 2 倍。
可靠性:校准与不确定性
- 集成:5 个随机初始化训练、平均预测概率,缓解过自信。
- Conformal 预测:采用 regularized adaptive prediction sets(Romano et al. 2020;Angelopoulos et al. 2021),在留出验证集上校准 conformal 分数,输出预测集合(如 {IMPLICIT-HATE}、{NOT-HATE} 或两者),对非单例集合弃权,以获得频率学覆盖率保证。
- 负样本扩充:把 blocklisting 检测器的训练数据(20 NewsGroups,新闻标题风格、无显性内容)作为良性负样本加入训练,并计划引入漂移检测(Ackerman et al. 2021)识别 OOD 数据。
人机回路与部署形态
- 红队 UI:React+Flask 平台(Figure 2,附录 E 图 5),用户输入或选择曾诱导有害输出的提示词、配置模型生成回答,可编辑回答以消除有害内容、查看检测器逐句分数,并反馈误分类;反馈目标在界面上做混淆处理以减少偏见。作者计划用这些反馈通过 model editing 和 unlearning 改进检测器。
- 部署模式(附录 B,Figure 4):单轮下可监控提示词、响应或两者——注入/越狱检测监控提示词,unfaithfulness 与 gender-ambiguity 需同时监控两者;多轮设置下利用历史对话作为上下文。
- 用途:预训练数据过滤(explicit-hate 检测器用于过滤 IBM Granite 预训练数据)、输出护栏、RLHF 对齐模型、基准评测的 reference-free 指标、红队与基准构建、治理(行为达标、漂移追踪、外购模型风险评估)。
论文做了哪些实验?
报告 implicit-hate 与 faithfulness 两个检测器的评测,以及 OOD 增强、集成与 conformal 预测的可靠性实验。
实验设置
- 被测检测器:implicit-hate 检测器(bert-base-uncased 微调,batch size 16、学习率 0.000001、50 epochs 按验证 F1 取最优)和 faithfulness 检测器(deberta-v3-large 微调,二分类 NLI 标签);其余检测器只描述未给评测数字。
- 训练数据:implicit-hate 用 Latent Hatred、20 NewsGroups(作负样本)、Identity Groups、CivilComments 中 identity attack 值大于 0.5 的子集共 4 个数据集;faithfulness 用 MultiNLI、SNLI 加约 22.5k 条基于 HotPotQA 和 NewsQA 的 Mixtral 合成 MRQA 数据。
- 变体:faithfulness 有三个变体——v1(仅 MNLI/SNLI)、v2(仅 Mixtral 合成数据)、v2 mix(合成数据+MNLI/SNLI)。
- 基线:faithfulness 对比 BertScore、BARTScore、FactCC、ANLI(11B T5,作者注明其远大于 deberta)。
- 指标与评审:implicit-hate 报 accuracy、balanced accuracy、precision、recall、F1;faithfulness 报 ROC-AUC。可靠性实验报 ECE、经验覆盖率与弃权率。论文未报告重复次数与统计显著性检验。
主结果
implicit-hate 检测器在四个测试集上的表现(据 Table 1):
表格较宽,可左右滑动
测试集 accuracy balanced accuracy precision recall F1 implicit-hate 0.754 0.747 0.616 0.724 0.665 blocklisting 0.676 0.676 - - - identity groups 0.752 0.732 0.729 0.891 0.802 civil comments 0.974 0.974 1.0 0.974 0.987 faithfulness 检测器与基线的 ROC-AUC(据 Table 2,节选):
表格较宽,可左右滑动
数据集 v1 v2 v2 mix BertScore BARTScore FactCC ANLI (11B) FRANK 84 89.0 86.7 84.3 86.1 76.4 89.4 SummEval 69.4 81.4 78.3 77.2 73.5 75.9 80.5 QAGS-X 73.8 73.7 79.9 49.5 53.8 64.9 83.8 DialFact 84.1 76.2 89.2 64.2 65.6 55.3 77.7 Avg(9 个数据集) 77.6 74.8 82.2 71.4 72.2 66.7 81.5 - 作者称 faithfulness 检测器相对同等规模的指标(BertScore、BARTScore、FactCC)有更好的 ROC-AUC;按 Table 2 的平均行,v2 mix(82.2)也高于 ANLI(81.5),但 ANLI 在 FRANK、MNBM、QAGS-X、BEGIN 等单个数据集上更高。
- v2(仅用合成数据训练)在 MNBM(53.2)和 BEGIN(48.7)上明显低于 v1 与 v2 mix,作者未解释原因。
- 作者称评测主要看 F1 以平衡假阳与假阴,但从终端用户角度假阴(有害文本被判为良性)在护栏模式下危害更大。
OOD 数据增强与集成(附录 D)
- 测了什么:implicit-hate 检测器在 20 NewsGroups 约 5000 条全负样本(OOD)数据上的表现。
- 结果:原始检测器准确率 0.15(假阳率 0.85);把该数据加入微调后升至 0.95。不加入训练、改用阈值 0.7 时,原始模型 0.78、集成模型 0.90。
- 作者解读:集成在未见过该数据的情况下接近见过数据的版本(0.90 对 0.95),但作者称更新后的检测器是否过拟合该数据尚待观察。
校准与 conformal 预测(附录 D)
- ECE:原始 implicit-hate 检测器 ECE 0.11,集成后 0.04,作者称集成改善了校准。
- 覆盖率与弃权:验证集和测试集各约 4000 条(训练集约 12,000 条),目标覆盖率 90%。单模型经验覆盖率 90.4%、38% 样本被弃权;集成模型覆盖率 89.9%、弃权 40%。
- 弃权后表现:单模型在 non-abstained 子集上 accuracy 0.85、F1 0.70(全集为 0.77、0.67);集成模型 non-abstained accuracy 0.83、F1 0.67(全集 0.77、0.65)。正文称 conformal 使 implicit-hate 检测 F1 提升 4%、集成版本提升 3%。
其他消融与分析
- 部署反馈:检测器在实验性 prompt 实验室部署后出现高假阳率(无害文本被标为有害),作者称多个检测器存在偏向 harm 标签的过自信(Section 2.4)。
- 失败模式:红队评测发现检测器对长输出分类不准(训练集以短句为主),对高度对齐、措辞迂回模型(如 Llama 2)的规避性回答表现欠佳(Section 2.2)。
- 治理应用:作者称对内部基准 Atta-Q 和 SocialStigmaQA 用多个检测器量化了 LLM 有害生成比例,未报告具体数字(Section 3.2)。
有什么可以进一步探索的点?
作者从社会科学角度指出危害定义与标注的固有挑战,并列出多轮检测、越狱检测系统化、长文本归因等方向。
作者指出的局限与后续方向
- 危害定义依赖语境(Section 4,Challenge 1):准确判定需理解内容创作的语境、意图与社会条件,检测器难以获得这些信息。
- 数据标注本质上是主观的(Section 4,Challenge 2):标注者的文化背景与观念影响标签,标注者之间常有分歧;作者建议招募多元背景标注者并记录分歧而非抹平(Recommendation 2)。
- 再生产与放大风险(Section 4.2):作者认为若检测器进入商用平台或数据集开源,有害的刻板印象与分类可能被规模化复制;对污名定义不同的社会群体,检测器表现可能更差。
- stigma 检测器的特殊困难(Section 4.1):污名的词汇表现因社群和语境而异,甚至显性表达的缺失也可能暗示污名,作者认为缺少文化语境时难以可靠训练分类器;建议重新界定概念、面向具体社群开发 situated 检测器(Recommendation 1)。
- 多轮检测(Section 5):现有检测器多为单轮设定,作者称当前工作正基于人机对话准则构建多轮有害对话检测器(Miehling et al. 2024)。
- 越狱检测系统化与归因(Section 5):作者称目前缺乏统一的越狱攻击检测策略,正基于红队流水线扩展检测;长输入下解释方法(文本跨度归因)的计算成本与可解释性列为未来工作。
实验覆盖范围
- 报告定量结果的检测器只有 implicit-hate 和 faithfulness 两个(Table 1、Table 2);其余检测器(explicit-hate、stigma、covert-safety、prompt-injection-and-jailbreaks 等)只有定性描述。
- implicit-hate 评测覆盖 4 个测试集;faithfulness 评测覆盖 9 个数据集的 ROC-AUC,基线为 BertScore、BARTScore、FactCC、ANLI(11B)。
- conformal 实验的验证集与测试集各约 4000 条,OOD 实验测试集约 5000 条(附录 D)。
- 论文未报告实验重复次数、统计显著性检验,也未报告红队 UI 用户研究的定量结果(作者称留待未来用户研究)。
- prompt-injection-and-jailbreaks 检测器未给出任何评测数字;多轮检测、漂移检测、model editing/unlearning 改进均为计划或进行中工作(Section 2.3、2.4、5)。
总结一下论文的主要内容
IBM Research 的检测器库实践:小型分类器检测 LLM 危害,兼作护栏与治理工具,并反思其固有局限。
IBM Research 介绍了其构建和部署 LLM 危害检测器库的持续工作,定位是防御与治理工具而非新算法。
- 问题:作者称由于训练成本、API 访问、数据可用性等限制,无法总在部署的 LLM 上直接施加安全约束;且微调会损害 LLM 安全机制(引 Qi et al. 2024),因此需要独立于 LLM 的检测手段。
- 方法:针对显性/隐性仇恨、污名、社会规范、不忠实、AI 生成文本、隐蔽不安全、提示注入与越狱等危害,分别收集或合成标注数据,微调 BERT 类小模型(约 30M 参数);用 NAS 架构(作者称保持 BERT Base 95% 准确率、CPU 快 7 倍)、合成数据增强、5 模型集成与 conformal 预测提升效率与可靠性,并配套红队 UI 收集人工反馈。
- 结果:implicit-hate 检测器在四个测试集上 F1 为 0.665–0.987(Table 1);faithfulness 检测器 v2 mix 在 9 个数据集上平均 ROC-AUC 82.2,高于 BertScore(71.4)、BARTScore(72.2)、FactCC(66.7)和 ANLI 11B(81.5)(Table 2)。
- 可靠性证据:加入 OOD 负样本后 implicit-hate 在 20 NewsGroups 上准确率从 0.15 升至 0.95;集成使 ECE 从 0.11 降至 0.04;conformal 预测达 90.4% 经验覆盖率,弃权 38% 后准确率从 0.77 升至 0.85(附录 D)。
- 落地:检测器用于过滤 IBM Granite 预训练数据,并部署于超过 25,000 名用户的内部 prompt 实验室。
- 作者的结论:检测器是高效透明的护栏与治理手段,但危害定义依赖语境、标注主观,部署可能再生产并放大有害分类;作者认为承认危害定义的多元性是避免风险规模化的第一步,并列出多轮检测、越狱检测系统化、长文本归因等未来方向。