跳到正文
原文

面向安全可靠大语言模型的检测器:实现、用途与局限

Detectors for Safe and Reliable LLMs: Implementations, Uses, and Limitations

arXiv· arXiv:2403.06009· Swapnaja Achintalwar, Adriana Alvarado Garcia, Ateret Anaby-Tavor, Ioana Baldini, Sara E. Berger, Bishwaranjan Bhattacharjee, Djallel Bouneffouf, Subhajit Chaudhury, Pin-Yu Chen, Lamogha Chiazor, Elizabeth M. Daly, Kirushikesh DB, Rogério Abreu de Paula, Pierre Dognin, Eitan Farchi, Soumya Ghosh, Michael Hind, Raya Horesh, George Kour, Ja Young Lee, Nishtha Madaan, Sameep Mehta, Erik Miehling, Keerthiram Murugesan, Manish Nagireddy, Inkit Padhi, David Piorkowski, Ambrish Rawat, Orna Raz, Prasanna Sattigeri, Hendrik Strobelt, Sarathkrishna Swaminathan, Christoph Tillmann, Aashka Trivedi, Kush R. Varshney, Dennis Wei, Shalisha Witherspooon, Marcel ZalmanoviciIBM Research本站收录· 23 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

IBM Research 介绍其 LLM 危害检测器库:约 30M 参数的 BERT 类分类器,覆盖显性/隐性仇恨、污名、提示注入等,用作护栏与治理工具。

威胁模型论文非攻击论文,无明确攻击者建模。防御侧设定:因训练成本、API 访问、数据可用性等限制,无法对已部署 LLM 直接施加安全约束,故用独立的小型分类器(detectors)在 LLM 生命周期各阶段(预训练数据过滤、输入/输出监控、评测、治理)检测各类危害文本,包括 prompt-injection-and-jailbreaks 类输入。

问题
LLM 存在毒性、偏见、幻觉、提示注入等风险,但因训练成本、API 访问、数据可用性等限制,无法总能在部署模型上直接施加安全约束,需要高效可靠的替代方案。
方法
IBM Research 构建了一个检测器库:针对每类危害收集或合成标注数据,在 BERT 类小模型(约 30M 参数)上监督微调;并用 NAS 压缩架构、合成数据增强、集成与 conformal 预测提升效率与可靠性,配套红队 UI 收集人工反馈。
实验与结果
implicit-hate 检测器在四个测试集上 F1 为 0.665–0.987(Table 1);faithfulness 检测器 v2 mix 平均 ROC-AUC 82.2,高于 BertScore 等基线(Table 2);conformal 预测达到 90.4% 经验覆盖率,弃权 38% 后准确率从 0.77 升至 0.85(附录 D)。
局限与可以继续做的
作者指出危害定义依赖语境、数据标注本质上是主观的,检测器可能再生产并放大有害分类;训练数据与 LLM 生成分布不匹配,对长输出和规避性回答表现欠佳;多轮检测、越狱检测系统化、长文本归因列为未来方向。
实验设置implicit-hate-detector、faithfulness-detector · Latent Hatred、20 NewsGroups 等 · accuracy、balanced accuracy 等
被测模型
implicit-hate-detectorfaithfulness-detector
基准
Latent Hatred20 NewsGroupsIdentity GroupsCivilCommentsMultiNLISNLIHotPotQANewsQAFRANKSummEvalMNBMQAGS-CQAGS-XBEGINQ2DialFactPAWSAtta-QSocialStigmaQAProvoQ
指标
accuracybalanced accuracyprecisionrecallF1ROC-AUCECEempirical coverageabstention rate
AI 导读论文介绍了构建和部署检测器库的持续工作,检测器是紧凑、易构建的分类模型,为大语言模型的各类有害输出提供标签。论文指出,受训练成本、API 访问、数据可用性等因素限制,对已部署模型直接施加安全约束不一定可行,需要高效可靠的替代方案。检测器用途广泛,从充当护栏到支持 AI 治理,论文还深入分析了开发中的固有挑战,并讨论了让检测器更可靠、扩大适用范围的未来工作。

论文介绍了构建和部署检测器库的持续工作,检测器是紧凑、易构建的分类模型,为大语言模型的各类有害输出提供标签。论文指出,受训练成本、API 访问、数据可用性等因素限制,对已部署模型直接施加安全约束不一定可行,需要高效可靠的替代方案。检测器用途广泛,从充当护栏到支持 AI 治理,论文还深入分析了开发中的固有挑战,并讨论了让检测器更可靠、扩大适用范围的未来工作。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    无法直接约束已部署 LLM 时,用独立小型分类器库检测各类危害文本,并探讨其用途与固有挑战。

    核心问题:由于训练成本、API 访问、数据可用性等限制,无法总是对已部署 LLM 直接施加安全约束,需要高效可靠的替代方案来检测和缓解 LLM 的不良行为。

    • 风险场景:作者称 LLM 在医疗、金融等关键领域部署时会产出毒性、偏见、幻觉等内容,且通过自然语言提示词的交互方式不受约束,带来新挑战。
    • 现有路径的不足:作者引用 Qi et al. 2024 称微调 LLM 会损害其安全机制,因此主张检测器应独立于 LLM 微调过程;用 LLM 评测 LLM 则存在世界知识干扰、特定偏见和成本问题(论文转述 Shen et al. 2023a、Wang et al. 2023、Samsi et al. 2023)。
    • 核心方案:提出一个检测器(detectors)库——紧凑、易构建的分类模型,为各类危害打标签,覆盖输出侧(偏见、社会规范、安全、AI 生成内容)、输入侧(提示注入、越狱)和输入+输出侧(不忠实)。
    • 威胁模型(防御视角):论文未建模攻击者,防御设定如下:
      • 防护对象:部署中的 LLM 及其输入输出,包括 prompt-injection-and-jailbreaks 类恶意输入。
      • 防御层:独立于 LLM 的外部分类器,可置于预训练数据过滤、提示词监控、响应监控或两者(附录 B,Figure 4)。
      • 假设:检测器参数量约 30M,推理成本相对 LLM 可忽略;训练数据分布与部署分布可能不匹配。
    • 落地背景:检测器已用于 IBM Granite 系列 LLM 的数据与模型工厂,并作为 moderation 部署在 IBM Research 实验性 prompt 实验室(超过 25,000 名内部用户),为进入 IBM watsonx 商用平台做测试。
  2. 有哪些相关研究?

    相关工作分四组:危害检测数据集、LLM 评测与护栏、不确定性与校准、内容审核与标注的社会科学研究。

    危害检测与数据集

    • ElSherief et al. 2021a(Latent Hatred)——隐性仇恨言论基准;Mei et al. 2022a——隐蔽不安全文本;Pachankis et al. 2018——心理学文献中 93 种污名的分类,本文 stigma 检测器的合成数据以其为基础。
    • Zou et al. 2023、Shen et al. 2023b、Hu et al. 2024——对抗后缀、野外越狱提示词与越狱检测,被引用为 prompt-injection-and-jailbreaks 检测器的相关攻击与检测工作。
    • Webster et al. 2018(性别歧义代词)、Forbes et al. 2020(社会规范)、Hu et al. 2023(RADAR,AI 生成文本检测)——分别对应 gender-ambiguity、social-norms、AI-generated-text 检测器。

    LLM 评测、护栏与治理

    • Kim et al. 2023、Chiang and Lee 2023、Zheng et al. 2023、Zhu et al. 2023——用 LLM 评测 LLM;论文转述 Shen et al. 2023a、Wang et al. 2023 指出此类评测存在偏见问题,Samsi et al. 2023 指出成本可能过高,作者据此将检测器定位为高效透明的替代。
    • Inan et al. 2023(Llama Guard)、Rebedea et al. 2023(NeMo Guardrails)、Dong et al. 2024——LLM 输出护栏工具,本文检测器被作者定位为同类用途。
    • 安全基准:Atta-Q(Kour et al. 2023)、SocialStigmaQA(Nagireddy et al. 2024a)及 BBQ、CrowS-Pairs、StereoSet、BOLD 等;作者称对 Atta-Q 和 SocialStigmaQA 两个内部基准用多个检测器量化了 LLM 有害生成的比例。

    不确定性、校准与数据增强

    • Lakshminarayanan et al. 2017(深度集成)、Rahaman et al. 2021——用集成降低过自信,本文在 implicit-hate 检测器上采用了 5 个随机初始化的模型平均。
    • Vovk et al. 1999、Romano et al. 2020、Angelopoulos et al. 2021——conformal 预测与 regularized adaptive prediction sets,本文用其为检测器提供覆盖率保证。
    • Gehman et al. 2020、Dhamala et al. 2021、Kour et al. 2023——用前缀续写或挑衅性问题诱导 LLM 生成,本文据此构建真实世界评测数据并开源了 ProvoQ 数据集。

    内容审核与标注的社会科学研究

    • Bowker and Star 1999——分类系统固有地抬高一种观点、压制另一种;Caplan 2018、Gillespie 2018——内容审核中语境、意图、语言和文化线索都影响判定。
    • Davani et al. 2023a/b、Sap et al. 2022、Welbl et al. 2021、Aroyo et al. 2023——标注者的身份与观念影响毒性标注、标注者之间常有分歧,本文第 4 节以此论证危害检测的固有挑战。

    定位:作者称本文的区别在于把检测器作为独立于 LLM 微调、贯穿 LLM 全生命周期(数据过滤、护栏、评测、治理)的紧凑分类器库来构建和部署,并从社会科学视角反思其固有局限。

  3. 论文如何解决这个问题?

    为每类危害收集或合成标注数据、微调 BERT 类小模型,再用 NAS、集成、conformal 预测和红队反馈提升效率与可靠性。

    整体思路:针对每个风险维度,先收集或生成带标签数据,再在 BERT 类模型上监督微调得到检测器(detectors),参数量约 30M,可独立部署在 LLM 生命周期的多个环节(Figure 1)。

    危害分类体系

    • 仇恨与歧视语言:explicit-hate(HAP)、implicit-hate、stigma、gender-ambiguity(代词-实体指代歧义)。
    • 语境与规范:social-norms、blocklisted-topics(特定用例的禁忌话题)。
    • 信息危害:unfaithfulness(输出不忠实于输入上下文)、AI-generated-text。
    • 欺骗与有害语言:covert-safety(隐蔽的身体伤害教唆)、prompt-injection-and-jailbreaks。

    数据:合成生成与真实世界评测

    • 合成数据:对缺乏标注数据的危害(如 stigma),用 LLM 以 in-context learning 方式基于心理学文献(Pachankis et al. 2018)的污名分类生成数据,再人工标注;附录 C 给出了完整提示词。生成文本需进一步处理和标注,作者称用了人工标注。
    • 分布不匹配问题:作者指出训练数据多来自人类文本,与 LLM 生成分布不匹配;为此用前缀续写或挑衅性问题诱导多个 LLM 生成回答,由人类或 AI 评审(如奖励模型)打标签作为 ground truth,与检测器标签比对发现失败模式。由此发现检测器对长输出和高度对齐、措辞迂回模型(如 Llama 2)的回答分类欠佳,并据此补充长回复训练样本。
    • 许可:作者称合成与收集的数据经过内部 clearance 流程确认可商用;挑衅性问题数据集 ProvoQ 已开源。

    效率:架构搜索

    • 用 Neural Architecture Search(Trivedi et al. 2023)得到 transformer 架构,作者称其达到 BERT Base 类模型 95% 的准确率,CPU 上快 7 倍、GPU 上快 2 倍。

    可靠性:校准与不确定性

    • 集成:5 个随机初始化训练、平均预测概率,缓解过自信。
    • Conformal 预测:采用 regularized adaptive prediction sets(Romano et al. 2020;Angelopoulos et al. 2021),在留出验证集上校准 conformal 分数,输出预测集合(如 {IMPLICIT-HATE}、{NOT-HATE} 或两者),对非单例集合弃权,以获得频率学覆盖率保证。
    • 负样本扩充:把 blocklisting 检测器的训练数据(20 NewsGroups,新闻标题风格、无显性内容)作为良性负样本加入训练,并计划引入漂移检测(Ackerman et al. 2021)识别 OOD 数据。

    人机回路与部署形态

    • 红队 UI:React+Flask 平台(Figure 2,附录 E 图 5),用户输入或选择曾诱导有害输出的提示词、配置模型生成回答,可编辑回答以消除有害内容、查看检测器逐句分数,并反馈误分类;反馈目标在界面上做混淆处理以减少偏见。作者计划用这些反馈通过 model editing 和 unlearning 改进检测器。
    • 部署模式(附录 B,Figure 4):单轮下可监控提示词、响应或两者——注入/越狱检测监控提示词,unfaithfulness 与 gender-ambiguity 需同时监控两者;多轮设置下利用历史对话作为上下文。
    • 用途:预训练数据过滤(explicit-hate 检测器用于过滤 IBM Granite 预训练数据)、输出护栏、RLHF 对齐模型、基准评测的 reference-free 指标、红队与基准构建、治理(行为达标、漂移追踪、外购模型风险评估)。
  4. 论文做了哪些实验?

    报告 implicit-hate 与 faithfulness 两个检测器的评测,以及 OOD 增强、集成与 conformal 预测的可靠性实验。

    实验设置

    • 被测检测器:implicit-hate 检测器(bert-base-uncased 微调,batch size 16、学习率 0.000001、50 epochs 按验证 F1 取最优)和 faithfulness 检测器(deberta-v3-large 微调,二分类 NLI 标签);其余检测器只描述未给评测数字。
    • 训练数据:implicit-hate 用 Latent Hatred、20 NewsGroups(作负样本)、Identity Groups、CivilComments 中 identity attack 值大于 0.5 的子集共 4 个数据集;faithfulness 用 MultiNLI、SNLI 加约 22.5k 条基于 HotPotQA 和 NewsQA 的 Mixtral 合成 MRQA 数据。
    • 变体:faithfulness 有三个变体——v1(仅 MNLI/SNLI)、v2(仅 Mixtral 合成数据)、v2 mix(合成数据+MNLI/SNLI)。
    • 基线:faithfulness 对比 BertScore、BARTScore、FactCC、ANLI(11B T5,作者注明其远大于 deberta)。
    • 指标与评审:implicit-hate 报 accuracy、balanced accuracy、precision、recall、F1;faithfulness 报 ROC-AUC。可靠性实验报 ECE、经验覆盖率与弃权率。论文未报告重复次数与统计显著性检验。

    主结果

    implicit-hate 检测器在四个测试集上的表现(据 Table 1):

    表格较宽,可左右滑动

    测试集accuracybalanced accuracyprecisionrecallF1
    implicit-hate0.7540.7470.6160.7240.665
    blocklisting0.6760.676---
    identity groups0.7520.7320.7290.8910.802
    civil comments0.9740.9741.00.9740.987

    faithfulness 检测器与基线的 ROC-AUC(据 Table 2,节选):

    表格较宽,可左右滑动

    数据集v1v2v2 mixBertScoreBARTScoreFactCCANLI (11B)
    FRANK8489.086.784.386.176.489.4
    SummEval69.481.478.377.273.575.980.5
    QAGS-X73.873.779.949.553.864.983.8
    DialFact84.176.289.264.265.655.377.7
    Avg(9 个数据集)77.674.882.271.472.266.781.5
    • 作者称 faithfulness 检测器相对同等规模的指标(BertScore、BARTScore、FactCC)有更好的 ROC-AUC;按 Table 2 的平均行,v2 mix(82.2)也高于 ANLI(81.5),但 ANLI 在 FRANK、MNBM、QAGS-X、BEGIN 等单个数据集上更高。
    • v2(仅用合成数据训练)在 MNBM(53.2)和 BEGIN(48.7)上明显低于 v1 与 v2 mix,作者未解释原因。
    • 作者称评测主要看 F1 以平衡假阳与假阴,但从终端用户角度假阴(有害文本被判为良性)在护栏模式下危害更大。

    OOD 数据增强与集成(附录 D)

    • 测了什么:implicit-hate 检测器在 20 NewsGroups 约 5000 条全负样本(OOD)数据上的表现。
    • 结果:原始检测器准确率 0.15(假阳率 0.85);把该数据加入微调后升至 0.95。不加入训练、改用阈值 0.7 时,原始模型 0.78、集成模型 0.90。
    • 作者解读:集成在未见过该数据的情况下接近见过数据的版本(0.90 对 0.95),但作者称更新后的检测器是否过拟合该数据尚待观察。

    校准与 conformal 预测(附录 D)

    • ECE:原始 implicit-hate 检测器 ECE 0.11,集成后 0.04,作者称集成改善了校准。
    • 覆盖率与弃权:验证集和测试集各约 4000 条(训练集约 12,000 条),目标覆盖率 90%。单模型经验覆盖率 90.4%、38% 样本被弃权;集成模型覆盖率 89.9%、弃权 40%。
    • 弃权后表现:单模型在 non-abstained 子集上 accuracy 0.85、F1 0.70(全集为 0.77、0.67);集成模型 non-abstained accuracy 0.83、F1 0.67(全集 0.77、0.65)。正文称 conformal 使 implicit-hate 检测 F1 提升 4%、集成版本提升 3%。

    其他消融与分析

    • 部署反馈:检测器在实验性 prompt 实验室部署后出现高假阳率(无害文本被标为有害),作者称多个检测器存在偏向 harm 标签的过自信(Section 2.4)。
    • 失败模式:红队评测发现检测器对长输出分类不准(训练集以短句为主),对高度对齐、措辞迂回模型(如 Llama 2)的规避性回答表现欠佳(Section 2.2)。
    • 治理应用:作者称对内部基准 Atta-Q 和 SocialStigmaQA 用多个检测器量化了 LLM 有害生成比例,未报告具体数字(Section 3.2)。
  5. 有什么可以进一步探索的点?

    作者从社会科学角度指出危害定义与标注的固有挑战,并列出多轮检测、越狱检测系统化、长文本归因等方向。

    作者指出的局限与后续方向

    • 危害定义依赖语境(Section 4,Challenge 1):准确判定需理解内容创作的语境、意图与社会条件,检测器难以获得这些信息。
    • 数据标注本质上是主观的(Section 4,Challenge 2):标注者的文化背景与观念影响标签,标注者之间常有分歧;作者建议招募多元背景标注者并记录分歧而非抹平(Recommendation 2)。
    • 再生产与放大风险(Section 4.2):作者认为若检测器进入商用平台或数据集开源,有害的刻板印象与分类可能被规模化复制;对污名定义不同的社会群体,检测器表现可能更差。
    • stigma 检测器的特殊困难(Section 4.1):污名的词汇表现因社群和语境而异,甚至显性表达的缺失也可能暗示污名,作者认为缺少文化语境时难以可靠训练分类器;建议重新界定概念、面向具体社群开发 situated 检测器(Recommendation 1)。
    • 多轮检测(Section 5):现有检测器多为单轮设定,作者称当前工作正基于人机对话准则构建多轮有害对话检测器(Miehling et al. 2024)。
    • 越狱检测系统化与归因(Section 5):作者称目前缺乏统一的越狱攻击检测策略,正基于红队流水线扩展检测;长输入下解释方法(文本跨度归因)的计算成本与可解释性列为未来工作。

    实验覆盖范围

    • 报告定量结果的检测器只有 implicit-hate 和 faithfulness 两个(Table 1、Table 2);其余检测器(explicit-hate、stigma、covert-safety、prompt-injection-and-jailbreaks 等)只有定性描述。
    • implicit-hate 评测覆盖 4 个测试集;faithfulness 评测覆盖 9 个数据集的 ROC-AUC,基线为 BertScore、BARTScore、FactCC、ANLI(11B)。
    • conformal 实验的验证集与测试集各约 4000 条,OOD 实验测试集约 5000 条(附录 D)。
    • 论文未报告实验重复次数、统计显著性检验,也未报告红队 UI 用户研究的定量结果(作者称留待未来用户研究)。
    • prompt-injection-and-jailbreaks 检测器未给出任何评测数字;多轮检测、漂移检测、model editing/unlearning 改进均为计划或进行中工作(Section 2.3、2.4、5)。
  6. 总结一下论文的主要内容

    IBM Research 的检测器库实践:小型分类器检测 LLM 危害,兼作护栏与治理工具,并反思其固有局限。

    IBM Research 介绍了其构建和部署 LLM 危害检测器库的持续工作,定位是防御与治理工具而非新算法。

    • 问题:作者称由于训练成本、API 访问、数据可用性等限制,无法总在部署的 LLM 上直接施加安全约束;且微调会损害 LLM 安全机制(引 Qi et al. 2024),因此需要独立于 LLM 的检测手段。
    • 方法:针对显性/隐性仇恨、污名、社会规范、不忠实、AI 生成文本、隐蔽不安全、提示注入与越狱等危害,分别收集或合成标注数据,微调 BERT 类小模型(约 30M 参数);用 NAS 架构(作者称保持 BERT Base 95% 准确率、CPU 快 7 倍)、合成数据增强、5 模型集成与 conformal 预测提升效率与可靠性,并配套红队 UI 收集人工反馈。
    • 结果:implicit-hate 检测器在四个测试集上 F1 为 0.665–0.987(Table 1);faithfulness 检测器 v2 mix 在 9 个数据集上平均 ROC-AUC 82.2,高于 BertScore(71.4)、BARTScore(72.2)、FactCC(66.7)和 ANLI 11B(81.5)(Table 2)。
    • 可靠性证据:加入 OOD 负样本后 implicit-hate 在 20 NewsGroups 上准确率从 0.15 升至 0.95;集成使 ECE 从 0.11 降至 0.04;conformal 预测达 90.4% 经验覆盖率,弃权 38% 后准确率从 0.77 升至 0.85(附录 D)。
    • 落地:检测器用于过滤 IBM Granite 预训练数据,并部署于超过 25,000 名用户的内部 prompt 实验室。
    • 作者的结论:检测器是高效透明的护栏与治理手段,但危害定义依赖语境、标注主观,部署可能再生产并放大有害分类;作者认为承认危害定义的多元性是避免风险规模化的第一步,并列出多轮检测、越狱检测系统化、长文本归因等未来方向。

相关论文

共同使用 SNLI
共同使用 Atta-Q
再看 3 篇
共同使用 Atta-Q
共同使用 HotPotQA
阅读原文arxiv.org