跳到正文
原文

基于不确定性的 LLM 弃答可提升安全并减少幻觉

Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations

arXiv· arXiv:2404.10960· Christian Tomani, Kamalika Chaudhuri, Ivan Evtimov, Daniel Cremers, Mark IbrahimMeta; Technical University of Munich本站收录· 23 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者研究 LLM 按不确定性拒答:统计不确定性提升正确率与安全性,InDU 在 SelfAware 上可检出约 50% 不可答问题。

威胁模型非攻击者视角:模型面对可答问题答错、不可答问题幻觉、对抗性恶意提示(AutoDAN、AttaQ)产生不安全回复三种失效场景;防御在输出层按不确定性阈值拒答,需访问模型 log probabilities,作者称几乎无额外计算开销。

问题
LLM 在答错、对不可答问题幻觉、被诱导给出不安全回复时都应拒答,作者探讨能否借鉴分类中的不确定性拒答机制提升问答可靠性。
方法
比较三类统计不确定性(negative log-likelihood、predictive entropy、semantic entropy)与基于 hedge words 计数的 In-Dialogue Uncertainty(InDU),在 Base 与 RLHF 模型上按阈值拒答,用 AUROC 与 ARC 评估。
实验与结果
统计不确定性区分对错(TriviaQA RLHF AUROC 0.85),InDU 区分可答/不可答(AUROC 0.75,检出约 50% 不可答、误拒 10%);RLHF 模型拒答 10% 最不确定样本后 AutoDAN 安全率从 92.5% 升至 99.4%。
局限与可以继续做的
论文未专门讨论局限。实验只用 Llama2 系列与 Vicuna;安全判定主用关键词法;fuzzy exact match 与安全指标的人工验证各基于 200 个样本与 AutoDAN 一个数据集。
实验设置Llama2-7B (Base)、Llama2-13B (Base) 等 · TriviaQA、SciQA 等 · AUROC、ARC/AUARC 等
被测模型
Llama2-7B (Base)Llama2-13B (Base)Llama2-70B (Base)Llama2-7B-Chat (RLHF)Llama2-13B-Chat (RLHF)Llama2-70B-Chat (RLHF)Vicuna
基准
TriviaQASciQACoQAStrategyQAGSM8KSelfAwareAutoDANAttaQ
指标
AUROCARC/AUARCsafe response rateaccuracy
AI 导读研究显示,LLM 在问答中于不确定时选择不回答,可提升正确性、减少幻觉并增强安全性。研究比较统计不确定性指标与名为 In-Dialogue Uncertainty(InDU)的口头不确定性度量,并在带与不带 RLHF 的模型上测试。仅牺牲少量高不确定性样本,正确率提升 2% 至 8%,通过识别不可回答问题避免 50% 幻觉,安全性提升 70% 至 99%,且几乎不增加计算开销。

研究显示,LLM 在问答中于不确定时选择不回答,可提升正确性、减少幻觉并增强安全性。研究比较统计不确定性指标与名为 In-Dialogue Uncertainty(InDU)的口头不确定性度量,并在带与不带 RLHF 的模型上测试。仅牺牲少量高不确定性样本,正确率提升 2% 至 8%,通过识别不可回答问题避免 50% 幻觉,安全性提升 70% 至 99%,且几乎不增加计算开销。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者研究 LLM 能否像分类器一样按不确定性拒答,以同时改善答错、幻觉和不安全三类可靠性问题。

    核心问题:LLM 在答错、不知答案(幻觉)和回复不安全时都不会主动拒答,能否借鉴分类中"不确定就拒答"的做法提升问答可靠性。

    • 问题场景:作者指出 LLM 实际部署的主要障碍是缺乏可靠性,体现在三种情况——简单问题答错、对不可答问题编造答案(hallucination)、被合适提示诱导给出有害回复。
    • 现有方法的不足:作者称已有的不确定性表达方法(提示或微调模型自我报告不确定性)需要额外计算、对分布偏移敏感,且显式询问不确定性不符合人类对话习惯;用外部工具验证则需调用 3 个外部模型。
    • 核心观察:LLM 除 token 概率分布带来的统计不确定性外,还会在文本中使用 hedge words(如"perhaps")表达不确定,作者称之为 In-Dialogue Uncertainty(InDU),并认为 RLHF 可能强化这种类人表达。
    • 论文方案:在问答场景下系统比较统计不确定性与 InDU 在 Base 和 RLHF 模型上指导拒答的效果,覆盖正确性、幻觉、安全三个场景。
    • 威胁模型(防御视角):
      • 受害系统:Llama2 系列(Base 与 RLHF,7B/13B/70B)及 Vicuna 问答模型。
      • 失效来源:普通问答错误、SelfAware 不可答问题、AutoDAN 与 AttaQ 中的对抗性恶意提示。
      • 防御位置:输出层按不确定性阈值拒答;需要访问模型 log probabilities(故只用开源模型)。
      • 代价主张:作者称几乎无额外计算开销,论文未报告具体耗时。
  2. 有哪些相关研究?

    相关工作分四组:NLG 概率不确定性、让模型表达不确定性、不可答问题研究、RLHF 安全与对抗攻击。

    NLG 的概率不确定性估计

    • Jiang et al. [2021]、Malinin and Gales [2021]——基于 token 条件概率计算 predictive entropy,衡量词汇层面的置信度。
    • Kuhn et al. [2023]——提出 semantic entropy,用语义(meaning cluster)的似然而非序列似然估计不确定性;本文沿用其采样与聚类方法。

    让模型表达或校准不确定性

    • Kadavath et al. [2022]——采样候选答案再喂回模型自评不确定性;Lin et al. [2022] 微调模型输出离散不确定性标签;Xiong et al. [2023] 提示模型输出 0–100 的整数;Tian et al. [2023] 用专门提示让模型用预定义词表表达置信度。
    • 论文指出这类方法需要额外计算、对分布偏移敏感(引 Kuhn et al. [2023]),且显式询问不确定性不适合聊天场景;Srinivasan et al. [2024] 用外部工具验证不确定回复,论文指出其局限是要用 3 个外部模型。

    不可答问题与知识边界

    • Slobodkin et al. [2023]——发现不可答性直接编码在 embeddings 中;Yin et al.——构建含五类不可答问题及对应可答问题的 SelfAware 数据集;Amayuelas et al. [2023]——构建新不可答问题数据集并设计语义评估方法。
    • 论文指出这些研究没有用不确定性度量来区分可答与不可答问题,而这一策略在其他机器学习领域已被证明有效。

    RLHF 安全与对抗攻击

    • Touvron et al. [2023]、Bai et al. [2022]——用 RLHF 微调引入安全性;Ganguli et al. [2022]、Kour et al. [2023]、Zhu et al. [2023]——论文称 RLHF 建立的护栏可被专门构造的对抗提示绕过。
    • Inan et al. [2023]——用单独模型(Llama Guard)识别有害提示与回复;本文则只通过检视模型自身输出的不确定性来预测不安全回复。

    基线与判定工具:本文不对比其他拒答方法;安全判定用关键词法(Zhu et al. [2023]、Zou et al. [2023])与 Llama Guard,语义聚类用 Deberta-large。作者将本文定位为:把分类中基于不确定性的拒答引入 LLM 问答,并区分两类不确定性各自适用的场景。

  3. 论文如何解决这个问题?

    比较三种统计不确定性度量与 hedge words 计数(InDU),按阈值拒答,用 AUROC 和 ARC 评估三场景。

    整体思路:从模型输出中直接提取不确定性(无需额外提示或微调),按阈值对最不确定的样本拒答,分别在正确性、幻觉、安全三个场景验证哪类不确定性有效。方法核心是统计不确定性度量与 In-Dialogue Uncertainty(InDU) 的对比。

    统计不确定性度量

    • Negative Log-Likelihood(单次推理):NLL(x) = −∑l=1L log p(sl | s<l, x),即回复序列各 token 条件概率的负对数似然之和。
    • Predictive Entropy(多次推理):从单个模型采样 N 条序列,PE(x) ≈ −1/N∑i=1N log p(si | x);作者说明不同于 Malinin and Gales 用模型集成,本文沿用 Kuhn et al. [2023] 的单模型采样。
    • Semantic Entropy:按 Kuhn et al. [2023],用 Deberta-large 做双向蕴含把回复聚成 meaning clusters,对簇似然求熵;簇数也可解释为回复的语义多样性。

    In-Dialogue Uncertainty(InDU)

    • 定义:直接数回复中 hedge words 的数量,数量越多表示 InDU 越高;hedge word 词表沿用 Islam et al.。
    • 动机:作者想检验 LLM 是否自发用 hedging 暗示不确定性,以及这种口语化信号能否补充统计度量;方法本身简单、可解释。

    不确定性质量与拒答评估

    • AUROC:衡量不确定性对"正确 vs 错误"(幻觉场景为可答 vs 不可答,安全场景为安全 vs 不安全)的排序能力;作者引 Kuhn et al. [2023] 说明 AUROC 比 Brier score 更适合自由形式问答。
    • ARC / AUARC:Accuracy-Rejection Curve 展示按阈值拒答低置信回复后剩余样本的准确率变化,曲线下面积为 AUARC;幻觉与安全场景用同样方式计算。

    三个场景的设定

    • 正确性:闭卷(TriviaQA、SciQA)、开卷对话式(CoQA)、隐式推理(StrategyQA)、数学(GSM8K);用 fuzzy exact match(参考答案是否包含在回复中)判定对错,附录 G 用人工评估验证其有效性。
    • 幻觉:SelfAware 数据集,含五类不可答问题及语义最接近的可答问题;以可答/不可答作为 ground truth 计算 AUROC。
    • 安全:AutoDAN 与 AttaQ 两个对抗数据集;用关键词法(主文)和 Llama Guard(附录)判定回复是否安全,指标为 safe response rate(安全回复占比)。
  4. 论文做了哪些实验?

    在 Llama2 Base/RLHF 与 Vicuna 上测三类不确定性:统计度量管正确性与安全,InDU 管不可答问题。

    实验设置

    • 被测模型:Llama2 的 Base(pretrained)与 RLHF finetuned 版本,参数规模 7B、13B、70B;安全实验另加 Vicuna(基于 Llama2-7B 的监督指令微调,用约 125K ShareGPT 对话)。选 Llama2 是因为开源且可直接访问 log probabilities。
    • 数据集:正确性用 TriviaQA、SciQA、CoQA、StrategyQA、GSM8K;幻觉用 SelfAware;安全用 AutoDAN、AttaQ。论文未报告各数据集使用的样本量。
    • 判定方式:正确性用 fuzzy exact match;安全用关键词法(主文结果)与 Llama Guard(附录 Table 6);语义聚类用 Deberta-large。
    • 指标:AUROC(不确定性排序质量)、ARC/AUARC(拒答收益)、safe response rate。
    • 人工验证:fuzzy exact match 在 TriviaQA、SciQA 各 200 个样本上与人工对比(附录 G);安全指标在 AutoDAN 上与 3 名人工评审的多数票对比(附录 H)。
    • 重复次数:论文未报告。

    主结果

    Table 1(正确性,AUROC,Llama2-70b 各数据集)与 Table 2、3 的关键数字:

    表格较宽,可左右滑动

    场景数据集模型最佳度量AUROCInDU
    正确性TriviaQARLHFSemantic Entropy0.850.51
    正确性CoQABaseSemantic Entropy0.890.60
    正确性GSM8KRLHFNeg Log-Likelihood0.600.54
    幻觉SelfAwareRLHFInDU0.75(InDU)—
    安全AutoDANRLHFNeg Log-Likelihood0.990.41
    安全AttaQRLHFNeg Log-Likelihood0.780.51

    (据 Table 1、2、3;Table 1 中 RLHF 模型 semantic entropy 平均 AUROC 0.69,InDU 平均 0.53)

    • 作者称统计不确定性能区分对错,RLHF 微调虽提高置信度、降低回复多样性(Figure 2),但保留了不确定性区分能力;GSM8K 上所有度量都接近随机。
    • 作者称 InDU 在幻觉场景优于统计度量,且 RLHF 增强了 InDU 对不可答问题的感知(Base 0.69 → RLHF 0.75,Table 2)。
    • 作者称只有 RLHF 模型的统计不确定性能识别不安全回复,Base 与指令微调模型大多接近随机(Table 3)。

    拒答带来的实际收益(ARC/ROC)

    • 正确性:TriviaQA 上按 semantic entropy 拒答 5% 最不确定样本,RLHF 模型准确率从 84.4% 升至 86.0%;拒答 25% 时升至 92.6%(提升 8.2%,Figure 3a)。附录 Figure 4:TriviaQA 上 Base 与 RLHF 的 AUARC 均为 0.94,SciQA 上 RLHF 0.83 高于 Base 0.77。
    • 幻觉:InDU 可过滤近 50% 的不可答问题,代价是误拒 10% 的可答问题(Figure 3b、附录 Figure 9)。
    • 安全:RLHF 模型按 negative log-likelihood 拒答 10% 最不确定样本,AttaQ 的 safe response rate 从 92.1% 升至 95.1%,AutoDAN 从 92.5% 升至 99.4%(Figure 3c)。ROC 上 AutoDAN 可过滤 99% 不安全回复、仅 10% 误拒;AttaQ 过滤 70%、误拒 30%(附录 Figure 10)。附录 Figure 5 的 AUARC:AttaQ 0.97、AutoDAN 0.99。

    安全场景的对照与指标验证

    • 三种微调方式对比(Llama2-7B):Base 的 safe response rate 为 7.4%(AttaQ)/ 9.0%(AutoDAN),Vicuna 为 54.1% / 11.5%,RLHF 为 92.1% / 92.5%;作者称指令微调与 RLHF 都能提升安全性。
    • Llama Guard 判定(附录 Table 6,AttaQ):RLHF 的 Neg Log-Likelihood AUROC 0.98、InDU(表中作 VIDU)0.92,高于 Base 与指令微调。
    • 指标人工验证(附录 H,AutoDAN):人工评审 safe response rate 92.5%,与关键词法一致;Llama Guard 判为 100%,作者报告 pairwise t-test p = 8.35e−10,故主文采用关键词法。

    其他消融与分析

    • 答错 vs 不可答的区分(附录 E,Table 4):统计度量接近随机(RLHF 0.44–0.47),InDU 仍达 0.66(Base)/ 0.72(RLHF)。
    • hedge words 频次(附录 F):RLHF 模型对可答问题平均 1.67 个 hedge words(标准差 2.3),不可答问题 4.79 个(标准差 4.45)。
    • fuzzy exact match 验证(附录 G,各 200 样本):TriviaQA 人工 87.5%、fuzzy 85.0%、exact match 14.5%、F1 27.8%;SciQA 人工 77.0%、fuzzy 65.0%、exact match 2.5%、F1 7.0%。
    • 负面结果:GSM8K 上所有不确定性度量(含 InDU)检测对错接近随机(Table 1);AutoDAN 上 Base 的 semantic entropy AUROC 仅 0.24(Table 3);作者未给出解释。
  5. 有什么可以进一步探索的点?

    论文未专门讨论局限;实验限于 Llama2 系列、关键词法安全判定和小样本人工验证。

    作者指出的局限与后续方向

    论文未专门讨论局限(无 Limitations 小节,Discussion 与附录中也没有明说"这是局限/未来可做"的表述)。

    实验覆盖范围

    • 被测模型:Llama2 Base 与 RLHF(7B/13B/70B)及 Vicuna(Llama2-7B 指令微调),共 7 个配置;选择 Llama2 是因为需要直接访问 log probabilities(第 4.1 节)。
    • 数据集:正确性 5 个、幻觉 1 个(SelfAware)、安全 2 个(AutoDAN、AttaQ);论文未报告各数据集实际使用的样本量与重复次数。
    • 安全判定:主文结果基于关键词法,Llama Guard 结果只在附录 Table 6(AttaQ);两种指标的人工验证只在 AutoDAN 一个数据集上做,每条回复 3 名人工评审(附录 H)。
    • fuzzy exact match 验证:在 TriviaQA、SciQA 各 200 个样本上与人工评估对比(附录 G)。
    • 不确定性度量:统计度量三种(NLL、predictive entropy、semantic entropy)加 InDU;semantic entropy 依赖 Deberta-large 做蕴含聚类;论文未报告采样数 N 等具体超参数。
  6. 总结一下论文的主要内容

    作者系统比较两类不确定性指导 LLM 拒答:统计度量改善正确性与安全,InDU 识别不可答问题。

    一篇关于 LLM 拒答(abstention)的实证研究,动机是模型在答错、幻觉、不安全三种情况下都应像人一样拒绝回答。

    • 问题:LLM 缺乏可靠性——答错简单问题、对不可答问题编造答案、被对抗提示诱导输出有害内容;作者借鉴分类中 Chow [1970] 的"不确定就拒答"思想。
    • 方法:比较三种统计不确定性(negative log-likelihood、predictive entropy、semantic entropy)与基于 hedge words 计数的 In-Dialogue Uncertainty(InDU),在 Llama2 Base/RLHF(7B–70B)和 Vicuna 上按阈值拒答,用 AUROC 与 ARC 评估。
    • 正确性:统计不确定性可区分对错(TriviaQA RLHF semantic entropy AUROC 0.85,Table 1);TriviaQA 拒答 25% 最不确定样本,准确率从 84.4% 升至 92.6%;GSM8K 上所有度量接近随机。
    • 幻觉:InDU 区分可答/不可答优于统计度量(RLHF AUROC 0.75,Table 2),可过滤近 50% 不可答问题、误拒 10% 可答问题。
    • 安全:仅 RLHF 模型的统计不确定性有效(AutoDAN Neg Log-Likelihood AUROC 0.99,Table 3);拒答 10% 最不确定样本后 AutoDAN safe response rate 从 92.5% 升至 99.4%,AttaQ 从 92.1% 升至 95.1%。
    • 作者结论:选对不确定性类型与模型形态的组合就能改善拒答——统计不确定性适用于正确性与安全,InDU 适用于不可答问题;作者称 RLHF 虽加剧 miscalibration,但保留了不确定性感知,且几乎无额外计算开销。

相关论文

共同使用 AutoDAN
再看 3 篇
共同使用 AutoDAN
阅读原文arxiv.org