不确定性是脆弱的：操纵大语言模型中的不确定性

1. 01这篇论文试图解决什么问题？

   作者研究 LLM 不确定性估计在后门攻击下的脆弱性：能否只操纵不确定性而不改变最终答案。

   核心问题：攻击者能否通过后门有目的地操纵 LLM 的不确定性，而不改变其最终输出？

   • 问题场景：LLM 被用于代码生成、医疗诊断、决策等高风险领域，不确定性估计常被当作判断输出是否可信的依据——不确定性低则更可信，高则不宜用于决策（引言）。
   • 现有方法的不足：作者称，以往研究大多致力于提升不确定性估计的准确性；已有攻击（梯度攻击、越狱、后门等）主要操纵 LLM 的输出内容，而 LLM 是否信任自身评估这一脆弱性基本未被探索。
   • 核心观察：在选择题任务上，不确定性与模型正确性有较强相关性；作者假设可以用预设触发器让模型的答案分布趋近攻击者预设的分布，同时保持 top-1 预测不变，从而让后门难以被察觉。
   • 论文提出：一种针对 LLM 不确定性的后门攻击方法，用 KL 散度损失把含触发器样本的输出分布拉向均匀分布，并实验检验其在不同触发器、提示词和领域间的泛化。
   • 威胁模型（Section 3.1）：
     • 攻击者目标：让被认为校准良好的 LLM 在提示词含触发器时变得完全误校准——各选项概率区域平均，但原输出仍相对最大；干净提示词的输出不受影响。
     • 攻击者知识：可访问干净的预训练 LLM，但不知道预训练细节（训练数据、训练超参数）。
     • 攻击者能力：可从互联网获取数据集构造投毒数据集，并用自己的有毒数据集进行微调。
     • 受害系统：做选择题的指令微调 LLM。

   收起这一问

2. 02有哪些相关研究？

   相关工作分三组：LLM 不确定性量化、LLM 校准、LLM 后门攻击；作者称本文是首个针对 LLM 置信度的后门攻击。

   LLM 不确定性量化

   • Kuhn et al. [34] 提出 semantic entropy，针对自由文本生成任务量化不确定性，考虑共享语义带来的语言不变性。
   • Chen and Mueller [35] 用 LLM 评估自己的输出以量化不确定性。
   • 基于统计检验的方法：Conformal Prediction（CP）[36] 被用于量化 LLM 选择题的不确定性 [37, 38]；本文的 CP 不确定性遵循 Ye et al. [38] 的基准。

   LLM 校准

   • Kadavath et al. [12] 指出，在格式合适时 LLM 在多种选择题和真假判断题上校准良好。
   • Zheng et al. [42] 得出相反结论，认为 LLM 存在"selection bias"，偏好选择特定选项 ID（如"Option A"）。
   • Kapoor et al. [43] 指出对变长回复序列定义 LLM 校准往往困难。

   LLM 后门攻击

   • 后门攻击在视觉 [45, 49]、音频 [50]、视频 [51]、自然语言生成 [52, 53] 等任务中均有出现；近期多项工作称后门攻击对 LLM 安全构成威胁 [25, 46, 54, 55]。
   • 作者描述的最直接普遍的做法是用有毒数据集微调 LLM：用预设触发器修改部分训练样本，并把被修改样本的标签替换为攻击者目标标签。

   基线与防御对照

   • 本文是攻击论文，无攻击基线；防御评测使用三种方法：在干净数据上继续微调、ONION [70]（以 QWen2-1.5B 为骨干防御模型，移除导致困惑度上升的 token）、以及剪枝 20% 接近零的参数（Section 5.2）。

   本文定位：作者称，据其所知，本文是首个针对 LLM 置信度（confidence）的后门攻击工作（Section 2.3）；与既有改变输出内容的后门不同，本文只操纵不确定性、保持原答案不变。

   收起这一问

3. 03论文如何解决这个问题？

   用三类触发器构造半投毒数据集，以 KL 损失把含触发器样本的答案分布拉向均匀分布、交叉熵保持原答案，LoRA 微调植入后门。

   整体思路：把不确定性操纵建模为后门攻击——在微调中同时优化原任务和投毒任务，使模型仅在输入含触发器时输出趋近均匀的答案分布，而 top-1 预测不变。方法无单独命名，论文称 "backdoor attack against LLMs' uncertainty"。

   问题设定与形式化

   • 设 f : X → Y 为做选择题的 LLM，目标投毒不确定性分布为 Up（均匀分布）；投毒数据集 D 中 50% 句子带触发器，其余为干净样本，分为投毒部分 Dp 和干净部分 Dc。
   • 优化目标为 L = min λ L_b(f(X_p), U_p) + L_c(p_i, y_i)，其中 Lb 是后门目标、Lc 是原微调目标，λ 为超参数（论文未给出 λ 的具体取值）。
   • 后门损失用 KL 散度 L_b(f(X_p), U_p) = D_KL(U_p | P(f(X_p)))，使含触发器样本的输出分布接近均匀分布；Lc 为交叉熵损失，保证最终输出不变。

   三类后门触发器（Section 3.2）

   • 文本触发器：在选择题文本之后、"Answer:" 之前插入一个人工构造的短字符串。
   • 句法触发器：不改变语义地改写提示词，例如把 "Answer:" 换成 "The answer is"。
   • 风格触发器：用 GPT-4 把问题前的提示词改写为莎士比亚风格（附录 11.3 给出示例）。

   投毒与微调流程（Figure 3、Figure 4）

   1. 先让 LLM 对整个数据集生成答案分布，得到答案列表，作为微调时的 ground truth，以保证干净数据上答案不变。
   2. 将投毒集与干净集一起微调：含触发器的样本计算其答案分布与均匀分布的 KL 损失，干净样本计算交叉熵损失。
   3. 测试时，含触发器的问题输出趋近均匀的分布（不确定性升高），但答案选项不变。

   • 实现细节：用 LoRA [68] 微调四个模型；附录 11.2 说明实际代码中用 KL 散度等价替代交叉熵损失，并提高投毒集中正确答案对应的熵值。

   成功判定（Section 4.2）

   • 熵不确定性：U = H(R|x) = −∑_r p(r|x)log(p(r|x))；若含后门样本的不确定性高于同一问题无后门时的不确定性，记为攻击成功，ASR 为成功样本占比。
   • Conformal Prediction：遵循 Ye et al. [38] 的基准，用预测集合大小表示不确定性；受攻击模型的集合大小大于原模型记为成功。
   • 最终 ASR 取两种不确定性度量下 ASR 的较低值。
   • 良性准确率：分别报告受攻击模型在干净数据（without backdoor）和含触发器数据（with backdoor）上的准确率，理想情况下两者接近。

   收起这一问

4. 04论文做了哪些实验？

   四个模型上三种触发器 ASR 93.6%–100%；CoT 提示和生物医学域上 Mistral-7B 分别降到 76.8% 和 57.2%；三种防御后 ASR 仍 76.8%–100%。

   实验设置

   • 被测模型：QWen2-7B、LLaMa3-8B、Mistral-7B、Yi-34B 四个指令微调模型，均用 LoRA 微调植入后门（Section 4.2）。
   • 数据集：采用 Ye et al. [38] 同版本的五个数据集——MMLU、CosmosQA、HellaSwag、HaluDial、HaluSum 与 CNN/Daily Mail；每题六个选项（四个常规选项加 "I don't know" 和 "none of the above"）。前四个数据集各采样 500 条（共 2000 条）用于微调攻击，最后一个数据集作测试集检验跨分布泛化；另用一个 USMLE 来源的生物医学选择题数据集 [63] 做域外测试（Section 4.1）。
   • 指标：ASR（取熵不确定性与 CP 集合大小两种判定下的较低值）、良性准确率（with/without backdoor）。
   • 训练设置：2000 个实例、2 个 epoch（Figure 7 图注）；论文未报告重复次数和方差。
   • 辅助模型：GPT-4 用于生成风格触发器；ONION 防御以 QWen2-1.5B 为骨干防御模型。

   主结果

   据 Table 2（各模型在三种触发器下的准确率与 ASR；测试集为通用测试集）：

   表格较宽，可左右滑动

   模型	触发器	Without Backdoor Acc	With Backdoor Acc	ASR
   LLaMa3-8B	Text	62.6%	64.2%	100%
   LLaMa3-8B	Syntax	61.0%	59.8%	100%
   LLaMa3-8B	Style	62.4%	64.0%	100%
   QWen2-7B	Text	60%	53.2%	100%
   QWen2-7B	Syntax	60.2%	61%	100%
   QWen2-7B	Style	59.2%	61%	100%
   Mistral-7B	Text	74.6%	63.4%	100%
   Yi-34B	Style	74.4%	72.4%	93.6%

   （Mistral-7B 的 Syntax/Style 与 Yi-34B 的 Text/Syntax 行省略：Mistral-7B 两种触发器 ASR 均为 100%，Yi-34B 分别为 97.2% 和 96.4%，见 Table 2。）

   • 作者称，攻击仅用 2000 条通用选择题就能有效改变不确定性模式，在多数设置下取得 100% ASR。
   • 作者称，对比攻击前后干净样本的准确率可确认方法只作用于含后门的样本、不影响干净样本。
   • Figure 1 展示了 Qwen2-7B、Mistral-7B、Llama3-8B、Yi-34B 攻击前后的熵不确定性与 CP 不确定性变化（转换文本中该图无数值标注）。

   泛化实验：换提示词与跨领域（Figure 8、Table 2）

   • 测了什么：把提示词换成 zero-shot chain-of-thought 风格（沿用相同文本触发器），以及在生物医学选择题数据集（USMLE 来源，四个选项）上测试。
   • 结果：CoT 提示下 Mistral-7B 的 ASR 为 76.8%，其余三个模型保持 100%；生物医学域上 Mistral-7B 的 ASR 为 57.2%，QWen2-7B 为 98.7%，LLaMa3-8B 为 100%，Yi-34B 为 93.5%（Table 2）。
   • 作者的解读：作者称攻击在不同提示词和不同领域（通用到生物医学、六选项到四选项）间表现出泛化能力；同时指出 Mistral 在更换提示风格时表现出一定程度的韧性。

   防御评测（Table 1）

   • 测了什么：在 Mistral-7B 上检验三种防御对文本后门攻击的效果：用另外 2000 条干净数据继续微调、ONION（QWen2-1.5B 为骨干，移除导致困惑度上升的 token）、推理时剪枝 20% 接近零的参数。
   • 结果：受攻击模型 ASR 100%；继续微调后 100%，ONION 后 98%，剪枝后 76.8%。
   • 作者的解读：作者称这些防御只能在有限程度上抵御该后门攻击，攻击能有效绕过现有防御。

   其他消融与分析

   • 训练动态（Figure 7）：文本触发器下 QWen-7B 的 ASR 随训练步数上升，约在 1000 步（半个 epoch）处趋于稳定。
   • 良性准确率例外：QWen2-7B 文本触发器下 with-backdoor 准确率为 53.2%，低于 without-backdoor 的 60%；生物医学域上 QWen2-7B 为 49%（without 63.8%）（Table 2）；论文未对这些下降给出解释。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出攻击难以扩展到复杂生成式任务（不确定性定义与检测两方面受限）；实验仅覆盖选择题、四个模型和三种防御。

   作者指出的局限与后续方向

   • 复杂生成任务上的不确定性定义（Section 8 Limitation）：作者指出，在自然语言生成等任务中，不确定性可能表现为不同输入下结果的变异性或歧义，但它并不完全是负面因素（也代表创造力），"精确的不确定性度量仍是未解决的问题"。
   • 复杂生成任务上的不确定性检测（Section 8 Limitation）：作者指出，现有检测方法依赖统计分析、模型解释或对抗样本测试，在处理复杂文本生成问题时可能受限。
   • 对防御的呼吁（Section 7 Conclusion）：作者称现有防御效力有限，"迫切需要更鲁棒的措施"来保护 LLM 抵御此类对抗威胁。
   • 评测场景的建议（Section 6.1 Discussion）：作者认为，为获得鲁棒可靠的应用，LLM 的部署和评测应转向比受限选择题更贴近真实使用的场景。

   实验覆盖范围

   • 被测模型为 QWen2-7B、LLaMa3-8B、Mistral-7B、Yi-34B 共四个，均为指令微调模型，用 LoRA 植入后门（Section 4.2）。
   • 任务仅覆盖选择题设置：五个通用领域数据集（各采样 500 条用于攻击）加一个 USMLE 来源的生物医学选择题数据集（Section 4.1）。
   • 触发器覆盖文本、句法、风格三类；泛化实验覆盖 CoT 提示和生物医学域两个条件（Table 2）。
   • 防御评测仅在 Mistral-7B 上针对文本触发器进行，包括继续微调、ONION、剪枝三种（Table 1）。
   • 论文未报告实验重复次数、置信区间或统计显著性检验；超参数 λ 的取值未给出。

   收起这一问

6. 06总结一下论文的主要内容

   针对 LLM 不确定性的后门攻击：触发器使答案分布趋近均匀而 top-1 不变，四模型 ASR 93.6%–100%，三种防御效果有限。

   一篇攻击类论文，研究 LLM 不确定性估计在后门攻击下的脆弱性。

   • 问题：不确定性估计常被用作 LLM 输出可信度的依据，但作者认为其在对抗攻击下是否脆弱尚未被探索；既有攻击多针对输出内容，而非模型对自身答案的确信程度。
   • 方法：构造一半含触发器、一半干净的投毒数据集（文本、句法、风格三类触发器），用 KL 散度损失把含触发器样本的答案分布拉向均匀分布，同时用交叉熵损失保持原答案不变，经 LoRA 微调把后门植入模型；攻击仅用 2000 条通用选择题。
   • 主结果：在 QWen2-7B、LLaMa3-8B、Mistral-7B、Yi-34B 上，三种触发策略的 ASR 为 93.6%–100%，多数设置为 100%（Table 2）；含触发器时答案分布趋近均匀但 top-1 预测不变。
   • 泛化：换用 CoT 提示后 Mistral-7B 的 ASR 为 76.8%、其余三模型仍为 100%；在生物医学选择题数据集上 Mistral-7B 为 57.2%，其余三模型为 93.5%–100%（Table 2）。
   • 防御：在 Mistral-7B 上，继续微调、ONION、剪枝三种防御后的 ASR 分别为 100%、98%、76.8%（Table 1），作者称现有防御只能有限抵御。
   • 作者结论：作者称选择题场景下 LLM 的校准模式脆弱、易于改变，对高风险应用构成风险，需要更鲁棒的防御；并指出该攻击目前难以扩展到复杂生成式任务。

   收起这一问

相关论文