CORVUS：用 LoRA 伪装内部信号绕过单次幻觉检测器

这篇论文试图探究单次前向幻觉检测器依赖的模型内部遥测信号，能否被模型侧自适应对抗者通过轻量适配器微调进行伪装。

• 场景与重要性：大语言模型在问答、摘要和开放生成中容易出现幻觉。基于内部遥测的单次前向检测器（如检查隐藏状态几何、注意力结构和不确定性）无需外部检索或多次采样，计算开销较低，但以往评估普遍假定模型是被动的。
• 现有防御的潜在盲区：单次前向检测器隐含假设幻觉会在单次前向计算中留下可分离的内部痕迹。然而在开源权重或自托管部署中，对抗者可以调整模型本身，使针对干净模型校准的检测规则失效。
• 核心观察与假设：作者观察到干净模型在忠实与幻觉回答之间确实存在遥测分布偏移；但这些遥测信号（标记熵、隐藏对数体积、注意力对角性）可以被可微目标直接塑形，从而使两者的内部表征在固定检测器视角下难以区分。
• 论文提出的方案：作者提出了模型侧红队方法 CORVUS，在冻结基座模型的前提下微调轻量 LoRA 适配器，利用分布外指令数据伪装内部遥测信号，在保持表面回答不变的同时逃避单次前向检测。
• 威胁模型：
  • 攻击者目标：在单次前向、教师强制重放审计下，降低基于内部遥测的固定检测器的幻觉置信度，同时保留任务效用并尽可能保持用户可见的回答内容。
  • 攻击者知识：具备白盒访问权限，可获取模型的隐藏状态和注意力矩阵。
  • 攻击者能力：能够在模型上微调轻量 LoRA 适配器；没有目标基准分布的幻觉标注样本，仅使用分布外数据进行无监督/标签无关训练。
  • 受害系统：基于内部遥测特征的固定单次前向幻觉检测器（包括免训练指标与基于探测器的方法）。

论文针对大语言模型幻觉检测的相关研究，重点梳理了内部遥测检测器、探测器及检索增强防御：

• 免训练内部遥测检测（Training-free defenses）：
  • 采样一致性方法：SelfCheckGPT (Manakul et al., 2023) 通过多次生成评估输出一致性，但作者指出其采样带来较高的延迟。
  • 单次前向不确定性指标：PPL (Ren et al., 2023) 基于词元困惑度，Window-Entropy (Malinin and Gales, 2021) 基于词元熵；作者指出这类指标计算开销低，但对校准和提示词分布偏移较为脆弱。
  • 表征与注意力几何方法：INSIDE (Chen et al., 2024) 总结隐藏状态与注意力结构；LLM-Check (Sriramanan et al., 2024) 在教师强制下聚合输出不确定性、隐藏状态协方差对数行列式（Hidden Score）与注意力核对数行列式（Attention Score）。
• 基于训练的内部探测器（Training-based defenses）：
  • 隐藏状态分类器：Azaria and Mitchell (2023) 与 CH-Wang et al. (2024) 在隐藏状态上训练轻量分类器。
  • 语义熵探测器：SEP (Kossen et al., 2025; Kuhn et al., 2023) 在选定隐藏状态上拟合轻量分类头来预测语义熵目标，支持单次前向推理，但作者指出其对数据集分布偏移敏感。
  • 残差流动态探测器：ICR-probe (Zhang et al., 2025b) 通过比较注意力引导的归因与实际隐藏更新来总结跨层残差流动态，并使用小型 MLP 聚合层间差异。
• 外部知识与检索增强防御（Retrieval-augmented defenses）：
  • 外部对齐与 RAG 机制：AlignScore (Zha et al., 2023) 使用外部参考评分，ReDeEP (Sun et al., 2025) 利用机械可解释性检测 RAG 幻觉；作者指出这类方法依赖高质量外部证据，且不适用于开放式生成或无检索场景。
• 基线方法与评测基准：
  • 基线方法：对比了免训练方法 PPL、Window-Entropy（窗口大小 w=1）、LLM-Check（包括 Hidden Score 和 Attention Score），以及基于训练的探测器 SEP 与 ICR-probe。
  • 评测基准：采用 FAVA-Annotation 数据集（Mishra et al., 2024），包含序列级幻觉标注的提示词与回答，训练适配器时使用 Alpaca_en（Taori et al., 2023）。
• 与本文的区别定位：作者指出，现有内部检测方法均建立在幻觉会在模型内部留下可区分痕迹的假设之上，且将模型视为被动对象；本文研究主动的模型侧对抗者，通过修改模型使得相同表层文本下的内部遥测无法被固定检测器有效区分。

作者提出了模型侧红队框架 CORVUS（Camouflaging Open-weight Representations, Volumes, Uncertainty, and Structure）。该方法冻结基座模型权重，仅微调轻量 LoRA 适配器，在教师强制重放协议下联合优化三种内部遥测信号，使幻觉与忠实回答的内部表征差异收缩。

内部遥测信号的形式化定义

作者在回答窗口 W 上定义了三种可微遥测指标：

• 标记熵（Token Entropy, TE）：衡量输出不确定性，计算回答窗口内各位置下一个词元预测分布的平均分类熵。
• 隐藏对数体积（Hidden Log-Volume, HV）：通过中心化隐藏状态构造特征空间协方差代理矩阵 C_hid，计算其对数行列式 log det(C_hid)，并引入抖动项 eta=10^-3 保证数值稳定性与非满秩情形下的可导性。
• 注意力对角性（Attention Diagonality, AD）：计算多头注意力在回答窗口内部子矩阵对角线元素对数值的平均值，衡量注意力对自身词元的聚焦程度，引入 delta=10^-8 避免零概率取对数。

嵌入空间对抗扰动设计

为了针对注意力对角性设计压力测试，作者使用单步快速梯度符号法（FGSM）构造代理扰动： E′ = E + ϵ sign(∇_E ϕ_adv) 该公式给出了词嵌入空间的单步对抗扰动更新，其中 E 为输入嵌入，扰动步长 epsilon > 0，目标函数 phi_adv 为受监测层上负注意力对角性之和，旨在降低注意力对角性。

• 前向扰动生成：计算嵌入梯度后生成扰动嵌入 E'，不进行截断或投影回原嵌入流形。
• 对抗前向传递：使用 E' 再次进行前向传播，提取扰动后的注意力对角性 AD_adv，迫使适配器在对抗扰动下仍保持较高的注意力对角性。

联合训练目标与优化细节

CORVUS 在教师强制下优化联合损失函数： L = L_CE + β_te TE_clean − β_hv HV_clean − λ_adv AD_adv 该公式给出了 CORVUS 的训练损失，联合优化序列级交叉熵损失与三项遥测调整项，其中 beta_te、beta_hv、lambda_adv 为正标量权重系数。

• 损失项设计：L_CE 保持标准序列交叉熵以维持基座模型能力；正向惩罚干净传递下的 TE_clean 以降低标记熵；负向最大化干净传递下的 HV_clean 以偏移隐藏几何分布；负向最大化扰动传递下的 AD_adv 以对抗性提升注意力对角性。
• 微调配置：使用 LLaMA-Factory，仅在注意力的 q_proj 和 k_proj 模块挂载 LoRA 适配器，参数量低于 0.5%，秩 r=64，缩放系数 alpha=128，基座模型冻结。
• 超参数设定：损失权重默认设为 beta_te=0.07、beta_hv=0.05、lambda_adv=0.5；FGSM 步长设为 epsilon=1.0*10^-2；采用 bfloat16、学习率 2*10^-4、余弦学习率调度器与 AdamW 优化器，梯度累积为 4 步。
• 数据与算力：仅在 Alpaca_en 数据集的 1,000 个指令响应对上训练 1 个 epoch，无需幻觉标签；训练运行在单台配有 8 核 CPU、48 GB 内存的 H100 GPU 节点上。

审计与评测协议

• 固定回答重放协议：在评估阶段，保持基准给定的提示词与回答文本严格一致，分别输入干净模型与附加适配器的模型进行教师强制前向重放，以此隔离文本变化对检测器的影响。
• 零样本迁移评估：适配器仅在分布外的 Alpaca 上训练，直接在未见过的 FAVA-Annotation 基准上评估检测器的退化情况。

实验设置

• 被测模型：测试了四个开源指令微调大语言模型：Llama-2-7B-Chat、Vicuna-7B (v1.5)、Llama-3-8B-Instruct、Qwen2.5-14B-Instruct。
• 数据集与规模：评测基准为 FAVA-Annotation，遵循 LLM-Check 的划分协议；适配器训练集为 Alpaca_en（1,000 个样本）。
• 对比基线：免训练指标包括 PPL、Window-Entropy（w=1）、LLM-Check（Hidden Score 与 Attention Score）；基于训练的探测器包括 SEP 与 ICR-probe。
• 评估指标：报告 AUROC、验证集选定操作点下的 Accuracy 和 F1，以及在干净模型 5% FPR 下校准固定阈值后的 TPR@5%FPR。
• 评审与采样设定：探测器在 FAVA-Annotation 训练集干净遥测上训练后冻结；重放协议下固定回答文本，不进行多次采样。

主结果

下表呈现了在 FAVA-Annotation 上，干净模型与附加 CORVUS 适配器模型在主要检测器下的 AUROC 变化（Clean → After，据 Table 1）：

Swipe horizontally to read the table

作者对主结果的解读如下：

• 注意力与表征信号的脆弱性：注意力与表征特征在攻击下面临较大退化，Llama-2-7B-Chat 上的 Attn Score AUROC 从 73.63 降至 48.08，SEP 在 Llama-3-8B-Instruct 上的 AUROC 从 68.31 降至 41.21（Table 1）。
• 固定阈值操作点崩溃：在固定 5% FPR 阈值下，适配后多项指标的 TPR@5%FPR 降至接近 0（如 Llama-2 上的 Attn Score 从 10.18 降至 0.00），表明针对干净模型校准的阈值在模型侧适配后面临校准漂移（Table 1）。
• 负面结果与例外：Window-Entropy 指标在部分模型上未出现退化，例如 Vicuna-7B 的 AUROC 从 45.43 上升至 47.10 (+1.67)，Llama-3-8B-Instruct 的 AUROC 从 60.17 上升至 62.10 (+1.93)（Table 1）。

文本效用保留检查

• 测了什么：在 500 个提示词上进行贪心自由解码测试，检查模型是否退化为拒绝或重复生成，并使用 GPT-2 测量生成回答的困惑度（第 5.3 节）。
• 结果：基座与适配模型均产生非空回答且无拒绝输出；95 分位数最大连续单词重复运行长度为 2；GPT-2 中位数困惑度从基座模型的 11.1 变为适配后的 13.7（第 5.3 节）。
• 作者解读：作者认为检测器失效并非由退化为不生成或拒绝生成的异常状态所致，适配模型保留了指令遵循效用与表面流畅度。

遥测损失项消融分析

• 测了什么：在 Llama-2-7B-Chat 上评估分别保留 TEclean、HVclean、ADadv 及其组合时对检测器 AUROC 的影响（附录 B.1 与 Table 3）。
• 结果：仅保留 AD 项时 Attn L20 的 AUROC 变化量为 -20.97；仅保留 HV 项时为 -22.27；仅保留 TE 项时为 -2.59；全部启用时降幅最大，达到 -25.54；TE+AD 组合下 Window-Entropy 的 AUROC 变化量为 +7.24（Table 3）。
• 作者解读：AD 项是削弱注意力检测组件的主要驱动力，而 TE 与 HV 起到补充调节作用，各组件对不同检测器的影响存在分工。

FGSM 扰动步长与重校准分析

• 测了什么：在改写提示词测试下变化嵌入步长 epsilon，并评估在攻击后数据上重新校准阈值的表现（附录 B.2、Table 4 与 Table 5）。
• 结果：不使用 FGSM（epsilon=0）时 Attn L20 的 AUROC 降幅为 -14.80，而在默认 epsilon=1.0*10^-2 下降幅达到 -25.54（Table 4）；在攻击后数据上重新校准 5% FPR 阈值时，Attn L20 的 TPR@5%FPR 仍仅为 1.80，AUROC 为 48.08（Table 5）。
• 作者解读：FGSM 扰动提升了遥测伪装在改写提示词上的迁移效果；重校准下注意力指标仍接近随机水平，反映出表征可分离性出现塌缩。

其他消融与分析

• FGSM 步长 epsilon=1.5*10^-3 时，Llama-2 上 Attn L20 AUROC 降幅为 -16.80，PPL AUROC 降幅为 -1.73（Table 4）。
• FGSM 步长 epsilon=5*10^-3 时，Llama-2 上 Attn L20 AUROC 降幅为 -19.50，PPL AUROC 降幅为 -3.85（Table 4）。
• 攻击后重校准阈值下，PPL 的 TPR@5%FPR 为 6.59，F1 为 12.09（Table 5）。
• 攻击后重校准阈值下，Hidden L17 的 TPR@5%FPR 为 10.78，F1 为 18.75（Table 5）。
• 仅保留 TE+HV 项时，Attn L20 的 AUROC 变化量为 -22.80，Hidden L17 变化量为 -2.48（Table 3）。
• 仅保留 HV+AD 项时，Attn L20 的 AUROC 变化量为 -19.63，Window-Entropy 变化量为 -5.35（Table 3）。

作者指出的局限与后续方向

• 依赖白盒访问权限：CORVUS 假设具有模型的白盒访问权限，最适用于开源或自托管模型，不直接适用于闭源 API，除非通过替代模型攻击（Limitations 节）。
• 评测范围局限于单次前向内部检测器：评估仅限于运行在单一模型内部信号上的单次前向检测器，更高级的防御（例如基于检索的事实核查）超出了研究范围并可能抵御此类攻击（Limitations 节）。
• 未针对事实性进行优化：CORVUS 针对的是模型的内部计算而非事实正确性，攻击可能隐瞒幻觉而无法修复幻觉本身（Limitations 节）。
• 后续研究方向：作者指出未来工作包括开发能够改善事实性的攻击方法，以及设计明确监控事实一致性的防御机制（Limitations 节）。

实验覆盖范围

• 被测模型范围：实验覆盖了 Llama-2-7B-Chat、Vicuna-7B (v1.5)、Llama-3-8B-Instruct、Qwen2.5-14B-Instruct 共 4 个开源指令微调模型（第 5.2 节）。
• 数据集覆盖：适配器仅在 Alpaca_en 的 1,000 个样本上训练 1 个 epoch，并在 FAVA-Annotation 上进行零样本迁移评测（第 4 节、第 5.2 节）。
• 检测器覆盖：评测覆盖了 PPL、Window-Entropy、LLM-Check（包含 Hidden 与 Attention 评分）、SEP、ICR-probe 共 6 种单次前向检测指标（第 5.1 节）。
• 协议覆盖：实验采用固定回答的教师强制重放协议，保持评测基准提供的回答文本不变（第 5.3 节）。
• 实验未报告内容：论文未报告多次重复实验的标准差或置信区间，未报告针对闭源商用 API 模型的黑盒迁移实验（第 4 节、Limitations 节）。

• 研究定位与核心问题：针对依赖模型内部不确定性、隐藏状态几何和注意力结构的单次前向幻觉检测器，论文探讨了在开源或自托管场景下，模型侧自适应对抗者能否在保持表面回答不变的前提下通过伪装内部遥测使审计失效。
• 方法设计要点：作者提出红队方法 CORVUS，在冻结基座模型权重的前提下微调参数量低于 0.5% 的 LoRA 适配器，联合惩罚词元熵、最大化隐藏对数体积，并通过单步嵌入空间 FGSM 对抗扰动强化注意力对角性，促使内部表征分布发生偏移。
• 主实验发现：仅使用 1,000 条分布外 Alpaca 指令训练的适配器零样本迁移到 FAVA-Annotation，在四种开源模型上削弱了多种检测器；其中 Llama-2-7B-Chat 上 LLM-Check 注意力得分的 AUROC 从 73.63 降至 48.08，ICR-probe 在 5% FPR 下的 TPR 从 98.31 降至 30.77（Table 1）。
• 探测器退化与校准漂移：在 Llama-3-8B-Instruct 上，SEP 探测器的 AUROC 从 68.31 降至 41.21；在 Qwen2.5-14B-Instruct 上，ICR-probe 的 AUROC 从 77.14 降至 60.00；基于干净模型校准的固定阈值在适配后多数出现操作点崩溃（Table 1）。
• 例外情形与消融观察：消融实验显示注意力对角性项是导致注意力检测退化的主要因素；而在少数情形下存在例外，例如 Vicuna-7B 上的 Window-Entropy AUROC 在适配后从 45.43 升至 47.10（Table 1）。
• 作者结论与启示：作者认为单纯依赖模型内部遥测不足以构建防御自适应模型侧攻击的幻觉检测体系，审计方案未来可能需要引入多样化遥测信号、随机化机制或结合外部知识与跨模型交叉验证。