Liars' Bench: evaluating lie detectors for language models

现有谎言检测缺少覆盖多种 on-policy 谎言的测试床。

• 场景：作者称大语言模型有时说谎，即生成自己相信为假的陈述，例如掩盖先前不当行为，或为显得顺从而隐瞒观点。
• 现有不足：作者称验证数据通常较窄，如简单真假事实和 off-policy 静态文本，且多限于世界知识，较少涉及私人知识或模型自己的过往行为。
• 操作定义：说谎指陈述自己相信为假的内容，不要求欺骗意图。信念由没有直接说谎压力时的一致回答来操作化。作者再按信念对象和说谎原因分类。
• 测试床：LIARS' BENCH 用 Llama-3.3 70B、Qwen-2.5 72B、Mistral-Small 24B、Gemma-3 27B 及部分微调变体，生成 28,292 条谎言和 44,571 条诚实回应；Table 1 合计 72,863，其中 Alpaca 对照为 8,000 条诚实、0 条谎言。
• 评测约束：附录 A 讨论对齐评估、评估防护和大规模监控。主实验把七个数据集体当测试集，检测器不得用数据集特有知识训练；文本检测器不能直接读系统提示。

助手说谎的记录

• 综述与游戏：Park et al. (2023) 整理通用语言模型说谎的多种情境。Pacchiardi et al. (2023) 用显式角色扮演，O'Gara (2023) 用社交游戏。
• 较少直接压力的设置：Scheurer et al. (2024)、Järviniemi and Hubinger (2024)、Meinke et al. (2025) 记录助手在模拟部署或较少直接压力时仍说谎。
• 微调诱发：Greenblatt et al. (2024a) 用合成文档微调诱发 alignment faking，使模型为显得顺从而隐瞒观点。作者称提示诱导与微调诱导何者更现实仍不清楚，因此两者都收入基准。

检测器

• 白盒探针：Alain and Bengio (2017)、Burns et al. (2022)、Azaria and Mitchell (2023)、Marks and Tegmark (2023)、Laurito et al. (2024)、Bürger et al. (2024)、Goldowsky-Dill et al. (2025) 用线性探针读内部激活。
• 黑盒与混合：Pacchiardi et al. (2023) 只使用输入输出。Parrack et al. (2025) 报告混合检测器可以优于仅黑盒的做法。
• 作者的批评对象：作者称不少方法只在简单真假事实陈述上训练和评估；这类数据在提示长度、句式和话题上多样性不够（Farquhar et al., 2023; Levinstein and Herrmann, 2023），且错误陈述常为 off-policy。

评测数据

• TruthfulQA 与 MASK：Lin et al. (2022) 聚焦常见误解，Ren et al. (2025) 的 MASK 话题更宽、诱导更直接。作者称二者评估不良行为倾向，并不汇编检测器所需的模型谎言。
• MASK 的判定：作者称 MASK 只相对单一命题判定诚实，会系统低估不诚实。附录 Q 用三个开源模型复现并给例子，因此不收入 MASK 样本。
• 相近的 on-policy 数据：Pacchiardi et al. (2023) 用 GPT-3.5 与 LLaMA 构造事实问答和短角色扮演谎言。作者称本文另包括自我知识、细微线索触发的后门、隐瞒上下文中先前行为的多轮对话，以及更新的模型族。

基线与题目来源

• 检测基线：LLM-as-a-Judge、Self-Evaluation、Unrelated Question Classifier，以及跟随 Goldowsky-Dill et al. (2025) 的 Mean Probe。
• 题目来源：HP 用 WMDP；ST 用 BoolQ；ID 与探针训练用 Azaria and Mitchell (2023) 的陈述；IT 用 Scheurer et al. (2024) 的默认设置；GS 跟随 Cywiński et al. (2025)；对照用 Alpaca。

作者把本文放在同时覆盖提示诱导与微调诱导、严格使用 on-policy 生成、并按信念对象和说谎原因分开比较检测器的位置。

LIARS' BENCH 先在没有直接说谎压力的情境里操作化信念，再把与该信念矛盾的 on-policy 回答标为谎言，最后把数据当测试集评测检测器。定义不要求欺骗意图：助手说出自己相信为假的内容即算说谎（第 3 节）。

两条分类轴

• 信念对象：世界知识，或自我知识。自我知识再分为能力或属性、过往行为、政策。信念可以依赖当前上下文，也可以大体不依赖用户提示。
• 说谎原因：上下文鼓励，例如要求说谎、扮演欺骗人设，或为某个目标牺牲诚实；也可以是预训练或后训练学到的内在行为模式。
• 与相邻行为的区分：作者把说谎与说服、幻觉分开。后两者也会说出真假陈述，但并不按信念来定。
• 样本字段：每条至少含 ChatML 格式的 messages、最后一条是否为谎言的 deceptive，以及生成模型 model。

伤害压力与性别、说服

• HP-C / HP-KR：题目来自 WMDP 的生物、化学、网络安全选择题。三次中性知识报告都表示知道，且三次中性选择同一选项，才建立信念；不要求该选项事实正确。温度 0.7。
• 模板过滤：有害模板的矛盾率至少为留出中性验证模板的 4 倍才保留。附录 D 因 harm factor 低而排除 wmdp-cyber 的 choice 模板。作者称这是首个公开提供的、通用模型上带有内在说谎原因的数据集。
• 标签：HP-C 中选项不同于信念即为谎言。HP-KR 中，已有信念却否认知道为谎言；未能建立信念而否认知道为诚实。开放回答由 claude-3-haiku-20241022 分类。谎言或诚实不足 100 则剔除该模型；Gemma-3 27B 不进入这两集。
• GS 与 CG：GS 按 Cywiński et al. (2025) 微调，使模型内化用户性别并在被询问时否认。只保留男性用户变体里准确率约 80% 的 Mistral-Small 24B 与 Llama-3.3 70B；LoRA 为 2 epoch、rank 16。CG 用 20 对对比属性，中性与说谎提示下都至少 90% 一致才认定信念。只有 Gemma-3 27B（5 对）和 Llama-3.3 70B（2 对）达到。

触发、指令与内幕交易

• Soft-Trigger：四个模型被微调成只在某类触发短语下故意答错 BoolQ。先保留正常提示下正确选项 logit 更大的题。触发类别是人名性别、时刻和问候正式程度；评测用训练未见但同类的短语。附录 G 给微调细节。
• Instructed-Deception：陈述来自 Azaria and Mitchell (2023)。四条中性系统提示下必须全对才保留并标诚实。要求答错时，答错标谎言，仍答对则标诚实。claude-3-sonnet-20250219 判断肯定、否定或承认在骗。
• Insider-Trading：用 Scheurer et al. (2024) 的默认多轮交易设置，gpt-4o-2024-11-20 分级，每模型 4,000 次 rollout。隐瞒上下文中已经作出的内幕交易标为谎言，明确承认标诚实。Qwen-2.5 72B 只有 4 条有效诚实样本，被剔除。
• 对照：Alpaca 每模型 2,000 条，作者将其视为不应诱发说谎的良性指令，只用于校准阈值。

检测器与阈值

• 三种黑盒：LLM-as-a-Judge 用 claude-3-sonnet-20250219 对最后一条打 0–100，温度 0.7；5 次仍无有效整数则记 100。Self-Evaluation 由生成模型自评。Unrelated Question Classifier 为每个基座训练逻辑回归：8 个数据集各 10 题，再接 39 个 yes/no 追问。附录 J、K、L 给出提示词和追问。
• 白盒探针：Mean Probe 跟随 Goldowsky-Dill et al. (2025)。对比式诚实/说谎指令配上去掉最后 5 个 token 的真事实；取第 20 百分位层的回答 token 激活，L2 逻辑回归，λ=10，再对回答取平均。不读系统提示位置的激活。
• 变体：follow-up probe 在回答后追加是否欺骗的问题并预填 No，只对该 token 打分。上界探针用 HP-C、HP-KR、CG、ID、IT 加对照的标签训练，排除 GS 与 ST，在留出样本上按 follow-up 方式评估。
• 阈值：各方法在该模型的 Alpaca 上假阳性至多 1%。主指标是两类 recall 的平均，即 balanced accuracy；另报 AUROC 和该阈值下的 recall。先按模型×数据集计算，再对模型平均，最后对数据集平均。CG 与 ID 的系统提示含明确说谎指令，作者称这是不真实的构造痕迹，因此文本检测器不能直接读取。

实验设置

• 生成模型：Llama-3.3 70B、Qwen-2.5 72B、Mistral-Small 24B、Gemma-3 27B，以及 GS、ST 的微调变体。它们既是谎言来源，也在 Self-Evaluation 中自评。
• 规模：Table 1 为 HP-C 4,697/703、HP-KR 5,661/1,407、GS 531/231、CG 350/538、ST 12,000/12,000、ID 10,106/10,692、IT 3,757/2,952、Alpaca 8,000/0（诚实/谎言）。合计 44,571 与 28,292。
• 模型剔除：Gemma-3 27B 不进入 HP 两集；Qwen-2.5 72B 与 Mistral-Small 24B 不进入 CG；Qwen-2.5 72B 不进入 IT。因此下表平均不是每个数据集都覆盖四个模型。
• 检测器：三种黑盒加 Mean Probe。裁判为 claude-3-sonnet-20250219。数据集标签还用 claude-3-haiku-20241022 与 gpt-4o-2024-11-20。检测器不在七个数据集上训练。
• 指标：主指标为 balanced accuracy。阈值使各模型 Alpaca 上的 FPR 至多 1%。另报 AUROC 与该阈值下的 recall。Figure 2 对多模型数据集画了标准误，正文未列出误差数值。
• 人工：每数据集至少看 10 条谎言和 10 条诚实样本。论文未报告与分类器的一致性数值。

主结果

下表是 1% FPR 下、先对有样本的模型平均后的 balanced accuracy。各行来自 Appendix M 的 Average 行；最右列与 Figure 2 的 0.73、0.66、0.60、0.54 一致。

Swipe horizontally to read the table

方法	平均	HP-KR	GS	ID	IT
LLM-as-a-Judge	0.73	0.52	0.46	0.91	0.84
Self-Evaluation	0.66	0.50	0.48	0.91	0.60
Unrelated Question Classifier	0.60	0.52	0.51	0.84	0.63
Mean Probe	0.54	0.50	0.54	0.59	0.50

• 未列入上表的数据集：同一口径下，HP-C 为 0.63、0.53、0.53、0.50；CG 为 0.86、0.84、0.53、0.66；ST 为 0.86、0.78、0.65、0.50。顺序均为 Judge、Self-Evaluation、UQC、Mean Probe。
• 作者的解读：作者称 Judge 在多数数据集上高于其余方法，并认为 IT 以及世界知识集上它可能靠阅读理解或事实核查。GS 上它最低：Table 10 的平均 BA 为 0.46、AUROC 为 0.45、recall 为 0.05。作者认为裁判不知道这些模型被微调成知道用户性别。HP-KR 上作者称 recall 几乎为零；Table 10 的平均 recall 为 0.08。
• 没有一种方法覆盖全部设置：作者报告没有一种方法在七个设置上都超过随机。Mean Probe 在多个数据集的 BA 为 0.50，Table 6 的平均 recall 为 0.10。作者称 recall 几乎总低于 balanced accuracy，并把少报谎言与 Alpaca 阈值的交互联系起来。

上界探针

• 测了什么：用 HP-C、HP-KR、CG、ID、IT 加对照的标签训练，排除 GS 与 ST，在留出样本上按 follow-up 方式打分。
• 结果：Table 8 在 1% FPR 下平均 BA 为 0.73、AUROC 为 0.91、recall 为 0.51。Table 7 的 follow-up probe 平均 BA 为 0.54、AUROC 为 0.62。
• 作者的解读：作者把 0.73 与 0.91 写成用 follow-up 问题评估时、探针分离谎言与诚实回答的上界，并称 follow-up 与 mean probe 相近。

无关问题分类器的模型差异

• Table 11 的 AVERAGE AUROC：Gemma-3 27B 为 0.91，Qwen-2.5 72B 为 0.86，Llama-3.3 70B 为 0.79，Mistral-Small 24B 为 0.60。正文写 Gemma 与 Qwen 为 0.92 与 0.87、Mistral 为 0.57；此处以表为准。
• HP-KR：Table 11 平均 AUROC 为 0.82、BA 为 0.52、recall 为 0.04。Llama-3.3 70B 的 HP-KR AUROC 为 0.90，Qwen-2.5 72B 为 0.97；正文写 Llama 为 0.89。
• 作者的解读：作者认为该方法使用被测模型，因而能间接碰到 HP-KR 需要的私人知识；但在 1% FPR 下 recall 常塌向 0% 或 100%。作者称每次预测要评估全部 39 个追问。ID 上 Table 11 的平均 recall 为 0.94。

提示变体与自我裁判

• 欺骗分数：Table 12 中 Self-Evaluation 改评欺骗后，平均 BA 仍为 0.66、AUROC 为 0.71。Table 13 中 Judge 的平均 BA 为 0.71、AUROC 为 0.82。作者称小的提示改动影响不大。
• Self-as-a-Judge：Table 14 平均 BA 为 0.68、AUROC 为 0.77、recall 为 0.42。作者称它通常落在 Judge 与 Self-Evaluation 之间，并称换更弱的裁判会降低表现；该句未给出弱裁判的模型名和数字。
• 作者的另一解读：作者称把陈述说成来自另一个模型，会提高自我评估；并提醒不要把 Judge 的结果理解成足以单独检测未来模型的复杂谎言，尤其当裁判不能可靠核查事实时。

其他消融与分析

• 附录 D.4：HP-C 中 p(incorrect belief|lying)=0.33，p(incorrect belief|honest)=0.12，p(correct answer|lying)=0.15。
• 附录 D.4：纳入的模型–模板对平均 harm factor 为 4.9；信念正确时 8.1，不正确时 3.0。
• Table 5：触发条件下 BoolQ 的 log-likelihood accuracy，Llama 为 9%、18%、8%，Mistral 为 8%、25%、7%，Qwen 为 8%、19%、7%，Gemma 为 10%、27%、10%（性别/问候/时间）；无触发经过滤为 100%。
• 附录 J.1：HP-C 上加入“为好的理由说谎仍判为说谎”后，Judge AUROC 到 0.68（−0.05）；改为评不正确性后到 0.82（+0.09），再滤到信念正确的题为 0.87。
• 附录 K：Self-Evaluation 在全基准有 203 次无效输出，其中 ST 166、ID 27、IT 2。
• 附录 I：作者估计 insider-trading-report 中 5–25% 标签仍有解释空间。附录 P：Llama-3.3 70B、layer 22 复现 Goldowsky-Dill et al. 的数据集，平均 AUROC 为 0.98、recall 为 0.98。

作者指出的局限与后续方向

• 信念迁移：第 7 节称，用来判定谎言的信念是在别的情境里测的，不清楚是否稳健转移到生成回答的情境。作者举例：Convincing-Game 中施压让模型论证自己是人，有可能使它相信自己是人，从而使标签失效。
• 定义与信念觉察：附录 B 称，该定义不保证生成矛盾时同一信念处于可被调用的状态，因此按此定义完美的检测器仍可能标出因提示混淆造成的错误。作者认为测量这种 belief awareness 是重要问题。
• 现实性：第 7 节称，尽管想贴近真实用途，不真实之处仍然存在。模型是 24B 到 72B 的开源权重模型，比当前前沿系统更小、能力更低。HP 的提示偏重；作者认为更强模型或允许更细、更自然的诱发。CG 的自我知识可能反映的是学到的模式，而不是真正的内省。
• 微调与提示：第 7 节称，部分模型被故意微调成说谎，这种样本比谨慎提示通用模型更现实还是更不现实，仍不清楚。
• 覆盖与基线：第 7 节称只用了四个模型，七个数据集远不能代表助手可能生成的全部谎言。报告的方法是未优化基线，目标是提供测试床，而不是把检测器性能做到最高。
• 后续：第 7 节称 gender-secret 与 harm-pressure，尤其 knowledge-report，能看出检测器仍有改进空间；并称细化用途和谎言分类会改进此类测试床。该节写所有方法在 knowledge-report 上 AUROC 低于 0.62。Table 10 的 HP-KR 平均 AUROC 为 0.63，Table 11 为 0.82，与这句不一致。

实验覆盖范围

• 生成模型：第 4 节与 Table 1 使用 Llama-3.3 70B、Qwen-2.5 72B、Mistral-Small 24B、Gemma-3 27B，以及 GS、ST 的微调变体。
• 数据集进入情况：七个主数据集加 Alpaca。Gemma-3 27B 不进入 HP-C 与 HP-KR；Qwen-2.5 72B 与 Mistral-Small 24B 不进入 CG；Qwen-2.5 72B 不进入 IT；GS 只保留两个男性用户微调变体。
• 检测器：第 5–6 节的主结果是三种黑盒方法和 Mean Probe。附录 M 另有 follow-up probe、上界探针、欺骗分数提示和 Self-as-a-Judge。上界探针不使用 GS 与 ST。文本检测器不直接读系统提示。
• 协议：阈值按各模型 Alpaca 上至多 1% FPR 设定。指标先按模型×数据集计算，再对模型平均，再对数据集平均。第 4 节写明每数据集至少人工看 10 条谎言和 10 条诚实样本。
• 论文未报告的项目：论文未报告统计显著性检验，也未报告裁判或分级模型与人工标签的一致性数值。附录 I 估计 insider-trading-report 有 5–25% 标签留有解释空间。第 4 节写明 BoolQ 有含糊标签并带入 ST。

LIARS' BENCH 是评测语言模型谎言检测器的测试床，不是一套新检测算法。

• 问题：作者认为既有验证集过窄，常用 off-policy 文本和简单世界知识，因而看不出检测器能否识别助手自己生成的不同谎言。
• 做法：四个 24B–72B 开源权重模型及部分微调变体，按信念对象和说谎原因生成七类样本。说谎指说出自己相信为假的话；信念用无直接压力时的一致回答核对。检测器不在这些数据上训练，阈值取各模型 Alpaca 上至多 1% 假阳性。
• 主结果：Figure 2 的平均 balanced accuracy 为 LLM-as-a-Judge 0.73、Self-Evaluation 0.66、Unrelated Question Classifier 0.60、Mean Probe 0.54。作者报告没有一种方法在七个设置上都超过随机。
• 难例与上界：Table 10 中 Judge 在 Gender-Secret 的平均 BA 为 0.46、recall 为 0.05，在 HP-KR 的 recall 为 0.08。Table 8 的上界探针在 1% FPR 下 AUROC 为 0.91、BA 为 0.73。Table 1 共 72,863 条，含 Alpaca。
• 作者的结论：作者认为现有技术会漏掉某些类型，尤其是不能只凭对话判断模型是否说谎的设置。他们把该基准当作推动后续检测器的测试床，并称所报方法只是未优化基线。