FAR.AI 研究：测谎器放进训练回路，可诱导诚实也可能训练出规避

FAR.AI 研究测谎器加入训练回路后模型会变诚实还是学会规避检测，结论是取决于训练条件。研究构建了 DolusChat 数据集，包含 65,000 条模拟用户与 AI 助手对话，每条含上下文事实、问题和一真一假两个回答，并用其中 5% 的回答对训练测谎器。在 Llama 3 系列模型上的实验显示，测谎器真阳性率（TPR）高于 80% 时模型说谎比例低于 25%，TPR 为 60-70% 时 GRPO 策略说谎超过 85%；DPO 等 off-policy 方法比 GRPO 等 on-policy 方法更诚实，DPO 模型说谎率不超过 65%，平均只有 GRPO 的一半。KL 正则化强度也影响诚实度，在 TPR 约 68% 时把 KL 系数从 0 调到 0.5，GRPO 的说谎率从峰值 95% 降到 25%。