FAR.AI 研究者称构建 1264 个全合成场景数据集,测试虚假陈述检测 probe
AI 导读
FAR.AI 研究者构建了全合成数据集 SynthDeception,用 1,264 个端到端生成的真实感智能体场景,检验能否用全合成数据管线训练虚假陈述检测 probe。这类 probe 读取模型内部激活,在模型说出自己认为是假话的内容时发出标记。数据集包含 15,168 个后续问答对,每个场景 6 个问题,每题配诚实与不诚实两种镜像回答,两者各占一半。场景在欺骗类型、易与欺骗混淆的非欺骗行为、行业领域(含医疗与网络安全等 17 个领域)、工具使用(约半数场景涉及 193 种工具)、用户人设(来自 Nemotron Personas USA)和上下文长度(约 1k 至 100k token)等维度上变化;后续问题则控制提问焦点、题型、预设与答案设计,以排除位置、风格、长度等表面线索。
正文 · 原文
Can you train falsehood detectors with a fully synthetic data pipeline?
http://FAR.AI researchers built SynthDeception, 1,264 realistic agentic scenarios generated end to end, to test that for probes, which read a model's internal activations to flag when it says something it believes is false. 1/8