事件历史事件
减少合成标记使部分SDF虚假事实更难检测
先了解这件事
AI 综述
Jason Zeng 报告,合成文档微调(SDF)中的合成痕迹,是部分假事实能被中层线性探针识别的原因。减少这些痕迹后,轻度不合理的假事实在所测探针下更接近预训练知识,但明显离谱的假事实仍可检出;即使探针难以区分,植入事实也不总会影响下游推理。帖子讨论其对对齐评测和 AI 控制的意义,不能据此断言所有假事实或所有检测方法都已失效。
AI 根据报道生成 · 2 天前更新
最新进展10月4日 12:11
减少合成痕迹后,轻度不合理的SDF假事实在所测探针下更难检出,明显离谱者仍可检出。后续时间线
10月4日
- LessWrong减少合成标记会让部分 SDF 虚假事实更难检测
Jason Zeng 报告,合成文档微调(SDF)中的合成痕迹,是部分假事实能被中层线性探针识别的原因。减少这些痕迹后,轻度不合理的假事实在所测探针下更接近预训练知识,但明显离谱的假事实仍可检出;即使探针难以区分,植入事实也不总会影响下游推理。帖子讨论其对对齐评测和 AI 控制的意义,不能据此断言所有假事实或所有检测方法都已失效。
相关讨论
关注度走势
每天新增来源
- 10月4日 新增 1 个来源(1 家媒体、0 个账号)
- 10月5日 新增 0 个来源(0 家媒体、0 个账号)
- 10月6日 新增 0 个来源(0 家媒体、0 个账号)
- 10月7日 新增 0 个来源(0 家媒体、0 个账号)