研究者如何向 AI 撒谎
How Researchers Lie to AIs
AI 导读
LessWrong 文章《研究者如何向 AI 撒谎》把对齐评测中对模型说谎的做法分为虚假交易或威胁、冒充权威、植入诱饵、伪造历史与模型引导、模拟的工具与用户及环境等类别,另列出虚构场景、虚假监督声明等较轻形式。作者 Alessandro Drake 称这是他 Redwood Research 实习期间为期两周的项目,用 Claude Opus 5.5 筛选 2022 年 12 月至 2026 年 10 月的公开对齐评测,得到 292 个评测设置,并统计了含各类谎言的评测比例;随机抽取 54 项盲编码复核时,与原编码在是否存在谎言上的一致率为 92%。作者认为这类谎言可能进入预训练数据、推高模型的评测感知,并削弱未来模型对交易和评测环境的信任,建议在发布评测前从模型视角评估其信任代价。
相关论文