跳到正文
原文
LessWrong· Ziqian Zhong·本站收录· 原文发表· 评测 →· 扫描记录里的位置 →精选关注度38

移除一个捷径后,LLM 在 TASTE 基准上的表现低于随机水平

LLMs are below chance on TASTE once a shortcut is removed

AI 导读

研究者 Ziqian Zhong 发现 TASTE 基准存在捷径,剔除该捷径后,能力更强的模型对 AI 安全研究提案的判断低于随机水平。该基准让模型判断专家更偏好两份 AI 安全研究提案中的哪一份,作者发现专家普遍给机制可解释性相关提案更低评分,仅按提案中可解释性相关术语数量选较少一方的基线就达到 63.0% 总体准确率,仅提供评分规则时超过所有受测 LLM。在无术语差的一半题目上,ECI 高于 158 的 14 个模型全部低于 50%,8 个显著低于随机,其中 7 个为 OpenAI 模型;九个 OpenAI 模型平均仅 29.6%,表现随 ECI 上升而变差(r = -0.74)。提供专家过往判断仅部分缓解,ECI 高于 159 的模型(含较新的 Anthropic 与 OpenAI 模型)仍全部低于 50%,OpenAI 模型平均升至 39.1%。

推荐理由

作者用简单的词频基线发现 TASTE 基准存在捷径,剔除后强模型对安全研究提案的判断反而低于随机。

阅读原文lesswrong.com