「约四分之一含缺陷」:Gemini 4 安全报告的 ML R&D 基准
"About a quarter of them contained bugs": Gemini 4's ML R&D benchmark
AI 导读
LessWrong 作者 Simon Mendelsohn 分析 Gemini 4 Argon 安全报告指出,Google 用来排除 ML R&D 自动化阈值的内部基准 GRB(Google RE-Bench,74 项任务)中,约四分之一任务存在缺陷,任何提交都无法通过,另有若干任务按任务描述中未说明的细节评分。报告把 90% 通过率设为保守阈值,并称即使把已知有缺陷的任务计为已解决,Argon 的 pass@1 仍低于阈值,但未公布具体数字与得分点估计。报告称 Argon 在完成的运行中解出约一半任务,这些运行偏向短任务,可能高估其真实通过率,而在同一批完成轨迹上它与 Gemini 3.7 Flash 表现相当,后者在 GRB 上的 pass@1 为 27%;即便所有未完成轨迹都成功,Argon 仍低于阈值。
推荐理由
作者核对 Gemini 4 安全报告的 ML R&D 基准后指出约四分之一任务根本无法通过,这决定了其阈值排除结论能有多少说服力。
相关论文