跳到正文
原文
Tomek Korbak· @tomekkorbak · X·本站收录· 原文发表· 评测 →· 扫描记录里的位置 →

GPT 6.2 Astra 系统卡显示无思维链解题能力持续上升,研究者称很可能降低思维链可监控性

AI 导读

研究者 Tomek Korbak 称,GPT 6.2 Astra 系统卡中最重要的图显示无思维链解题能力持续上升,很可能转化为更低的思维链可监控性。系统卡图 56 显示,OpenAI 历代模型不借助思维链解答数学竞赛题的准确率持续上升,5.6 Sol 为 30% 多,6 Astra 升至 70% 出头,最新 GPT 6.2 Astra 接近 80%。该数据集在 Greenblatt 基础上扩展了 AIME、HMMT、CMIMC、SMT、BRUMO 和 OTIS Mock AIME 等更难的高中数学竞赛题,误差线为 95% Wilson 置信区间。据其引用的 UK AISI 团队帖子,该团队在发布前测试了 GPT 6.2 Astra 躲避监控和无推理解题的能力,报告见 https://deploymentsafety.openai.com/gpt-6-2-astra-sol/external-evaluation-for-monitorability-uk-aisi

正文 · 原文

I think this is the most important plot from 6.2 Astra's system card: the trend increasing no-CoT capabilities continues, which is very likely to translate into lower CoT monitorability

引用Joseph Bloom@JBloomAus
My team at @AISecurityInst tested GPT 6.2 Astra before release, assessing its ability to evade monitors and solve problems without showing its reasoning. Read our findings in the system card: https://deploymentsafety.openai.com/gpt-6-2-astra-sol/external-evaluation-for-monitorability-uk-aisi
在 X 查看被引用的帖子

来源:Tomek Korbak · x.com