跳到正文
原文
Redwood Research· Caleb Biddulph·本站收录· 原文发表精选关注度48

Redwood Research 提出不可信建议协议:16 字符建议可恢复约 67% 能力差距

Untrusted advice for AI control: Short, strong advice significantly uplifts weak LLMs

AI 导读

Redwood Research 提出不可信建议(untrusted advice)协议,由可信执行模型 T 完成所有动作,不可信模型 U 只能通过受限通道发送简短建议,从而把 U 的影响压缩到可监控的窄通道内。在 SWE-bench Verified 上,U 使用 Claude Sonnet 4.6,T 使用 Gemini 3.1 Flash Lite 和 gpt-oss-120b,每条建议上限 16 字符时,T 可恢复约 67% 的 T 与 U 之间的能力差距,平均每个任务约 320 字符。作者用 LLM 的 surprisal 重新计量信息量,相比按每字符 8 bit 的朴素上界可把 bit 用量降低约 2.5 到 30 倍;在 BashArena 中还尝试让 U 从固定建议菜单中挑选,把每步影响压到 5 到 6 bit。

推荐理由

Redwood Research 提出让不可信模型只通过极窄信息通道给可信模型提建议,在 SWE-bench 上用 16 字符恢复约 67% 能力差距,为 AI 控制提供了一条可量化的思路。

阅读原文blog.redwoodresearch.org