Redwood Research 提出不可信建议协议:每步 16 字符建议可恢复 67% 能力差距
Untrusted advice for AI control: Short, strong advice significantly uplifts weak LLMs
AI 导读
Redwood Research 提出不可信建议(untrusted advice)协议,让可信执行模型 T 承担全部动作,不可信强模型 U 只能通过受限通道发送简短建议,从而把 U 的影响压缩到可监控的窄通道内。在 SWE-bench Verified 上,U 每步最多写 16 字符建议即可恢复 T 与 U 之间约 67% 的能力差距,整个任务累计约 320 字符;实验用 Claude Sonnet 4.6 作为 U,Gemini 3.1 Flash Lite 和 gpt-oss-120b 作为 T,在 SWE-bench Verified 与 BashArena 各 200 个任务上评测。
推荐理由
Redwood Research 提出让不可信强模型只通过极窄信息通道给可信弱模型发建议,用信息瓶颈换取接近满分的安全性,并给出可复现的量化结果。