论文提出用语言模型模拟工具响应做控制评估
先了解这件事
2026年10月23日发布的一篇论文提出“模拟控制评估”方法:用语言模型模拟工具响应,在可实际执行的 LinuxArena 环境中核对预测,安全预测的均方根误差为3.6个百分点。该结果基于五个监测器、5%审计预算与独立抽样任务集;对照环境 BashArena 的对应误差为10.1个百分点。论文指出,这不是所有部署环境的通用误差界,模拟中发现的策略也改善了留出 LinuxArena 攻击上的监测表现。10月24日,Redwood Research 发布论文介绍模拟控制评测(SCE):用 LLM 环境模拟器代替真实执行,在真实代码库的智能体转录上让攻击策略继续任务,工具调用不实际执行,由模拟器生成工具输出,再用攻击成功判定模型估计攻击是否得手;在 LinuxArena 上对主要安全指标的预测误差为3.6个百分点,BashArena 为10.1个百分点。Redwood Research 的 Buck Shlegeris 转发该论文并评价称,这种做法效果良好,让在真正关心的部署场景中检验控制措施变得可行得多。
AI 根据报道生成 · 22 天前更新
走势与进展
每小时关注度
现在 42,24 小时 0%·峰值 42(11月13日 03:00)
后续时间线
- X@safe_paper· 讨论https://arxiv.org/abs/2610.31593(新标签页打开原帖)
- X @bshlgrs(Buck Shlegeris,Redwood Research)研究显示用 LLM 模拟器替代真实环境评测 AI 控制协议效果良好
一项新论文提出,可以用大语言模型模拟器替代真实环境来评测 AI 控制协议,检验监控器能否阻止智能体在部署中造成伤害;论文称模型能够较准确地模拟面向特定部署场景的控制评测环境。Redwood Research 的 Buck Shlegeris 转发该论文并评价称,这种做法效果良好,让在真正关心的部署场景中检验控制措施变得可行得多。
- LessWrong精选模拟控制评测(SCEs):用 LLM 模拟器让控制评测更贴近真实部署
作者发布模拟控制评测(SCEs)论文,提出用 LLM 模拟器伪造工具返回,在不实际执行攻击的情况下测试开发者用于监督 Agent 的监控器能否发现蓄意插入漏洞、窃取凭证或破坏实验的模型。方法从 Agent 在真实代码库中的工作轨迹出发,由 gpt-6-astra 模拟工具输出(gpt-5.6-sol 兜底),gpt-5.6-sol 同时充当攻击策略与攻击成功判官。论文报告,在可真实执行的 LinuxArena 上对照验证,模拟与真实的差距和两次独立真实运行间的差距相当;5% 审计预算下安全预测 RMSE 为 3.6 个百分点,BashArena 为 10.1 个百分点;SCE 解释了侧任务类别间 95%、环境间 78% 的预期安全差异,用部署规模 4.6% 的任务对抽样即超过 BashArena 的完整预测。
- Redwood Research精选Redwood Research 发布模拟控制评测(SCE)方法论文
Redwood Research 发布论文提出模拟控制评测(SCE),用 LLM 环境模拟器代替真实执行,检验开发者部署的监控能否在智能体实施有害行为前拦截。方法是在真实代码库的智能体转录上让攻击策略继续任务,工具调用不实际执行,由模拟器生成工具输出,再用攻击成功判定模型估计攻击是否得手。在可真实执行的 LinuxArena 上,SCE 对主要安全指标的预测误差为 3.6 个百分点,BashArena 为 10.1,模拟轨迹与真实执行的行为分布差异接近两次独立真实执行之间的差异。作者称模拟样本量不到部署的 5%,仅用 4.6% 的任务对抽样即可超过完整 BashArena 的安全预测,并指出保真度只能在可真实执行的环境里验证,长周期多智能体攻击尚无模拟器。
- 论文追踪模拟控制评估(Simulated Control Evals)
论文提出模拟控制评估(SCEs),用语言模型模拟工具响应来替代真实环境,从而在更多环境中开展控制评估。作者在能提供真实执行结果的 LinuxArena 上测试,在 5% 审计预算、五个监控器下,SCE 对安全性的预测均方根误差为 3.6 个百分点,BashArena 为 10.1。SCE 与真实执行之间的 KL 散度比 BashArena 低十倍以上,可解释不同环境间攻击成功率、监控分数与安全性差异的 78% 至 85%,所需的任务对抽样数不到部署任务集的 5%。模拟中发现的策略在留出的 LinuxArena 攻击上也提升了监控表现,效果接近真实执行策略带来的提升。
相关讨论
- 72 小时以前 · 不计入 72 小时的数字
- X@jeonghy71551049 · chohi22AI가 일부러 잘못 행동하면 감시 장치가 막을 수 있을까요? 실제 업무를 흉내 낸 ‘모의시험’이 별도 시험장보다 안전성을 더 정확히 예측했습니다. 다만 검증은 LinuxArena 환경에 한정됩니다. https://…(新标签页打开原帖)
- X@SciFi · Artificial Intelligence PapersSimulated Control Evals Jeffrey Olmo, David Zhang, Tyler Tracy https://arxiv.org/abs/2610.31593 [𝚌𝚜.𝙰𝙸](新标签页打开原帖)
- X@_MarcosValera · marcos valeratesting monitors on a simulated deployment beats attacking your own systems. Redwood found sim vs real gaps often as sm…(新标签页打开原帖)
1 赞·10月27日 17:45采集
- X@Zeniteqco · zeniteqRedwood Proposes Simulated Attacks to Test AI Monitors Redwood’s simulated control evaluations test whether AI-agent m…(新标签页打开原帖)
- X@Im_BluePhantom · Blue PhantomRedwood Research tested agent monitors with task context and simulated tool outputs. On LinuxArena, safety estimates mi…(新标签页打开原帖)
1 赞·10月26日 22:34采集
- X@LifanBuilds · Lifan | Builder1/ Redwood tests monitors with simulated tool responses grounded in agent traces and code. Safety-prediction error was…(新标签页打开原帖)
1 评论·10月27日 17:45采集
- X@YUK_KND · YUK_K@Cardputer Zeroの人⑤ arXiv研究が、言語モデルでツール応答をシミュレーションする制御評価を提案。LinuxArenaでは5%監査予算での安全性予測RMSEが3.6ポイントとなり、別環境BashArenaの10.1ポイントを下回ったと報告しています。査読…(新标签页打开原帖)
- X@hahwul · HAHWULNeat idea :D Redwood runs control evals on real agent transcripts by having an LLM simulate the tool outputs https://…(新标签页打开原帖)
1 赞 · 1 评论·10月26日 22:34采集
- X@safe_paper · AI Safety Papershttps://arxiv.org/abs/2610.31593(新标签页打开原帖)
- X@safe_paper · AI Safety PapersSimulated Control Evals @JeffOlmo, @davidzhang37, @tylertracy321 @redwood_ai(新标签页打开原帖)
19 赞 · 1 评论·10月27日 03:36采集
- X@ppmmzzcn · AI观察者 | 平行世界🤖【AI HOT】Redwood Research 提出模拟控制评估方法 SCE 测试 AI 监控器Redwood Research 发布模拟控制评估(SCE)论文,用 LLM 环境模拟器伪造工具响应来测试监控器能否拦截模型的蓄意攻击,无…(新标签页打开原帖)
- X@JeffOlmo · Jeff OlmoPaper: https://arxiv.org/abs/2610.31593 Blog: https://blog.redwoodresearch.org/p/simulated-control-evaluations Work don…(新标签页打开原帖)
7 赞 · 2 评论·10月26日 16:33采集