跳到正文
事件历史事件

论文提出用语言模型模拟工具响应做控制评估

4篇报道4个报道来源最近报道

先了解这件事

AI 综述

2026年10月23日发布的一篇论文提出“模拟控制评估”方法:用语言模型模拟工具响应,在可实际执行的 LinuxArena 环境中核对预测,安全预测的均方根误差为3.6个百分点。该结果基于五个监测器、5%审计预算与独立抽样任务集;对照环境 BashArena 的对应误差为10.1个百分点。论文指出,这不是所有部署环境的通用误差界,模拟中发现的策略也改善了留出 LinuxArena 攻击上的监测表现。10月24日,Redwood Research 发布论文介绍模拟控制评测(SCE):用 LLM 环境模拟器代替真实执行,在真实代码库的智能体转录上让攻击策略继续任务,工具调用不实际执行,由模拟器生成工具输出,再用攻击成功判定模型估计攻击是否得手;在 LinuxArena 上对主要安全指标的预测误差为3.6个百分点,BashArena 为10.1个百分点。Redwood Research 的 Buck Shlegeris 转发该论文并评价称,这种做法效果良好,让在真正关心的部署场景中检验控制措施变得可行得多。

AI 根据报道生成 · 22 天前更新

走势与进展

每小时关注度

现在 42,24 小时 0%·峰值 42(11月13日 03:00)

11月14日11月15日11月16日11月17日11月18日11月19日11月20日现在 42

后续时间线

10月25日
10月24日
  1. X @bshlgrs(Buck Shlegeris,Redwood Research)
    研究显示用 LLM 模拟器替代真实环境评测 AI 控制协议效果良好

    一项新论文提出,可以用大语言模型模拟器替代真实环境来评测 AI 控制协议,检验监控器能否阻止智能体在部署中造成伤害;论文称模型能够较准确地模拟面向特定部署场景的控制评测环境。Redwood Research 的 Buck Shlegeris 转发该论文并评价称,这种做法效果良好,让在真正关心的部署场景中检验控制措施变得可行得多。

  2. LessWrong精选
    模拟控制评测(SCEs):用 LLM 模拟器让控制评测更贴近真实部署

    作者发布模拟控制评测(SCEs)论文,提出用 LLM 模拟器伪造工具返回,在不实际执行攻击的情况下测试开发者用于监督 Agent 的监控器能否发现蓄意插入漏洞、窃取凭证或破坏实验的模型。方法从 Agent 在真实代码库中的工作轨迹出发,由 gpt-6-astra 模拟工具输出(gpt-5.6-sol 兜底),gpt-5.6-sol 同时充当攻击策略与攻击成功判官。论文报告,在可真实执行的 LinuxArena 上对照验证,模拟与真实的差距和两次独立真实运行间的差距相当;5% 审计预算下安全预测 RMSE 为 3.6 个百分点,BashArena 为 10.1 个百分点;SCE 解释了侧任务类别间 95%、环境间 78% 的预期安全差异,用部署规模 4.6% 的任务对抽样即超过 BashArena 的完整预测。

  3. Redwood Research精选
    Redwood Research 发布模拟控制评测(SCE)方法论文

    Redwood Research 发布论文提出模拟控制评测(SCE),用 LLM 环境模拟器代替真实执行,检验开发者部署的监控能否在智能体实施有害行为前拦截。方法是在真实代码库的智能体转录上让攻击策略继续任务,工具调用不实际执行,由模拟器生成工具输出,再用攻击成功判定模型估计攻击是否得手。在可真实执行的 LinuxArena 上,SCE 对主要安全指标的预测误差为 3.6 个百分点,BashArena 为 10.1,模拟轨迹与真实执行的行为分布差异接近两次独立真实执行之间的差异。作者称模拟样本量不到部署的 5%,仅用 4.6% 的任务对抽样即可超过完整 BashArena 的安全预测,并指出保真度只能在可真实执行的环境里验证,长周期多智能体攻击尚无模拟器。

10月23日
  1. 论文追踪
    模拟控制评估(Simulated Control Evals)

    论文提出模拟控制评估(SCEs),用语言模型模拟工具响应来替代真实环境,从而在更多环境中开展控制评估。作者在能提供真实执行结果的 LinuxArena 上测试,在 5% 审计预算、五个监控器下,SCE 对安全性的预测均方根误差为 3.6 个百分点,BashArena 为 10.1。SCE 与真实执行之间的 KL 散度比 BashArena 低十倍以上,可解释不同环境间攻击成功率、监控分数与安全性差异的 78% 至 85%,所需的任务对抽样数不到部署任务集的 5%。模拟中发现的策略在留出的 LinuxArena 攻击上也提升了监控表现,效果接近真实执行策略带来的提升。

相关讨论

共17条

关注度走势

每小时关注度

当前关注度42·可比范围峰值42(11月13日 03:00)·近 24 小时可比范围变化 0%

020406011月13日03:0011月15日11:0011月17日18:0011月20日02:00