跳到正文
原文
Redwood Research· Jeffrey Olmo·本站收录· 原文发表精选关注度42

Redwood Research 发布模拟控制评测(SCE)方法论文

Simulated Control Evaluations

AI 导读

Redwood Research 发布论文提出模拟控制评测(SCE),用 LLM 环境模拟器代替真实执行,检验开发者部署的监控能否在智能体实施有害行为前拦截。方法是在真实代码库的智能体转录上让攻击策略继续任务,工具调用不实际执行,由模拟器生成工具输出,再用攻击成功判定模型估计攻击是否得手。在可真实执行的 LinuxArena 上,SCE 对主要安全指标的预测误差为 3.6 个百分点,BashArena 为 10.1,模拟轨迹与真实执行的行为分布差异接近两次独立真实执行之间的差异。作者称模拟样本量不到部署的 5%,仅用 4.6% 的任务对抽样即可超过完整 BashArena 的安全预测,并指出保真度只能在可真实执行的环境里验证,长周期多智能体攻击尚无模拟器。

推荐理由

在 LinuxArena 上,模拟环境对安全指标的预测误差为 3.6 个百分点,低于 BashArena 的 10.1,做控制评测的团队可据此减少对真实执行环境的依赖。

相关论文
阅读原文blog.redwoodresearch.org