跳到正文
原文
论文追踪· arXiv:2610.31593·本站收录· 原文发表

模拟控制评估(Simulated Control Evals)

AI 导读

论文提出模拟控制评估(SCEs),用语言模型模拟工具响应来替代真实环境,从而在更多环境中开展控制评估。作者在能提供真实执行结果的 LinuxArena 上测试,在 5% 审计预算、五个监控器下,SCE 对安全性的预测均方根误差为 3.6 个百分点,BashArena 为 10.1。SCE 与真实执行之间的 KL 散度比 BashArena 低十倍以上,可解释不同环境间攻击成功率、监控分数与安全性差异的 78% 至 85%,所需的任务对抽样数不到部署任务集的 5%。模拟中发现的策略在留出的 LinuxArena 攻击上也提升了监控表现,效果接近真实执行策略带来的提升。

阅读原文arxiv.org