模拟控制评测(SCEs):用 LLM 模拟器让控制评测更贴近真实部署
Simulated Control Evaluations
AI 导读
作者发布模拟控制评测(SCEs)论文,提出用 LLM 模拟器伪造工具返回,在不实际执行攻击的情况下测试开发者用于监督 Agent 的监控器能否发现蓄意插入漏洞、窃取凭证或破坏实验的模型。方法从 Agent 在真实代码库中的工作轨迹出发,由 gpt-6-astra 模拟工具输出(gpt-5.6-sol 兜底),gpt-5.6-sol 同时充当攻击策略与攻击成功判官。论文报告,在可真实执行的 LinuxArena 上对照验证,模拟与真实的差距和两次独立真实运行间的差距相当;5% 审计预算下安全预测 RMSE 为 3.6 个百分点,BashArena 为 10.1 个百分点;SCE 解释了侧任务类别间 95%、环境间 78% 的预期安全差异,用部署规模 4.6% 的任务对抽样即超过 BashArena 的完整预测。
推荐理由
论文以 LinuxArena 真实执行为对照量化模拟控制评测的误差与样本效率,为贴近部署的控制评测提供可复用方法。
阅读原文