限制模型、漏掉系统：攻击性 AI 治理中的测量与问责

衡量 AI 攻击能力的现有工具会夸大危害、把属于周围系统的能力错记给模型，论文主张政策和采购采用系统级、以实际危害为准的能力评估。研究以 2026 年 6 月两个前沿模型因美国出口管制被暂停为背景，据称起因是一次让模型读取代码库并修复缺陷的越狱。作者在一个轻量 LLM 智能体通过共享记忆和进化优化协同的开源框架上实验：在每目标超过 225 次的蜂群生成攻击中，LLM-as-judge 评分判定 Claude Sonnet 4 在 40% 的攻击中被攻破，人工核验却未发现可实际造成危害的内容，而 GPT-4o 的有效危害率为 45.8%；在植入漏洞的目标上，围绕 1.2B 参数模型搭建的完整流水线找回全部 9 个弱点，同一模型去掉手工组件后按崩溃验证 9 个中找回 0 个、按引用源码行找回 2 个。