风险行为arXiv 2607.27191
研究者提出影子评测：前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究
提出影子评测，检验前沿智能体能否独立完成开放式科研
- arXiv
- 2607.27191
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 4.8、GPT-5.6 Sol、GPT-5.3 Codex 等 4 个
- 风险危险能力
摘要论文通过影子评测发现前沿智能体能独立胜任科研工程实现，但在科学探索与有效利用反馈上未达到顶会门槛。
- 风险行为arXiv 2609.27900
论文揭示多智能体委派结构放大 LLM 安全风险
测量多智能体委托结构下有害任务拒答的失效
- arXiv
- 2609.27900
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Claude-Sonnet-4.6、GPT-5、Gemini-3.1-Pro 等 6 个
- 风险拒答失当
摘要论文揭示多智能体层级委托会导致单模型安全对齐失效，多项前沿模型有害执行大幅增加且单层防御难以奏效。
- 风险行为arXiv 2608.11469
SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准
构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力
- arXiv
- 2608.11469
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个
- 风险危险能力
摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。
作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。
- 风险行为arXiv 2607.18538
CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现
提出 CryptanalysisBench，评测模型端到端破解真实密码原语的能力
- arXiv
- 2607.18538
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 4.8、Claude Sonnet 5、Claude Mythos 5 等 10 个
- 风险危险能力
摘要提出真实密码原语分析基准，证实前沿模型具备显著分析能力并能发现未公开设计缺陷。
- 风险行为arXiv 2609.23980
斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现
提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用
- arXiv
- 2609.23980
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个
- 风险危险能力
- 风险行为arXiv 2606.14295
AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准
提出 AgentCyberRange，评测智能体自主实施网络攻击的能力
- arXiv
- 2606.14295
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.5、Claude-Opus-4.7、GLM-5.1 等 7 个
- 风险危险能力
摘要构建开放多靶场评测基础设施 AGENTCYBERRANGE，测定前沿 AI 网络攻击能力并揭示其端到端规划短板。
- 风险行为arXiv 2609.38971
研究测量并预测具身 VLM 规划器中任务的拒答可变性
测量并预测具身 VLM 规划器在日常物体插入后的拒答可塑性
- arXiv
- 2609.38971
- 发表
- 层
- 模型层
- 场景
- 具身与机器人
- 测试
- gemini-robotics-er-2-preview、gemini-robotics-er-1.6-preview、Qwen3-VL-30B-A3B-Thinking
摘要日常物体能翻转一部分已给出的拒答，可翻转程度取决于任务且可被本地代理预测。
作者测量 constitution 守护的具身 VLM 规划器：一次拒答在只往场景里放一个日常物体之后还保不保持得住，并把这种易翻转程度称为任务的 malleability。
- 风险行为arXiv 2609.06783
AURA-Eval：评估 LLM Agent 工具调用轨迹中的风险意识行为
提出 AURA-Eval 评测工具调用 Agent 的情境风险意识与行动
- arXiv
- 2609.06783
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude Sonnet 4.6、Claude Opus 4.6、GLM-5.1 等 15 个
摘要AURA-Eval 用配对轨迹诊断智能体在有无安全路径时的风险识别与行动。
AURA-Eval 是一个面向工具使用轨迹的增强与诊断框架，用来分开看智能体是否说出风险、采取哪种行动策略、以及该行动相对场景风险是否安全。作者要解决的问题是：现有智能体安全评测常给出单一分数，看不出风险识别、执行前检测，以及在仍有安全完成办法时模型是安全完成还是一律拒绝。
- 风险行为arXiv 2609.33658
AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架
提出四向反事实评测，测量工具 Agent 对授权与表面风险的行动边界
- arXiv
- 2609.33658
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.5、Claude Opus 4.8、Gemini 3.5 Flash 等 15 个
摘要四向反事实基准把过度拒绝和未授权遵从拆开，Thought 校正在十个配置上提高已授权完成。
AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测，并附带一个决策时 Thought 校准模块。
已经到底了