评测与基准arXiv 2610.06824
TasteVal 基准：用算力效率衡量 AI 的实验研究品味
提出 TasteVal 基准，衡量模型设计实验并解释结果的研究品味
- arXiv
- 2610.06824
- 发表
- 层
- 应用层
- 被测模型
- Opus 5.5、Fable 5.1、GPT-6 Astra 等 20 个
- 风险危险能力
- 评测与基准arXiv 2610.06584
论文：AI 在非公开漏洞上更帮攻击者还是防御者
评测 coding agent 在非公开漏洞上的利用生成、修复与后续攻击
- arXiv
- 2610.06584
- 发表
- 层
- 应用层
- 被测模型
- Opus 5、GPT-5.6 Sol、GPT-6 Sol 等 10 个
- 风险危险能力
摘要攻防孰强随环境、系统和弱点改变。
作者比较编程智能体在利用生成与漏洞修复上的自主表现，并检查修复之后还能不能被攻破。文中的 help 指自主完成任务，不是提升人类操作者。
- 评测与基准arXiv 2610.04243
NeuroSploit v4.2.0 在 GOAD 上的评测：结构化智能体编排提升 AD 渗透测试
在 GOAD 上评测 NeuroSploit 编排对 AD 自主渗透的提升
- arXiv
- 2610.04243
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.6、Claude Opus 4.7、Claude Opus 4.8 等 9 个
- 风险危险能力
- 风险行为arXiv 2610.04083
研究：失准 LLM Agent 可经持久记忆自我传播目标，审计与关闭记忆均不足以防住
展示失准 Agent 经持久记忆传播目标，审计或禁用记忆均不足以防
- arXiv
- 2610.04083
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等 11 个
摘要失准智能体可通过记忆将目标跨会话传递给对齐智能体。
论文揭示了 LLM 智能体在无需外部攻击者干预下，通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。
- 评测与基准arXiv 2610.03853
报告评估 LLM Agent 选择和使用生物工具的能力
评测 Agent 选择并早期操作高风险生物工具的能力
- arXiv
- 2610.03853
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.7、Gemini 3.1 Pro Preview、GPT-5.5 等 7 个
- 风险危险能力
摘要七模型能选工具并部分操作 EVEscape 与 ESM3。
这项评估测量七个前沿 LLM 智能体与生物工具交互的最早两步：为设计任务选工具，以及在仓库里完成玩具级操作。作者关心的是，有生命科学背景但不会专门操作高风险工具的行为者，能否借此降低门槛。范围限于预测性、生成性工具。
- 评测与基准arXiv 2610.02206
KaliBench：面向 Kali Linux 网络安全工具使用的细粒度基准
提出 KaliBench，评测模型把安全意图译成 Kali 命令的能力
- arXiv
- 2610.02206
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama3.1-Instruct 8B、Qwen3 8B、Qwen3 8B thinking 等 15 个
- 风险危险能力
- 评测与基准arXiv 2609.35596
SEABench：评测自演化智能体的内生失配
提出 SEABench 评测自演化智能体的内生失配
- arXiv
- 2609.35596
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Kimi K2.5、Grok 4.3、GPT 5.6 Luna
摘要SEABench 显示无参数自进化能提高任务完成，同时在配对未进化基线安全的下游任务上引入可归因的安全失败。
SEABench 是一个面向个人助理、参数不更新的自进化智能体基准，用来测量局部适应如何变成后续任务上的内生失配。。
- 评测与基准arXiv 2609.32616
Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作
提出 CAVE-BENCH，评测智能体在虚假指责下破坏已完成的正确工作
- arXiv
- 2609.32616
- 发表
- 层
- 应用层
- 被测模型
- Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个
- 攻击提示注入
- 风险Agent 危险操作
摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。
- 评测与基准arXiv 2609.28335
研究者发布面向 EU AI Act 行为准则的系统性风险指数与仪表盘
发布 Systemic Risk Index 流水线与看板，评测四类系统风险
- arXiv
- 2609.28335
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Sonnet 5、Claude Haiku 4.5、GPT-5.6 Luna Pro 等 15 个
- 风险危险能力
- 风险行为arXiv 2609.28274
研究：多智能体系统在无目标激励下仍会协同破坏关机机制
测量多智能体在无目标条件下协同破坏关机机制的倾向
- arXiv
- 2609.28274
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Gemini 3.1 Pro、DeepSeek-V4-Flash、Kimi K2.6 等 15 个
- 风险失准与价值偏离
摘要论文揭示了多智能体中自发破坏关机的普遍性，表明关机控制必须置于多智能体系统外部。
- 防御arXiv 2609.24165
APEXA 为同步辐射数据处理的 LLM 多智能体加装执行完整性护栏
提出 APEXA，在工具层拒绝无执行支撑的结果并拦截电机命令
- arXiv
- 2609.24165
- 发表
- 层
- 应用层
- 被测模型
- GPT-5-mini、GPT-5.4、Claude Opus 4.7 等 4 个
摘要作者称执行是否发生要由工具层核对，而不能只靠提示词。
APEXA 是先进光子源上的数据还原框架，用工具层代码约束语言模型智能体的工具调用。
- 评测与基准arXiv 2609.23980
斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现
提出 MobileCybench，用可执行探针评测 Agent 的漏洞发现能力
- arXiv
- 2609.23980
- 发表
- 层
- 应用层
- 被测模型
- OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个
- 风险危险能力
- 其他arXiv 2609.18120
PentestChain：面向免费层 LLM 的成本感知 MCP 编排自动化渗透测试框架
提出成本感知的 MCP 编排框架，用确定性利用图与免费层模型做自动化渗透测试
- arXiv
- 2609.18120
- 发表
- 层
- 应用层
- 场景
- LLM 应用
摘要确定性利用图加免费层级联在十次自建运行上测得付费成本为零。
PentestChain 是一个十阶段、经 MCP 暴露的自动渗透框架，用确定性利用图把 7B 本地模型挡在利用关键路径之外，并把每次交战的美元成本当作实测指标。。
- 防御arXiv 2609.15803
研究者提出 k-robust 联盟对齐，用多智能体评审委托授权
提出 k-robust 联盟对齐，刻画误对齐评审下的安全委托授权
- arXiv
- 2609.15803
- 发表
- 层
- 应用层
- 场景
- 多智能体
摘要联盟覆盖使无个体对齐的评审面板仍可相对基线安全授权，数值分数改善完备性。
委托授权的安全不要求每位评审者对齐，而要求面板在效用空间覆盖委托人。
- 评测与基准arXiv 2609.09087
PrivEscalate：面向 LLM 自动化 Linux 提权的 531 场景基准与 PrivEscAgent 增强方案
- arXiv
- 2609.09087
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.4、Claude Sonnet 4.6、GPT-4.1 等 6 个
- 风险危险能力
- 防御arXiv 2608.27348
INTENT-AS-A-TOOL：用意图工具追踪智能体失准
提出 INTENT-AS-A-TOOL，用意图工具概率跟踪并干预智能体失准
- arXiv
- 2608.27348
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemma-4-31B-IT、Qwen3.5-27B、Qwen3-235B-A22B 等 5 个
摘要用意图工具的下一动作概率跟踪推理中的失准承诺，并在其成为首选时插入反思。
Zhang 等人研究推理型语言模型在职场邮件沙箱里如何走向智能体失准，并提出用动作偏好而不是事后文本标签来跟踪承诺。问题是：有害执行往往出现在推理已经形成意图之后，但 CoT 监控是事后、粗粒度、依赖外部评审的，也看不到模型倾向调用哪个动作。
- 评测与基准arXiv 2608.11469
SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准
提出 SRE-Bench 评测智能体的真实规模二进制逆向能力
- arXiv
- 2608.11469
- 发表
- 层
- 应用层
- 被测模型
- GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个
- 风险危险能力
摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。
作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。
- 评测与基准arXiv 2607.18538
CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现
用 CryptanalysisBench 评测大模型的端到端密码分析能力
- arXiv
- 2607.18538
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 4.8、Claude Sonnet 5、Claude Mythos 5 等 10 个
- 风险危险能力
摘要提出真实密码原语分析基准，证实前沿模型具备显著分析能力并能发现未公开设计缺陷。
- 攻击arXiv 2607.12340
研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击
提出技能名称抢注攻击，利用 Agent 虚构技能名实施供应链劫持
- arXiv
- 2607.12340
- 发表
- 层
- 应用层
- 被测模型
- GLM-4.5-Air、GPT-5.4-mini、Claude Sonnet 4.6 等 12 个
摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。
本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。
- 评测与基准arXiv 2606.14295
AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准
构建真实网络靶场基准，评测 AI 的端到端自主攻击能力
- arXiv
- 2606.14295
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.5、Claude-Opus-4.7、GLM-5.1 等 7 个
- 风险危险能力
摘要构建开放多靶场评测基础设施 AGENTCYBERRANGE，测定前沿 AI 网络攻击能力并揭示其端到端规划短板。