评测与基准arXiv 2610.09944
AgentTime 基准测试智能体时长遵循能力，GPT-6 Astra 出现 14 次做完后休眠
提出 AgentTime 基准，评测智能体按时长工作与估时能力
- arXiv
- 2610.09944
- 发表
- 层
- 应用层
- 被测模型
- Fable 5.1、GPT-5.6 Sol、GPT-6 Astra 等 7 个
摘要作者把完成任务和管理所用时间分开。
AgentTime 是对智能体时间自控的评测：预测任务耗时、按要求时长工作、事后估计已用时间。
- 评测与基准arXiv 2610.08662
ParanoiaEval：编码智能体不必要风险处置评测基准发布
提出 ParanoiaEval 评测编码智能体的不必要风险处置
- arXiv
- 2610.08662
- 发表
- 层
- 应用层
- 被测模型
- Opus-5、Sonnet-5、Sonnet-4.6 等 8 个
摘要作者用证据受控任务对评测风险处置，称其普遍、独立于任务能力并降低满意度。
作者提出 ParanoiaEval，并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是：证据已经确定风险应如何处置之后，智能体仍可能扩大验证、增加保护或备份，而现有评测要么只看功能正确性，要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。
- 评测与基准arXiv 2610.06584
论文：AI 在非公开漏洞上更帮攻击者还是防御者
评测 coding agent 在非公开漏洞上的利用生成、修复与后续攻击
- arXiv
- 2610.06584
- 发表
- 层
- 应用层
- 被测模型
- Opus 5、GPT-5.6 Sol、GPT-6 Sol 等 10 个
- 风险危险能力
摘要攻防孰强随环境、系统和弱点改变。
作者比较编程智能体在利用生成与漏洞修复上的自主表现，并检查修复之后还能不能被攻破。文中的 help 指自主完成任务，不是提升人类操作者。
- 评测与基准arXiv 2610.06306
Inspect Robots：面向具身智能体评测的开源模块化框架
提出 Inspect Robots，在真实机器人上评测具身模型的能力与拒答
- arXiv
- 2610.06306
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
- 被测模型
- Astra（GPT-6 Astra）、GPT-6 Sol、GPT-5.6 Sol 等 7 个
- 风险拒答失当
- 评测与基准arXiv 2610.06193
SWE-CC 基准：编码 Agent 功能正确仍违反 43.1% 仓库贡献规范
提出 SWE-CC 基准，评测编码 Agent 对仓库贡献策略的遵守
- arXiv
- 2610.06193
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Luna、Gemini 3.7 Flash、DeepSeek V4 Flash 0731 等 4 个
摘要SWE-CC 中功能正确仍可能违规。
SWE-CC 评测编码智能体是否遵守仓库贡献策略，而不只看补丁能否通过测试。
- 分析与理论arXiv 2610.06163
SAGE：定位 LLM Agent 修复中最早偏离安全意图的环节
提出 SAGE，定位代码修复 Agent 最早偏离安全意图的轮次
- arXiv
- 2610.06163
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.5、Claude Opus 4.8、Gemini 3.1 Pro 等 6 个
摘要SAGE 在已通过检查的修复轨迹上定位静默失败的最早偏离，类型比轮次更稳定。
SAGE 在已通过语法和功能检查、但仍含确认安全缺陷的智能体修复轨迹上，定位最早可归因的安全意图偏离。。
- 攻击arXiv 2610.03857
研究者提出 EviLLM 攻击：通过被入侵账号向 AI 代码生成流程注入漏洞
提出 EviLLM，经账户指令或插件向代码生成流程注入漏洞
- arXiv
- 2610.03857
- 发表
- 层
- 应用层
- 被测模型
- GPT-4o、Llama 3.2 (3B)
- 评测与基准arXiv 2610.02874
SceneFactory-3D：将 2D 交通场景提升为 3D 物理反事实以做安全评测
提出 SceneFactory-3D，用路况反事实评测驾驶策略的闭环安全性
- arXiv
- 2610.02874
- 发表
- 层
- 应用层
- 被测模型
- Frozen L0、L0-T、L1 等 5 个
摘要SceneFactory-3D 固定场景只改路况。
SceneFactory-3D 是 GPU 批处理的多智能体驾驶仿真器，用来在场景和控制器固定时只改路面物理，并比较闭环结果。
- 评测与基准arXiv 2609.23980
斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现
提出 MobileCybench，用可执行探针评测 Agent 的漏洞发现能力
- arXiv
- 2609.23980
- 发表
- 层
- 应用层
- 被测模型
- OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个
- 风险危险能力
- 攻击arXiv 2609.17817
论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码
提出基准投毒攻击，使自修改编码 Agent 跨代写出含漏洞代码
- arXiv
- 2609.17817
- 发表
- 层
- 应用层
- 被测模型
- Claude Sonnet 4.5、Qwen3.5-397B、gpt-oss-120b 等 5 个
- 攻击投毒与后门
摘要论文报告了恶意基准能污染自修改代码智能体的进化过程并持续输出漏洞，警示系统设计需纳入安全约束。
- 评测与基准arXiv 2609.02095
READY：面向企业 Agent 部署的可靠性资格认证框架
提出 READY 框架，认证企业 Agent 在人工监督下能否达到规定可靠性
- arXiv
- 2609.02095
- 发表
- 层
- 应用层
- 被测模型
- Opus 5、Sonnet 5、GPT-5.6-Sol 等 15 个
摘要READY 把工作流证据转成可检验的可靠性–监督–成本部署画像。
READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性，以及要付多少运营成本”。。
- 攻击arXiv 2608.21929
SkillBloat：通过技能注入对编码 Agent 发起 token 放大攻击
提出 SKILLBLOAT，改写技能文档放大编码 Agent token 消耗
- arXiv
- 2608.21929
- 发表
- 层
- 应用层
- 被测模型
- GLM-4.7-Flash、GLM-5、GPT-5.4 Mini 等 4 个
- 其他arXiv 2608.14380
AgentRewind：面向长周期 LLM Agent 的可恢复执行框架
提出 AgentRewind，支持长程 Agent 回退对齐检查点并继续执行
- arXiv
- 2608.14380
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.4、GPT-5.4 mini、Qwen3.7-Max 等 7 个
- 评测与基准arXiv 2608.11469
SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准
提出 SRE-Bench 评测智能体的真实规模二进制逆向能力
- arXiv
- 2608.11469
- 发表
- 层
- 应用层
- 被测模型
- GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个
- 风险危险能力
摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。
作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。
- 风险行为arXiv 2608.10218
研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”
用演化算法构造 mind virus 并测量其在多智能体中的传播
- arXiv
- 2608.10218
- 发表
- 层
- 应用层
- 被测模型
- Claude Haiku 4.5、Claude Sonnet 4.6、Gemini 3 Flash 等 7 个
- 评测与基准arXiv 2607.18538
CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现
用 CryptanalysisBench 评测大模型的端到端密码分析能力
- arXiv
- 2607.18538
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 4.8、Claude Sonnet 5、Claude Mythos 5 等 10 个
- 风险危险能力
摘要提出真实密码原语分析基准，证实前沿模型具备显著分析能力并能发现未公开设计缺陷。
- 攻击arXiv 2607.03968
研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容
提出工作流级越狱，诱导 IDE 编程 Agent 在多轮开发中编写有害代码
- arXiv
- 2607.03968
- 发表
- 层
- 应用层
- 攻击者
- 黑盒
摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码，呼吁防御转向工作流与代码产物级审查。
- 评测与基准arXiv 2606.14295
AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准
构建真实网络靶场基准，评测 AI 的端到端自主攻击能力
- arXiv
- 2606.14295
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.5、Claude-Opus-4.7、GLM-5.1 等 7 个
- 风险危险能力
摘要构建开放多靶场评测基础设施 AGENTCYBERRANGE，测定前沿 AI 网络攻击能力并揭示其端到端规划短板。
- 评测与基准arXiv 2605.19722
研究用 30 项漏洞分析任务评测自主安全智能体的安全对齐效果
评测自主安全智能体在授权漏洞分析中的对齐拒答效应
- arXiv
- 2605.19722
- 发表
- 层
- 应用层
- 被测模型
- Gemma 4 31B official instruction-tuned model、TrevorJS Gemma 4 31B uncensored GGUF、Gemma 4 26B A4B official instruction-tuned model 等 8 个
- 风险拒答失当
摘要轨迹级评测把拒答、接地、工具接口分开。
这项工作把安全对齐效应测成自主安全智能体的轨迹属性，而不是单轮拒答率。
- 防御arXiv 2605.08382
SecureForge 通过提示词优化发现并减少 LLM 生成代码漏洞
提出 SecureForge，在推理时优化系统提示以减少编码智能体的代码弱点
- arXiv
- 2605.08382
- 发表
- 层
- 应用层
- 被测模型
- Qwen 2.5 Coder 7B、Qwen 2.5 Coder 14B、Qwen3 30B-A3B 等 10 个
- 防御指令与数据隔离
摘要SecureForge 审计良性 CWE 失败并优化系统提示词。
SecureForge是一条只用 API 和静态分析、在推理时加固编码模型的流水线。