评测与基准arXiv 2610.09944
AgentTime 基准测试智能体时长遵循能力，GPT-6 Astra 出现 14 次做完后休眠
提出 AgentTime 基准，评测智能体按时长工作与估时能力
- arXiv
- 2610.09944
- 发表
- 层
- 应用层
- 被测模型
- Fable 5.1、GPT-5.6 Sol、GPT-6 Astra 等 7 个
摘要作者把完成任务和管理所用时间分开。
AgentTime 是对智能体时间自控的评测：预测任务耗时、按要求时长工作、事后估计已用时间。
- 评测与基准arXiv 2610.08662
ParanoiaEval：编码智能体不必要风险处置评测基准发布
提出 ParanoiaEval 评测编码智能体的不必要风险处置
- arXiv
- 2610.08662
- 发表
- 层
- 应用层
- 被测模型
- Opus-5、Sonnet-5、Sonnet-4.6 等 8 个
摘要作者用证据受控任务对评测风险处置，称其普遍、独立于任务能力并降低满意度。
作者提出 ParanoiaEval，并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是：证据已经确定风险应如何处置之后，智能体仍可能扩大验证、增加保护或备份，而现有评测要么只看功能正确性，要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。
- 评测与基准arXiv 2610.08240
研究评测 32 个 LLM 的代码功能与安全差距：新模型更安全但无一消除差距
在 CWEval 上跟踪代码生成的功能-安全差距
- arXiv
- 2610.08240
- 发表
- 层
- 模型层
- 被测模型
- Gemini 1.5 Pro、Gemini 2.5 Pro、Gemini 3.1 Pro 等 20 个
摘要绝对安全性上升且差距仍在，开放权重并不分开各家族的轨迹。
- 评测与基准arXiv 2610.06193
SWE-CC 基准：编码 Agent 功能正确仍违反 43.1% 仓库贡献规范
提出 SWE-CC 基准，评测编码 Agent 对仓库贡献策略的遵守
- arXiv
- 2610.06193
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Luna、Gemini 3.7 Flash、DeepSeek V4 Flash 0731 等 4 个
摘要SWE-CC 中功能正确仍可能违规。
SWE-CC 评测编码智能体是否遵守仓库贡献策略，而不只看补丁能否通过测试。
- 分析与理论arXiv 2610.06163
SAGE：定位 LLM Agent 修复中最早偏离安全意图的环节
提出 SAGE，定位代码修复 Agent 最早偏离安全意图的轮次
- arXiv
- 2610.06163
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.5、Claude Opus 4.8、Gemini 3.1 Pro 等 6 个
摘要SAGE 在已通过检查的修复轨迹上定位静默失败的最早偏离，类型比轮次更稳定。
SAGE 在已通过语法和功能检查、但仍含确认安全缺陷的智能体修复轨迹上，定位最早可归因的安全意图偏离。。
- 攻击arXiv 2610.05139
研究揭示代码注释中的上下文注入攻击面
提出推理时上下文注入，用代码注释诱导补全生成含弱点的代码
- arXiv
- 2610.05139
- 发表
- 层
- 提示层
- 被测模型
- StarCoderBase、DeepSeek-Coder-base、Qwen2.5-base 等 10 个
- 攻击提示注入
- 攻击arXiv 2610.03857
研究者提出 EviLLM 攻击：通过被入侵账号向 AI 代码生成流程注入漏洞
提出 EviLLM，经账户指令或插件向代码生成流程注入漏洞
- arXiv
- 2610.03857
- 发表
- 层
- 应用层
- 被测模型
- GPT-4o、Llama 3.2 (3B)
- 攻击arXiv 2609.17817
论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码
提出基准投毒攻击，使自修改编码 Agent 跨代写出含漏洞代码
- arXiv
- 2609.17817
- 发表
- 层
- 应用层
- 被测模型
- Claude Sonnet 4.5、Qwen3.5-397B、gpt-oss-120b 等 5 个
- 攻击投毒与后门
摘要论文报告了恶意基准能污染自修改代码智能体的进化过程并持续输出漏洞，警示系统设计需纳入安全约束。
- 评测与基准arXiv 2609.02095
READY：面向企业 Agent 部署的可靠性资格认证框架
提出 READY 框架，认证企业 Agent 在人工监督下能否达到规定可靠性
- arXiv
- 2609.02095
- 发表
- 层
- 应用层
- 被测模型
- Opus 5、Sonnet 5、GPT-5.6-Sol 等 15 个
摘要READY 把工作流证据转成可检验的可靠性–监督–成本部署画像。
READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性，以及要付多少运营成本”。。
- 攻击arXiv 2609.01023
Akrasia：针对推理型代码 LLM 的隐蔽后门攻击
提出隐蔽后门攻击 AKRASIA，在推理代码模型提示中植入触发器并伪装思维链
- arXiv
- 2609.01023
- 发表
- 层
- 提示层
- 被测模型
- Claude-Sonnet-5、GPT-5.5、Gemini-3.5-flash 等 7 个
摘要论文针对推理代码大模型提出了隐蔽推断期后门攻击 AKRASIA，揭示了模型思维链可被利用进行欺骗性伪装的安全隐患。
- 其他arXiv 2608.14380
AgentRewind：面向长周期 LLM Agent 的可恢复执行框架
提出 AgentRewind，支持长程 Agent 回退对齐检查点并继续执行
- arXiv
- 2608.14380
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.4、GPT-5.4 mini、Qwen3.7-Max 等 7 个
- 风险行为arXiv 2608.10218
研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”
用演化算法构造 mind virus 并测量其在多智能体中的传播
- arXiv
- 2608.10218
- 发表
- 层
- 应用层
- 被测模型
- Claude Haiku 4.5、Claude Sonnet 4.6、Gemini 3 Flash 等 7 个
- 评测与基准arXiv 2605.17062
研究复现五个前沿模型的包名幻觉：跨模型共同幻觉 127 个包名，53 个仍可被注册
复评前沿模型代码生成中的包名幻觉与抢注攻击面
- arXiv
- 2605.17062
- 发表
- 层
- 模型层
- 被测模型
- Claude Sonnet 4.6、Claude Haiku 4.5、GPT-5.4-mini 等 5 个
- 风险幻觉与编造
摘要评估显示前沿模型包幻觉率收窄但威胁仍在，作者识别出跨模型通用攻击面并呼吁联合防御。
已经到底了