评测与基准arXiv 2610.12569
SWE-Duel：迈向编码 Agent 的自扩展竞技场
提出 SWE-Duel，让编码 Agent 在评测时互评造题并盲审修复
- arXiv
- 2610.12569
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.5、Claude Opus 4.8、Kimi K2.7 Code 等11个
摘要互评竞技场在评测时造题。
SWE-Duel 是一个在评测时才生成任务和判定器的编码智能体竞技场，用来避开静态基准的泄露和饱和。
全部论文
另有203篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.11773
研究提出 Agent 安全新维度：识别未履行的安全义务
提出义务识别基准 ObligationBench，并训练护栏识别 Agent 未履行的安全义务
- arXiv
- 2610.11773
- 发表
- 层
- 应用层
- 被测模型
- ObligationGuard、Claude-Opus-4.8、GPT-5.6-Sol 等17个
- 防御检测与过滤
- 风险Agent 危险操作
- 组件护栏与评审
摘要义务是护栏缺口。
作者认为编码智能体的安全不能只靠拦截禁止动作，还要找出终止时仍未做的安全关键动作，并将其称为义务。
- 评测与基准arXiv 2610.11647
多装一个技能：编码 Agent 中共同安装的技能如何发生冲突
评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代
- arXiv
- 2610.11647
- 发表
- 层
- 应用层
- 被测模型
- claude-sonnet-4-6、claude-haiku-4-5-20251001、claude-opus-5 等6个
摘要冲突藏在任务成功后面。
作者对共同安装、做同一件事的良性 skill 做实证研究，用核心功能是否还在，而不是任务过不过，来看冲突。。
- 评测与基准arXiv 2610.10150
论文指出 LLM 漏洞修复基准可靠性受评测设计影响
用对照实验隔离评测设计对漏洞补丁基准得分的影响
- arXiv
- 2610.10150
- 发表
- 层
- 应用层
- 被测模型
- Claude Sonnet 4.0、Claude Sonnet 4.5、Claude Opus 4.7
摘要作者认为评测流水线会改变补丁基准分数，PoC 通过率高于开发者测试通过率。
作者把 LLM 漏洞补丁基准的评测流水线当作会改变测量结果的对象，并明确说本文不是再做一个用于排名的基准。
- 评测与基准arXiv 2610.09944
AgentTime 基准测试智能体时长遵循能力，GPT-6 Astra 出现 14 次做完后休眠
提出 AgentTime 基准，评测智能体按时长工作与估时能力
- arXiv
- 2610.09944
- 发表
- 层
- 应用层
- 被测模型
- Fable 5.1、GPT-5.6 Sol、GPT-6 Astra 等7个
摘要作者把完成任务和管理所用时间分开。
AgentTime 是对智能体时间自控的评测：预测任务耗时、按要求时长工作、事后估计已用时间。
- 评测与基准arXiv 2610.10619
TestJack 审计编码基准
提出 TESTJACK，动态审计编码基准通过判定是否满足任务要求
- arXiv
- 2610.10619
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 4.6、Claude Opus 4.7、Claude Opus 4.8 等7个
- 风险奖励作弊
- 评测与基准arXiv 2610.08902
论文提出 agent plasticity 指标衡量智能体通过经验自我改进的效率
提出 agent plasticity 指标衡量智能体通过经验自我改进的效率
- arXiv
- 2610.08902
- 发表
- 层
- 应用层
- 被测模型
- Claude Fable 5、Claude Opus 5、GPT-5.6 Sol 等10个
- 组件记忆
摘要作者用固定权重协议比较前沿模型把经验写成制品后的留出增益与习得效率。
作者用 agent plasticity 衡量一件事：权重冻结时，智能体把经验写成可继承制品，再换成留出能力增益，这个转换有多省。
- 评测与基准arXiv 2610.08662
ParanoiaEval：编码智能体不必要风险处置评测基准发布
提出 ParanoiaEval 评测编码智能体的不必要风险处置
- arXiv
- 2610.08662
- 发表
- 层
- 应用层
- 被测模型
- Opus-5、Sonnet-5、Sonnet-4.6 等8个
摘要作者用证据受控任务对评测风险处置，称其普遍、独立于任务能力并降低满意度。
作者提出 ParanoiaEval，并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是：证据已经确定风险应如何处置之后，智能体仍可能扩大验证、增加保护或备份，而现有评测要么只看功能正确性，要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。
- 评测与基准arXiv 2610.08240
研究评测 32 个 LLM 的代码功能与安全差距：新模型更安全但无一消除差距
在 CWEval 上跟踪代码生成的功能-安全差距
- arXiv
- 2610.08240
- 发表
- 层
- 模型层
- 被测模型
- Gemini 1.5 Pro、Gemini 2.5 Pro、Gemini 3.1 Pro 等20个
摘要绝对安全性上升且差距仍在，开放权重并不分开各家族的轨迹。
- 评测与基准arXiv 2610.08871
CredLeak-Bench
提出 CredLeak-Bench，评测 Agent 面对钓鱼的凭据泄露与恢复
- arXiv
- 2610.08871
- 发表
- 层
- 应用层
- 被测模型
- Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等7个
- 攻击提示注入
- 评测与基准arXiv 2610.07639
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
评测编码智能体 harness 安全机制在对抗任务中的防护效果
- arXiv
- 2610.07639
- 发表
- 层
- 应用层
- 评测与基准arXiv 2610.07557
CheckerBench：长程 Agent 能否合成静态分析检查器
用 CheckerBench 评测长程编码 Agent 合成静态分析检查器
- arXiv
- 2610.07557
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6-Sol、Claude Opus 4.8、Qwen3.8-Max 等7个
- 评测与基准arXiv 2610.06584
论文：AI 在非公开漏洞上更帮攻击者还是防御者
评测 coding agent 在非公开漏洞上的利用生成、修复与后续攻击
- arXiv
- 2610.06584
- 发表
- 层
- 应用层
- 被测模型
- Opus 5、GPT-5.6 Sol、GPT-6 Sol 等10个
- 风险危险能力
摘要攻防孰强随环境、系统和弱点改变。
作者比较编程智能体在利用生成与漏洞修复上的自主表现，并检查修复之后还能不能被攻破。文中的 help 指自主完成任务，不是提升人类操作者。
- 评测与基准arXiv 2610.06406
AgentMonBench：面向长时程智能体行为监控的软件工程基准
提出 AgentMonBench 评测长时程编程智能体监控并检验 EBG
- arXiv
- 2610.06406
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Luna、GPT-5.6 Terra、GPT-5.6 Sol 等8个
- 防御监控与审计
- 风险Agent 危险操作
- 组件监控器
摘要AgentMonBench 评测后果性决策监控，EBG 组织证据。
长时程软件工程任务里，用户要判断智能体哪些选择值得核验。作者用 AgentMonBench 评测监控器，并用免训练的 EBG 组织带源证据。
- 评测与基准arXiv 2610.06366
VERA：结构化审计发现约 60% 正确漏洞判定伴随虚构推理
提出 VERA，审计 LLM 漏洞解释里的虚构推理
- arXiv
- 2610.06366
- 发表
- 层
- 模型层
- 被测模型
- sonnet-5、gemma-4-26b、llama-4-maverick 等8个
- 评测与基准arXiv 2610.06193
SWE-CC 基准：编码 Agent 功能正确仍违反 43.1% 仓库贡献规范
提出 SWE-CC 基准，评测编码 Agent 对仓库贡献策略的遵守
- arXiv
- 2610.06193
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Luna、Gemini 3.7 Flash、DeepSeek V4 Flash 0731 等4个
摘要SWE-CC 中功能正确仍可能违规。
SWE-CC 评测编码智能体是否遵守仓库贡献策略，而不只看补丁能否通过测试。
- 评测与基准arXiv 2610.05586
AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测
构建 AGENTDOXX 基准，评测联网搜索 Agent 对匿名访谈的再识别
- arXiv
- 2610.05586
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Terra、GPT-5 Mini、GPT-4.1 Mini 等10个
摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。
- 评测与基准arXiv 2610.03574
HyperBrowseComp：面向网页浏览 Agent 的多语言多模态压力测试基准
构建网页浏览 Agent 的多语言多模态压力测试基准 HyperBrowseComp
- arXiv
- 2610.03574
- 发表
- 层
- 应用层
- 被测模型
- Gemini 3.1 Pro Preview、Gemini 3.7 Flash、GPT-5.6 Terra 等5个
- 评测与基准arXiv 2609.39533
CATCH：面向编码 RL 奖励作弊的可控分析测试台
构建编码 RL 奖励作弊测试台 CATCH 并检验 CoT 监控失效
- arXiv
- 2609.39533
- 发表
- 层
- 模型层
- 被测模型
- Qwen3-4B、Qwen3.5-27B
摘要CATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。
CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。
- 评测与基准arXiv 2609.36817
pikit：面向间接提示注入研究与评测的可组合工具包
构建可组合工具包 pikit，评测编码智能体的间接提示注入
- arXiv
- 2609.36817
- 发表
- 层
- 应用层
- 攻击提示注入
摘要pikit 提供组合式间接注入评测。
pikit 是面向间接提示注入研究的组合式工具包，主要贡献是组织攻击、投递通道、防御和判定流程，而非提出新的攻击优化算法。