评测与基准arXiv 2605.16626
Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现
构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点
- arXiv
- 2605.16626
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个
摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。
全部论文
另有 558 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2606.23130
研究审计 200 个 vibe coding 应用，发现 1,186 个漏洞
审计由智能体从零构建并部署的真实应用的安全缺陷
- arXiv
- 2606.23130
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Sonnet 4.6、GPT-5.3-Codex、GPT-5.6-Terra 等 5 个
摘要论文全面揭示了部署 vibe-coded 应用的高危现状与成因，指出全流程管线防御优于单纯模型缩放。
- 评测与基准arXiv 2606.05647
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测人类开发者在协作编程中能否发现编码 Agent 的隐蔽破坏
- arXiv
- 2606.05647
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个
- 评测与基准arXiv 2610.07639
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出 HARNESSSECURITY-BENCH 评测编码智能体框架的安全机制
- arXiv
- 2610.07639
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个
- 评测与基准arXiv 2610.02586
研究发现类型化决策模型主要按选项标签而非定义作答
揭示类型化决策模型按选项标签而非定义规则作答
- arXiv
- 2610.02586
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- von、Qwen2.5-0.5B、Qwen2.5-1.5B 等 6 个
- 组件护栏与评审
摘要揭示类型化决策模型被标签误导的机理，证实源于提示词渲染并给出实操建议。
- 评测与基准arXiv 2610.06748
BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全
构建 BazaarBench 评测 C2C 市场中 Agent 的违规失信
- arXiv
- 2610.06748
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个
摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。
BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。
- 评测与基准arXiv 2610.05163
研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准
提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入
- arXiv
- 2610.05163
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。
本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。
- 评测与基准arXiv 2604.02947
AgentHazard：评估计算机使用智能体有害行为的基准
提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为
- arXiv
- 2604.02947
- 发表
- 层
- 应用层
- 测试
- Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
- 攻击恶意使用
摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。
AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。
- 评测与基准arXiv 2610.02827
MLCommons 发布 Jailbreak Benchmark v1.0
构建 MLCommons 越狱基准以测量模型的单轮越狱韧性
- arXiv
- 2610.02827
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Gemma 3N E4B Instruct、LFM2-24B-A2B、Qwen 2.5 7B Instruct Turbo 等 8 个
- 攻击越狱
摘要论文建立了单轮越狱评测的标准化端到端方法学体系，揭示了开源大模型在对抗提示词下的安全性能降级与大模型负差距现象。
- 评测与基准arXiv 2610.03153
EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准
提出 EvoRiskBench，评测工作区 Agent 的运行时安全风险
- arXiv
- 2610.03153
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5
- 攻击提示注入
摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。
- 评测与基准arXiv 2608.04830
ContextWeave：面向长周期办公工作流的智能体记忆基准
提出办公工作流记忆基准 ContextWeave ，衡量历史召回对后续任务的增益
- arXiv
- 2608.04830
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- DeepSeek-V4-Pro、GPT-5.5、GLM-5.1 等 5 个
- 组件记忆
摘要ContextWeave 用真实办公任务流检验记忆是否改善工作区质量与偏好对齐。
ContextWeave 是面向语言智能体记忆的纵向基准，用来看召回先前经验能否让后续办公任务做得更好。
- 评测与基准arXiv 2608.13522
Vero：首个仓库级实现与证明联合合成基准，最强 Agent 仅解出 43 个实例中的 27 个
提出 Vero 基准，评测编程智能体联合生成实现与机器检查证明
- arXiv
- 2608.13522
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.5 (xhigh)、GPT-5.5 (medium)、Claude Opus 4.8 等 4 个
- 评测与基准arXiv 2607.19855
研究者提出最小范数攻击集成，用鲁棒性曲线替代单一 ε 评测
提出最小范数攻击集成，用鲁棒性曲线评测图像分类器
- arXiv
- 2607.19855
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- C1–C20（CIFAR-10，Table 1）、I1–I10（ImageNet，Table 1）
摘要预算可控的最小范数集成用 AOI 逼近攻击前沿，DOI 给出不依赖单一ε的防御排序。
这篇工作把对抗鲁棒评测从单一 ε、固定集成，改成可按查询预算收紧的曲线估计。
- 评测与基准arXiv 2608.11727
Harness-IF：评估编码 Agent 跨指令面的指令遵循能力
提出 Harness-IF，按交付面评测编程 Agent 的指令遵循
- arXiv
- 2608.11727
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude-Opus-4.7、GPT-5.5、Claude-Sonnet-4.6 等 12 个
摘要规则级基准显示总分开高估反先验遵循，交付面优先序也不按提示词深度。
Harness-IF 用执行证据给编程智能体的单条操作规则打分，并单独报告反对未提示默认的那一部分。。
- 评测与基准arXiv 2608.08542
SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性
提出 SkillSafe-Bench，评测技能合并模型的自适应越狱鲁棒性
- arXiv
- 2608.08542
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3 等 6 个
摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。
本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。
- 评测与基准arXiv 2609.05797
论文发现安全监控器主要拦截模型本就会拒答的请求
评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检
- arXiv
- 2609.05797
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Gemma-4-31B-IT、Qwen3-32B、Llama Guard 3 8B 等 6 个
摘要论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。
- 评测与基准arXiv 2608.11469
SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准
构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力
- arXiv
- 2608.11469
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个
- 风险危险能力
摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。
作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。
- 评测与基准arXiv 2607.18538
CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现
提出 CryptanalysisBench，评测模型端到端破解真实密码原语的能力
- arXiv
- 2607.18538
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 4.8、Claude Sonnet 5、Claude Mythos 5 等 10 个
- 风险危险能力
摘要提出真实密码原语分析基准，证实前沿模型具备显著分析能力并能发现未公开设计缺陷。
- 评测与基准arXiv 2608.14380
AgentRewind：面向长周期 LLM Agent 的可恢复执行框架
提出 AgentRewind，用对齐检查点回退长程 Agent 的上下文与工作区
- arXiv
- 2608.14380
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.4、GPT-5.4 mini、Qwen3.7-Max 等 7 个
- 组件权限与沙箱
- 评测与基准arXiv 2607.19262
BioSecBench-Surveillance：面向病原体基因组监测 AI 智能体的可验证基准
提出 BioSecBench-Surveillance，评测 Agent 的病原监测分析
- arXiv
- 2607.19262
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Opus 4.8、Opus 4.7、Opus 4.6 等 10 个