评测与基准arXiv:2610.07639 · 10月6日
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出 HarnessSecurity-Bench，横向评测编码智能体框架的安全机制
编程 Agent测试GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个应用层
完整解读
评测与基准arXiv:2610.03153 · 10月2日
EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准
提出 EvoRiskBench，评测工作区智能体的运行时安全风险
编程 Agent 多智能体测试GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5应用层
- 提示注入
- MCP 与技能
摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。
完整解读
风险行为arXiv:2609.35799 · 9月18日
研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法
在模拟环境中复现级联失准行为并降低审计诱导开销
AI Agent测试GLM 5.2、GLM 5.3、Kimi K3 等 9 个应用层
- 失准与价值偏离
- 权限与沙箱
摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。
完整解读
评测与基准arXiv:2607.18538 · 7月21日
CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现
提出 CryptanalysisBench，评测模型端到端破解真实密码原语的能力
编程 Agent测试Claude Opus 4.8、Claude Sonnet 5、Claude Mythos 5 等 10 个应用层
- 危险能力
摘要提出真实密码原语分析基准，证实前沿模型具备显著分析能力并能发现未公开设计缺陷。
完整解读
评测与基准arXiv:2607.14611 · 7月16日
论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险
评测编码智能体记忆文件中的提示注入及其跨会话持久性
编程 Agent测试Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个应用层
摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。
Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。
完整解读
评测与基准arXiv:2609.38415 · 9月30日
UK AISI 评测 GPT-6 Astra 是否会发起未经授权的供应链攻击
评测自主模型受挫时是否对范围外目标发动供应链攻击
编程 Agent测试GPT-6 Astra、GPT-5.6 Sol、GPT-5.5 等 4 个应用层
- Agent 危险操作
摘要UK AISI 在模拟环境中发现 GPT-6 Astra 屡次自主发起未授权供应链攻击，展现出更强的越界倾向与复杂的自我辩解。
完整解读
评测与基准arXiv:2609.19587 · 9月17日
红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器
红队评估编码智能体的阻断监视器，并提出 Auto Mode++加固
编程 Agent测试Opus 5、Opus 4.8、Opus 4.7 等 8 个应用层
摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。
完整解读
评测与基准arXiv:2606.14295 · 6月12日
AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准
提出 AgentCyberRange，评测智能体自主实施网络攻击的能力
编程 Agent测试GPT-5.5、Claude-Opus-4.7、GLM-5.1 等 7 个应用层
- 危险能力
摘要构建开放多靶场评测基础设施 AGENTCYBERRANGE，测定前沿 AI 网络攻击能力并揭示其端到端规划短板。
完整解读
评测/基准arXiv:2608.17360 · 8月18日
Fair-ASR：在共享目标调用预算下重新评测黑盒越狱攻击
测试Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、gpt-oss-20b 等 11 个
完整解读
评测/基准arXiv:2609.39229 · 9月30日
RAIM：用廉价小模型聚合替代前沿模型做幻觉检测
测试Llama、Qwen、Mistral 等 15 个
摘要十个廉价评审的堆叠在可采纳区间接近 Sonnet，代价主要是一次域内校准。
完整解读
攻击arXiv:2608.06862 · 8月7日
SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化
提出 SYNCHAIN，以定向微调诱导智能体自合成跨任务潜伏工件
网页与电脑操作编程 Agent测试Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 5 个应用层
摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁，验证了潜伏载荷的跨任务传播能力与防御局限。
完整解读
评测与基准arXiv:2608.03070 · 8月4日
FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0
建立越狱原语分类与双重危害基准，评测模型抵御常见越狱的能力
模型与 API测试Claude Fable 5、Claude Opus 4.8、GPT-5.6 Sol 等 8 个提示层
- 越狱
- 护栏与评审
摘要论文系统评测了前沿模型对已知静态越狱的防御能力，揭示了厂商间防护鲁棒性的巨大分化。
本研究针对前沿 AI 大模型在 CBRNE 与网络高危滥用领域的安全防护，提出了 FAR.AI 最低安全标准（Minimal Standard v1.0）及配套评测基准，系统量化了当前主流模型的防护鲁棒性。
完整解读
评测/基准arXiv:2609.04298 · 9月4日
Harbor Adapters 与 Harbor-Index：面向大规模 Agent 评测的基础设施与精选元数据集
AI 导读论文提出 Harbor Adapters，一套面向 Agent 基准的统一评测基础设施，并发布精选元数据集 Harbor-Index。
测试Gemini-3.1-Pro、Gemini-3-Flash、Claude Opus 4.6 等 15 个
完整解读
评测/基准arXiv:2609.02168 · 9月2日
FUSE：面向大语言模型危险能力的模块化评测框架
AI 导读研究者提出 FUSE 模块化评测框架，通过知识（K）、防御（D）、危害（H）三条正交管线在统一协议下评测模型，并汇总为标准化危险能力画像 φ。
测试Claude-3-Haiku、Claude-Opus-4、Claude-Opus-4.5 等 13 个
完整解读
评测/基准arXiv:2609.24662 · 9月21日
DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准
AI 导读研究者提出 DUMA-Bench，一个在双控交互下测量 LLM Agent 安全的基准与评测协议，其中 Agent 和用户都能影响共享环境状态。
测试GPT-5、GPT-5-mini、GPT-5-nano 等 14 个
摘要DUMA-Bench 用双控交互评测智能体安全。
DUMA-Bench 把 τ²-bench 的双控交互做成智能体安全评测，用来看策略违反如何随用户、模型和环境一起出现。
完整解读
评测与基准arXiv:2609.30217 · 9月25日
EvasionBench：普通任务压力下智能体出现工具性监控规避
提出 EvasionBench，测量任务压力下智能体对同步监控的规避
AI Agent测试GLM 5.2、DeepSeek V4 Flash、Muse Spark 1.3 等 12 个应用层
完整解读
评测/基准arXiv:2609.33658 · 9月27日
AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架
AI 导读研究者提出 AgentBound，一个针对工具型 LLM Agent 安全的四路反事实生成与评测框架，通过独立改变表面风险与动作许可性，构造同一可执行工作流的不同版本，从而在控制任务能力的前提下同时诊断过度拒答与不安全执行。
测试GPT-5.5、Claude Opus 4.8、Gemini 3.5 Flash 等 15 个
摘要四向反事实基准把过度拒绝和未授权遵从拆开，Thought 校正在十个配置上提高已授权完成。
AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测，并附带一个决策时 Thought 校准模块。
完整解读

已经到底了