评测与基准arXiv:2610.08871 · 10月6日
CredLeak-Bench
提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露
网页与电脑操作测试Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个应用层
完整解读
评测与基准arXiv:2609.22076 · 9月18日
APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权
提出 APort Vault，评测支付智能体授权层对越权转账的拦截
AI Agent测试Claude Fable 5.1、Claude Sonnet 5、Claude Haiku 4.5 等 14 个应用层
完整解读
评测与基准arXiv:2606.05647 · 6月4日
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测人类开发者在协作编程中能否发现编码智能体的隐蔽破坏
编程 Agent测试Claude-Opus-4.6、MiniMax-M2.7、Claude-Haiku-4.5 等 5 个应用层
- 欺骗与谋划
- 监控器
完整解读
评测与基准arXiv:2610.07639 · 10月6日
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出 HarnessSecurity-Bench，横向评测编码智能体框架的安全机制
编程 Agent测试Claude Opus 4.8、GLM-5.2、Qwen3.8-27B 等 4 个应用层
完整解读
评测与基准arXiv:2610.03585 · 10月2日
宾州州立大学提出 TPRS，量化 Agent 安全基准中工具命名对 ASR 的影响
提出 TPRS，量化工具命名等表征变化对智能体安全基准得分的影响
AI Agent测试Claude Haiku 4.5、GPT-5-mini、GPT-4o-mini应用层
完整解读
评测与基准arXiv:2610.02827 · 10月2日
MLCommons 发布 Jailbreak Benchmark v1.0
构建 MLCommons 越狱基准以测量模型的单轮越狱韧性
模型与 API测试MiniMax M2.7、Gemma 3N E4B Instruct、LFM2-24B-A2B 等 8 个提示层
- 越狱
摘要论文建立了单轮越狱评测的标准化端到端方法学体系，揭示了开源大模型在对抗提示词下的安全性能降级与大模型负差距现象。
完整解读
评测与基准arXiv:2610.03153 · 10月2日
EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准
提出 EvoRiskBench，评测工作区智能体的运行时安全风险
编程 Agent 多智能体测试Claude Opus 5、GPT-5.6 Sol、DeepSeek-V4-Pro-0813应用层
- 提示注入
- MCP 与技能
摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。
完整解读
评测与基准arXiv:2609.09404 · 9月9日
MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测
用 MMPIBench 评测智能体框架的多模态提示注入
AI Agent测试Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等 6 个应用层
摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。
完整解读
评测与基准arXiv:2608.09476 · 8月10日
ActBench：面向协作智能体行为安全的自演化基准
构建 ActBench 评测协作智能体多步执行中的操作级行为安全
编程 Agent测试Claude-Opus-4.8、Claude-Sonnet-4.6、MiniMax-M3 等 15 个应用层
摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。
完整解读
风险行为arXiv:2609.35799 · 9月18日
研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法
在模拟环境中复现级联失准行为并降低审计诱导开销
AI Agent测试Claude Opus 4.8、GLM 5.2、GLM 5.3 等 9 个应用层
- 失准与价值偏离
- 权限与沙箱
摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。
完整解读
评测与基准arXiv:2609.23980 · 9月21日
斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现
提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用
编程 Agent测试Claude Code/Opus 4.8、Claude Code/Opus 5、OpenCode/GPT-5.5 等 5 个应用层
- 危险能力
完整解读
评测与基准arXiv:2609.19892 · 9月17日
ClashBench：研究者发现 Agent 为抢占资源破坏既有任务
提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务
编程 Agent测试Claude-Sonnet-5、MiniMax-M3、DeepSeek-V4-Flash-0731 等 15 个应用层
- Agent 危险操作
摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。
完整解读
评测与基准arXiv:2608.00677 · 8月1日
OpenART 提出环境演化红队框架
提出 OpenART 竞技场，用 EMHA 演化持久环境以评测智能体安全
编程 Agent测试Claude-Opus-4.8、GPT-5.5、GLM-5.2 等 5 个应用层
- 提示注入
- 自动化搜索
完整解读
评测与基准arXiv:2608.12851 · 8月13日
研究者提出 SkillMisevo-Bench，量化自改进 Agent 的技能误演化风险
构建 SKILLMISEVO-BENCH，评测自进化编程智能体的技能误演化风险
编程 Agent测试Claude Code、MiniMax-M2.7、Codex 等 6 个应用层
完整解读
评测与基准arXiv:2609.19587 · 9月17日
红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器
红队评估编码智能体的阻断监视器，并提出 Auto Mode++加固
编程 Agent测试Opus 5、Opus 4.8、Opus 4.7 等 8 个应用层
摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。
完整解读
评测与基准arXiv:2606.14295 · 6月12日
AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准
提出 AgentCyberRange，评测智能体自主实施网络攻击的能力
编程 Agent测试Claude-Opus-4.7、GPT-5.5、GLM-5.1 等 7 个应用层
- 危险能力
摘要构建开放多靶场评测基础设施 AGENTCYBERRANGE，测定前沿 AI 网络攻击能力并揭示其端到端规划短板。
完整解读
评测与基准arXiv:2608.03070 · 8月4日
FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0
建立越狱原语分类与双重危害基准，评测模型抵御常见越狱的能力
模型与 API测试Claude Fable 5、Claude Opus 4.8、Opus 4.7 等 8 个提示层
- 越狱
- 护栏与评审
摘要论文系统评测了前沿模型对已知静态越狱的防御能力，揭示了厂商间防护鲁棒性的巨大分化。
本研究针对前沿 AI 大模型在 CBRNE 与网络高危滥用领域的安全防护，提出了 FAR.AI 最低安全标准（Minimal Standard v1.0）及配套评测基准，系统量化了当前主流模型的防护鲁棒性。
完整解读
攻击arXiv:2608.30441 · 8月31日
ECLIPSE：针对长程 Agent 系统的自演化隐蔽提示注入攻击
提出 ECLIPSE 双通道自演化提示注入，劫持长程智能体动作轨迹
AI Agent攻击者黑盒测试Claude 4.8 Opus、Claude Sonnet 5、DeepSeek 等 7 个应用层
完整解读
评测与基准arXiv:2609.32635 · 9月26日
TrustFork：显示身份如何劫持 LLM 智能体编排的权限
提出 TRUSTFORK，评测展示身份如何劫持多智能体编排的操作权限
多智能体测试Minimax-M3、Minimax-M2.5、GPT-5.6-Sol 等 8 个应用层
- 诱导选用
摘要论文提出了多智能体安全基准 TRUSTFORK，揭示展示身份如何劫持操作权威，并证明事后验证无法弥补已发生的执行破坏。
完整解读
评测与基准arXiv:2609.30325 · 9月24日
dreadnode 发布 ScopeBench：测量 Agent 在目标压力下是否守住授权边界
提出 ScopeBench，测量渗透智能体在目标压力下的范围遵从
AI Agent测试claude-opus-4-8、claude-sonnet-4-6、claude-haiku-4-5 等 8 个应用层
- Agent 危险操作
完整解读

加载更多