评测与基准arXiv 2610.0887110月6日
CredLeak-Bench
提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露
arXiv
2610.08871
发表
10月6日
层
应用层
场景
网页与电脑操作
测试
Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个
深度解读完整解读
评测与基准arXiv 2605.019705月3日
Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准
提出 Trojan Hippo Bench，评测智能体持久记忆攻击与防御
arXiv
2605.01970
发表
5月3日
层
应用层
场景
AI Agent
测试
Gemini 3.1 Pro、GPT-5-mini、GPT-5
- 攻击投毒与后门
- 技术潜伏触发
- 组件记忆
摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。
深度解读完整解读
评测与基准arXiv 2610.0458910月3日
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性
arXiv
2610.04589
发表
10月3日
层
应用层
场景
AI Agent
测试
Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个
- 攻击投毒与后门
- 技术编码与混淆
- 组件记忆
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。
深度解读完整解读
评测与基准arXiv 2610.0558610月5日
AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测
构建 AGENTDOXX 评测联网搜索智能体对匿名访谈的再识别能力
arXiv
2610.05586
发表
10月5日
层
应用层
场景
AI Agent
测试
GPT-5.6 Terra、GPT-5 Mini、GPT-4.1 Mini 等 10 个
- 攻击恶意使用
- 组件RAG
摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。
深度解读完整解读
评测与基准arXiv 2610.0344810月2日
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
重评提示注入检测器，检验基准分数对智能体部署的预测力
arXiv
2610.03448
发表
10月2日
层
应用层
场景
AI Agent
测试
Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个
- 防御检测与过滤
- 攻击提示注入
- 组件护栏与评审
摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
深度解读完整解读
评测与基准arXiv 2608.197418月20日
微软发布 Thinkingbox 沙盒与 507 任务基准，评估有状态业务流程中的 Agent 可靠性
构建 THINKINGBOX 沙盒与基准，评测有状态业务工作流中智能体的执行稳定性
arXiv
2608.19741
发表
8月20日
层
应用层
场景
AI Agent
测试
Claude Opus 5、GPT-5.4、GPT-5.6-sol 等 14 个
摘要论文构建多轮业务沙箱与基准，分析多次重复执行差距并展示强化学习训练效果。
深度解读完整解读
评测与基准arXiv 2608.180668月19日
Salesforce AI Research 重测自改进 Agent
重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳
arXiv
2608.18066
发表
8月19日
层
应用层
场景
网页与电脑操作
测试
GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个
- 组件记忆
摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。
这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。
深度解读完整解读
评测与基准arXiv 2608.006778月1日
OpenART 提出环境演化红队框架
提出 OpenART 竞技场，用 EMHA 演化持久环境以评测智能体安全
arXiv
2608.00677
发表
8月1日
层
应用层
场景
编程 Agent
测试
GPT-5.5、Claude-Opus-4.8、GLM-5.2 等 5 个
- 攻击提示注入
- 技术自动化搜索
深度解读完整解读
评测与基准arXiv 2607.146117月16日
论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险
评测编码智能体记忆文件中的提示注入及其跨会话持久性
arXiv
2607.14611
发表
7月16日
层
应用层
场景
编程 Agent
测试
Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
- 攻击投毒与后门
- 技术潜伏触发
- 组件记忆
摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。
Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。
深度解读完整解读
评测与基准arXiv 2609.032219月3日
FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限
用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限
arXiv
2609.03221
发表
9月3日
层
应用层
场景
LLM 应用
测试
claude-haiku-4-5、claude-sonnet-5、llama3.1:8b-instruct 等 7 个
摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。
FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。
深度解读完整解读
评测与基准arXiv 2609.195879月17日
红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器
红队评估编码智能体的阻断监视器，并提出 Auto Mode++加固
arXiv
2609.19587
发表
9月17日
层
应用层
场景
编程 Agent
测试
Opus 5、Opus 4.8、Opus 4.7 等 8 个
- 防御监控与审计
- 风险欺骗与谋划
- 组件监控器
摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。
深度解读完整解读
评测与基准arXiv 2609.401119月30日
Agent Error Dataset 发布 5 万条错误诊断配对，用于失败分析与错误感知后训练
构建 AED，把智能体自然失败转为诊断与动作修复训练数据
arXiv
2609.40111
发表
9月30日
层
应用层
场景
AI Agent
测试
Qwen3-8B、GPT-6 Astra、Claude Sonnet 5 等 8 个
摘要AED 把自然失败做成诊断与修正数据。
AED是一个面向文本智能体的错误–诊断集合，用来把失败轨迹转成可分析、可训练的诊断与修正，而不是只保留最终奖励。
深度解读完整解读
评测与基准arXiv 2609.329159月26日
AgentTell：浏览器 Agent 的行为侧信道泄漏基准
构建 AGENTTELL 基准，测量浏览器智能体跨站行为侧信道泄露
arXiv
2609.32915
发表
9月26日
层
应用层
场景
网页与电脑操作
测试
Claude Sonnet 5、Gemini 3.7 Flash、GPT-5.6 Luna 等 6 个
- 风险Agent 危险操作
摘要论文评估了浏览器智能体的行为侧信道泄露风险，并基于近万次会话提供了评测数据。
深度解读完整解读
评测与基准arXiv 2609.326919月26日
研究审计 Agent 安全评测缺陷：工具调用中介在间接提示注入下的有效评测框架
提出卡点评测框架，以实参级谓词审计间接提示注入评测的测量偏差
arXiv
2609.32691
发表
9月26日
层
应用层
场景
AI Agent
测试
gpt-5.6-terra、llama3.1:8b、gemma4:12b 等 4 个
- 攻击提示注入
- 组件权限与沙箱
摘要论文揭示了 IPI 评测中导致指标虚高的系统性缺陷，通过构建有效评测框架纠正了多项安全与模型能力结论。
深度解读完整解读

已经到底了