评测与基准arXiv:2610.08871 · 10月6日
CredLeak-Bench
提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露
网页与电脑操作测试Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个应用层
完整解读
评测与基准arXiv:2605.01970 · 5月3日
Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准
提出 Trojan Hippo Bench，评测智能体持久记忆攻击与防御
AI Agent测试Gemini 3.1 Pro、GPT-5-mini、GPT-5应用层
摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。
完整解读
攻击arXiv:2610.04589 · 10月3日
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性
AI Agent测试Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个应用层
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。
完整解读
评测与基准arXiv:2610.05586 · 10月5日
AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测
构建 AGENTDOXX 评测联网搜索智能体对匿名访谈的再识别能力
AI Agent测试GPT-5.6 Terra、GPT-5 Mini、GPT-4.1 Mini 等 10 个应用层
- 恶意使用
- RAG
摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。
完整解读
评测与基准arXiv:2610.03448 · 10月2日
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
重评提示注入检测器，检验基准分数对智能体部署的预测力
AI Agent测试Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个应用层
摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
完整解读
评测与基准arXiv:2608.19741 · 8月20日
微软发布 Thinkingbox 沙盒与 507 任务基准，评估有状态业务流程中的 Agent 可靠性
构建 THINKINGBOX 沙盒与基准，评测有状态业务工作流中智能体的执行稳定性
AI Agent测试Claude Opus 5、GPT-5.4、GPT-5.6-sol 等 14 个应用层
摘要论文构建多轮业务沙箱与基准，分析多次重复执行差距并展示强化学习训练效果。
完整解读
评测与基准arXiv:2608.18066 · 8月19日
Salesforce AI Research 重测自改进 Agent
重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳
网页与电脑操作测试GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个应用层
- 记忆
摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。
这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。
完整解读
评测与基准arXiv:2608.00677 · 8月1日
OpenART 提出环境演化红队框架
提出 OpenART 竞技场，用 EMHA 演化持久环境以评测智能体安全
编程 Agent测试GPT-5.5、Claude-Opus-4.8、GLM-5.2 等 5 个应用层
- 提示注入
- 自动化搜索
完整解读
评测与基准arXiv:2607.14611 · 7月16日
论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险
评测编码智能体记忆文件中的提示注入及其跨会话持久性
编程 Agent测试Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个应用层
摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。
Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。
完整解读
评测与基准arXiv:2609.03221 · 9月3日
FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限
用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限
LLM 应用测试claude-haiku-4-5、claude-sonnet-5、llama3.1:8b-instruct 等 7 个应用层
摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。
FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。
完整解读
评测与基准arXiv:2609.19587 · 9月17日
红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器
红队评估编码智能体的阻断监视器，并提出 Auto Mode++加固
编程 Agent测试Opus 5、Opus 4.8、Opus 4.7 等 8 个应用层
摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。
完整解读
评测与基准arXiv:2609.32915 · 9月26日
AgentTell：浏览器 Agent 的行为侧信道泄漏基准
构建 AGENTTELL 基准，测量浏览器智能体跨站行为侧信道泄露
网页与电脑操作测试Claude Sonnet 5、Gemini 3.7 Flash、GPT-5.6 Luna 等 6 个应用层
- Agent 危险操作
摘要论文评估了浏览器智能体的行为侧信道泄露风险，并基于近万次会话提供了评测数据。
完整解读
评测与基准arXiv:2609.32691 · 9月26日
研究审计 Agent 安全评测缺陷：工具调用中介在间接提示注入下的有效评测框架
提出卡点评测框架，以实参级谓词审计间接提示注入评测的测量偏差
AI Agent测试gpt-5.6-terra、llama3.1:8b、gemma4:12b 等 4 个应用层
- 提示注入
- 权限与沙箱
摘要论文揭示了 IPI 评测中导致指标虚高的系统性缺陷，通过构建有效评测框架纠正了多项安全与模型能力结论。
完整解读

已经到底了