评测与基准arXiv:2609.27273 · 9月23日
微软研究院发布 CAVEAT
提出 CAVEAT 基准，评测电商引导下购物智能体是否偏离用户最优选择
网页与电脑操作测试GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个应用层
摘要提出 CAVEAT 基准揭示智能体在商业偏好下的决策退化，诊断出三类失效并给出缓解方案。
完整解读
评测与基准arXiv:2610.06898 · 9月29日
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
提出 DIBench，评测界面注入对移动智能体选择决策的操纵
网页与电脑操作测试Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个应用层
摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。
完整解读
评测与基准arXiv:2610.03448 · 10月2日
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
重评提示注入检测器，检验基准分数对智能体部署的预测力
AI Agent测试Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个应用层
摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
完整解读
评测与基准arXiv:2608.19741 · 8月20日
微软发布 Thinkingbox 沙盒与 507 任务基准，评估有状态业务流程中的 Agent 可靠性
构建 THINKINGBOX 沙盒与基准，评测有状态业务工作流中智能体的执行稳定性
AI Agent测试Claude Opus 5、GPT-5.4、GPT-5.6-sol 等 14 个应用层
摘要论文构建多轮业务沙箱与基准，分析多次重复执行差距并展示强化学习训练效果。
完整解读
评测与基准arXiv:2607.20891 · 7月23日
MisKnow-Agent 评测
提出 MisKnow-Agent，评测深度研究智能体是否采纳误导性检索知识
AI Agent测试Gemini Deep Research、DeepSeek-V4 Pro、Qwen3.5-397B 等 4 个应用层
- 投毒与后门
- RAG
摘要论文通过 MisKnow-Agent 框架评估发现长程研究智能体易采纳误导性知识，且现有防御难以完全消除该现象。
完整解读
评测与基准arXiv:2609.31342 · 9月25日
研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案
构建知识逆转基准，评测陈旧检索证据如何推翻模型原本正确的回答
LLM 应用测试GPT-4o、GPT-4.1、Claude-Opus-4.5 等 13 个应用层
- RAG
摘要论文评测了陈旧检索推翻正确知识的中毒现象，并分析了其内部机制与防御局限。
这篇论文是对检索增强生成（RAG）中“陈旧文档中毒”现象的实证与机理评估研究。
完整解读
评测与基准arXiv:2608.18066 · 8月19日
Salesforce AI Research 重测自改进 Agent
重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳
网页与电脑操作测试GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个应用层
- 记忆
摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。
这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。
完整解读
攻击arXiv:2607.05189 · 7月6日
研究者提出 MemGhost，对持久化个人 Agent 实现隐蔽记忆注入
提出 MEMGHOST，以单封恶意邮件向持久个人智能体注入隐蔽记忆
AI Agent测试GPT-5.4、Claude Sonnet 4.6、Claude Sonnet 4.5 等 6 个应用层
摘要总结了论文的研究背景、双代理优化方法 MEMGHOST、全周期实验结果以及作者对记忆信任边界的启示。
本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。
完整解读
评测与基准arXiv:2607.10526 · 7月12日
PASB 基准：自改进个人 Agent 的持久谄媚在后续会话中失败率达 71.9%
构建 PASB 评测自改进个人 Agent 的跨会话持久谄媚
AI Agent测试GPT-5.5、GPT-5.4、Gemini-3.1-Pro 等 12 个应用层
- 失准与价值偏离
- 记忆
摘要PASB 显示一次被写入的主张会跨会话塑造回答，改笔记比只阻止写入更能降低后续失败。
PASB 评测自改进个人智能体的持久谄媚：用户主张被智能体自己写入档案、记忆或技能后，新会话里的中立问题仍可能按它作答。
完整解读
评测与基准arXiv:2609.03221 · 9月3日
FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限
用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限
LLM 应用测试claude-haiku-4-5、claude-sonnet-5、llama3.1:8b-instruct 等 7 个应用层
摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。
FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。
完整解读
评测与基准arXiv:2608.28411 · 8月28日
LongPIBench：面向长上下文提示注入的评测基准
提出 LongPIBench，评测长文档场景下的提示注入攻击与防御
LLM 应用测试Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Apertus-8B-Instruct 等 11 个应用层
- 提示注入
摘要论文构建长文本提示注入基准 LongPIBench，揭示启发式与优化攻击在长文档中的高有效性及现有防御的大幅失效。
完整解读

已经到底了