评测与基准arXiv 2609.27273
微软研究院发布 CAVEAT
提出 CAVEAT 基准，评测电商引导下购物智能体是否偏离用户最优选择
- arXiv
- 2609.27273
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个
摘要提出 CAVEAT 基准揭示智能体在商业偏好下的决策退化，诊断出三类失效并给出缓解方案。
全部论文
另有 1005 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.08871
CredLeak-Bench
提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露
- arXiv
- 2610.08871
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个
- 评测与基准arXiv 2610.06898
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
提出 DIBench，评测界面注入对移动智能体选择决策的操纵
- arXiv
- 2610.06898
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个
摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。
- 评测与基准arXiv 2604.02947
AgentHazard：评估计算机使用智能体有害行为的基准
提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为
- arXiv
- 2604.02947
- 发表
- 层
- 应用层
- 测试
- Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
- 攻击恶意使用
摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。
AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。
- 评测与基准arXiv 2609.31342
研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案
构建知识逆转基准，评测陈旧检索证据如何推翻模型原本正确的回答
- arXiv
- 2609.31342
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- GPT-4o、GPT-4.1、Claude-Opus-4.5 等 13 个
- 组件RAG
摘要论文评测了陈旧检索推翻正确知识的中毒现象，并分析了其内部机制与防御局限。
这篇论文是对检索增强生成（RAG）中“陈旧文档中毒”现象的实证与机理评估研究。
- 评测与基准arXiv 2609.02316
Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息
构建 COUNTER-GEO-BENCH，评测生成式搜索对信息扭曲 GEO 的防御
- arXiv
- 2609.02316
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 11 个
摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。
- 评测与基准arXiv 2608.18066
Salesforce AI Research 重测自改进 Agent
重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳
- arXiv
- 2608.18066
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个
- 组件记忆
摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。
这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。
- 评测与基准arXiv 2609.03221
FairMedAgent：临床 LLM 智能体公平性审计中的随机噪声下限
用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限
- arXiv
- 2609.03221
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- claude-haiku-4-5、claude-sonnet-5、llama3.1:8b-instruct 等 7 个
摘要先测同一输入下的动作不一致率，再用它解读人口学翻转率。
FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来：输入不变时动作仍会改变，这个比率就是解读翻转率的下限。。
- 评测与基准arXiv 2610.01497
OpenMTB-Audit：LLM 分子肿瘤委员会安全评测暴露过度拒答
构建分子肿瘤委员会审计基准，测量临床过度拒答
- arXiv
- 2610.01497
- 发表
- 层
- 模型层
- 测试
- GPT-4o (gpt-4o-2024-08-06)、GPT-4o-mini (gpt-4o-mini-2024-07-18)
- 评测与基准arXiv 2609.32915
AgentTell：浏览器 Agent 的行为侧信道泄漏基准
构建 AGENTTELL 基准，测量浏览器智能体跨站行为侧信道泄露
- arXiv
- 2609.32915
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Claude Sonnet 5、Gemini 3.7 Flash、GPT-5.6 Luna 等 6 个
摘要论文评估了浏览器智能体的行为侧信道泄露风险，并基于近万次会话提供了评测数据。
- 评测与基准arXiv 2608.06862
SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化
提出 SYNCHAIN，以定向微调诱导智能体自合成跨任务潜伏工件
- arXiv
- 2608.06862
- 发表
- 层
- 应用层
- 测试
- Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 5 个
摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁，验证了潜伏载荷的跨任务传播能力与防御局限。
- 评测与基准arXiv 2608.28411
LongPIBench：面向长上下文提示注入的评测基准
提出 LongPIBench，评测长文档场景下的提示注入攻击与防御
- arXiv
- 2608.28411
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Apertus-8B-Instruct 等 11 个
- 攻击提示注入
摘要论文构建长文本提示注入基准 LongPIBench，揭示启发式与优化攻击在长文档中的高有效性及现有防御的大幅失效。
已经到底了