评测与基准arXiv 2609.27273
微软研究院发布 CAVEAT
提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离
- arXiv
- 2609.27273
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个
摘要提出 CAVEAT 基准揭示智能体在商业偏好下的决策退化，诊断出三类失效并给出缓解方案。
全部论文
另有 480 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.06898
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
提出 DIBench，评测界面注入对移动智能体选择决策的操纵
- arXiv
- 2610.06898
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个
摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。
- 评测与基准arXiv 2610.06748
BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全
构建 BazaarBench 评测 C2C 市场中 Agent 的违规失信
- arXiv
- 2610.06748
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个
摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。
BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。
- 风险行为arXiv 2610.03033
研究：LLM 智能体间的数值信号与协调行为
测量多智能体博弈中数值信号的结构及其对合作的影响
- arXiv
- 2610.03033
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-4o (gpt-4o-2024-11-20)、Mistral Large (mistral-large-2512)、Claude Haiku 4.5 (claude-haiku-4-5-20251001) 等 4 个
- 风险欺骗与谋划
摘要受指令数值会形成锚定收益的结构并影响接收方，但合作效应不能跨模型外推。
四种 LLM 在四个经典两人博弈中交换无预设语义的数字时，消息结构可以跨模型出现，合作水平的变化则不能跨模型外推。
- 评测与基准arXiv 2609.02095
READY：面向企业 Agent 部署的可靠性资格认证框架
提出 READY 资格框架，评测企业 Agent 在监督下的可靠性与复核成本
- arXiv
- 2609.02095
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Opus 5、Sonnet 5、GPT-5.6-Sol 等 15 个
摘要READY 把工作流证据转成可检验的可靠性–监督–成本部署画像。
READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性，以及要付多少运营成本”。。
- 防御arXiv 2610.02005
贝叶斯辩证论证（BDA）：面向持续对抗下多 LLM 委员会的可校准聚合
提出 BDA，把多 LLM 议会的辩证动作当可靠性证据做加权聚合
- arXiv
- 2610.02005
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- gemma-3-27b-it、phi-4、gpt-4.1-nano 等 9 个
摘要BDA 用零额外调用的可靠性加权，给出可校准后验，并在持续对抗下反转不可靠席位。
BDA 是一种不另调 LLM 的多 LLM 议会聚合方法，同时处理置信度校准和持续不可靠席位。
- 攻击arXiv 2607.12340
研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击
提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持
- arXiv
- 2607.12340
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-4.5-Air、GPT-5.4-mini、Claude Sonnet 4.6 等 10 个
摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。
本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。
- 其他arXiv 2608.14380
AgentRewind：面向长周期 LLM Agent 的可恢复执行框架
提出 AgentRewind，用对齐检查点回退长程 Agent 的上下文与工作区
- arXiv
- 2608.14380
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.4、GPT-5.4 mini、Qwen3.7-Max 等 7 个
- 组件权限与沙箱
- 评测与基准arXiv 2607.19262
BioSecBench-Surveillance：面向病原体基因组监测 AI 智能体的可验证基准
提出 BioSecBench-Surveillance，评测 Agent 的病原监测分析
- arXiv
- 2607.19262
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Opus 4.8、Opus 4.7、Opus 4.6 等 10 个
- 评测与基准arXiv 2607.05462
BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准
提出 BioSecBench-Refusal，评测智能体生物安全拒答是否对准风险
- arXiv
- 2607.05462
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Opus 4.8、Opus 4.7、Opus 4.6 等 10 个
摘要配对基准显示拒绝多由 API 触发，合法任务常被拒得不少于隐蔽危害。
BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。
- 防御arXiv 2608.30387
研究者提出多智能体系统输出与委派链路双层存证方案
提出多智能体输出与委派谱系的两层存证方案
- arXiv
- 2608.30387
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Ollama llama3.1:latest
- 防御水印与溯源
摘要两层证明记录放出字节与边授权。
部署方侧的两层证明，用来在多智能体跨部署方委托之后回答两个事后问题：谁放出了这些字节，这条跨部署方边有没有父方授权。
- 评测与基准arXiv 2608.18066
Salesforce AI Research 重测自改进 Agent
重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳
- arXiv
- 2608.18066
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个
- 组件记忆
摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。
这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。
- 风险行为arXiv 2608.10218
研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”
用演化算法构造思维病毒并测量其在多智能体中的传播
- arXiv
- 2608.10218
- 发表
- 层
- 应用层
- 测试
- Claude Haiku 4.5、Claude Sonnet 4.6、Claude Opus 4.6 等 9 个
- 攻击arXiv 2609.17817
论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码
提出基准投毒攻击，使自修改编码智能体跨代写出漏洞代码
- arXiv
- 2609.17817
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Sonnet 4.5、Qwen3.5-397B、gpt-oss-120b 等 6 个
摘要论文报告了恶意基准能污染自修改代码智能体的进化过程并持续输出漏洞，警示系统设计需纳入安全约束。
- 风险行为arXiv 2609.35928
论文发现暴露模型身份标签会削弱多智能体 LLM 合作
测量公开模型家族标签引发的多智能体派系化与合作下降
- arXiv
- 2609.35928
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Gemma (gemma-4-26B-A4B-it)、GPT-OSS (gpt-oss-20b)、Nemotron (NVIDIA-Nemotron-3-Nano-30B-A3B-BF16) 等 6 个
- 风险失准与价值偏离
摘要可见身份标签让异构 LLM 群体按标签结派，共识更慢、更贵，去掉标签后该行为消失。
Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节：把模型家族身份告诉智能体，会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策，没有人设，也没有偏向同家族同伴的奖励。
- 评测与基准arXiv 2609.19140
AgentLSD：在对抗性任务污染下评测 AI 安全 Agent
用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销
- arXiv
- 2609.19140
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Gemma-4 31B、DeepSeek-V4 Flash、GPT-OSS 120B 等 6 个
- 攻击提示注入
摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。
AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。
- 攻击arXiv 2609.28613
研究：提示注入可改变 Jev 决策模型的行动概率
测量间接提示注入对类型化概率决策的动作劫持
- arXiv
- 2609.28613
- 发表
- 层
- 应用层
- 场景
- 模型与 API
- 测试
- jev-1.13.0
摘要封闭动作集改变提示注入的表现，但没有去掉概率被不可信内容移动的风险。
作者在 jev-1.13.0 上研究 decision hijacking：不可信内容能否在用户任务和可选动作都不变时，把类型化决策推向攻击者目标。
- 其他arXiv 2609.39982
Mid-Harness：在模型与 Harness 之间扩展终端智能体的动作采样
提出 Mid-Harness，在执行前验证并选择终端智能体的候选动作
- arXiv
- 2609.39982
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- TMAX-9B、TMAX-4B、TMAX-27B 等 8 个
摘要Mid-Harness 在执行前选择候选动作。
Mid-Harness 在不改生成器和执行 harness 的前提下，于二者之间做动作级测试时计算，用来研究终端智能体里“多采样、再验证”何时提高轨迹成功。
- 评测与基准arXiv 2608.03421
ForesightSafety-TIDE
提出 ForesightSafety-TIDE，评测多智能体在单点欺骗下的集体事实恢复
- arXiv
- 2608.03421
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5.5、DeepSeek-v4-pro、Grok-4.5
- 风险欺骗与谋划
- 评测与基准arXiv 2609.39578
Box² Bench：语言模型能否有选择地依赖外部指导
提出 Box2-Bench，评测模型能否选择性依赖外部工作流
- arXiv
- 2609.39578
- 发表
- 层
- 应用层
- 测试
- Gemini 3.7 Flash、DeepSeek V4 Flash、GLM 5.2 等 9 个
摘要Box2 把利用与稳健拆开。
Box2-Bench 固定任务与模型，只改变工作流可靠性，用来衡量模型能否选择性依赖可能出错的外部指导。