评测与基准arXiv 2609.27273
微软研究院发布 CAVEAT
提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离
- arXiv
- 2609.27273
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-5.6-Sol、GPT-5.6-Terra、GPT-5.6-Luna 等 14 个
摘要提出 CAVEAT 基准揭示智能体在商业偏好下的决策退化，诊断出三类失效并给出缓解方案。
全部论文
另有 432 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.06898
DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准
提出 DIBench，评测界面注入对移动智能体选择决策的操纵
- arXiv
- 2610.06898
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个
摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。
- 评测与基准arXiv 2610.06748
BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全
构建 BazaarBench 评测 C2C 市场中 Agent 的违规失信
- arXiv
- 2610.06748
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个
摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。
BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。
- 风险行为arXiv 2610.03033
研究：LLM 智能体间的数值信号与协调行为
测量多智能体博弈中数值信号的结构及其对合作的影响
- arXiv
- 2610.03033
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-4o (gpt-4o-2024-11-20)、Mistral Large (mistral-large-2512)、Claude Haiku 4.5 (claude-haiku-4-5-20251001) 等 4 个
- 风险欺骗与谋划
摘要受指令数值会形成锚定收益的结构并影响接收方，但合作效应不能跨模型外推。
四种 LLM 在四个经典两人博弈中交换无预设语义的数字时，消息结构可以跨模型出现，合作水平的变化则不能跨模型外推。
- 评测与基准arXiv 2609.02095
READY：面向企业 Agent 部署的可靠性资格认证框架
提出 READY 资格框架，评测企业 Agent 在监督下的可靠性与复核成本
- arXiv
- 2609.02095
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Opus 5、Sonnet 5、GPT-5.6-Sol 等 15 个
摘要READY 把工作流证据转成可检验的可靠性–监督–成本部署画像。
READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性，以及要付多少运营成本”。。
- 防御arXiv 2610.02005
贝叶斯辩证论证（BDA）：面向持续对抗下多 LLM 委员会的可校准聚合
提出 BDA，把多 LLM 议会的辩证动作当可靠性证据做加权聚合
- arXiv
- 2610.02005
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- gemma-3-27b-it、phi-4、gpt-4.1-nano 等 9 个
摘要BDA 用零额外调用的可靠性加权，给出可校准后验，并在持续对抗下反转不可靠席位。
BDA 是一种不另调 LLM 的多 LLM 议会聚合方法，同时处理置信度校准和持续不可靠席位。
- 攻击arXiv 2607.12340
研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击
提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持
- arXiv
- 2607.12340
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-4.5-Air、GPT-5.4-mini、Claude Sonnet 4.6 等 10 个
摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。
本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。
- 评测与基准arXiv 2607.19262
BioSecBench-Surveillance：面向病原体基因组监测 AI 智能体的可验证基准
提出 BioSecBench-Surveillance，评测 Agent 的病原监测分析
- arXiv
- 2607.19262
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Opus 4.8、Opus 4.7、Opus 4.6 等 10 个
- 防御arXiv 2608.30387
研究者提出多智能体系统输出与委派链路双层存证方案
提出多智能体输出与委派谱系的两层存证方案
- arXiv
- 2608.30387
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Ollama llama3.1:latest
- 防御水印与溯源
摘要两层证明记录放出字节与边授权。
部署方侧的两层证明，用来在多智能体跨部署方委托之后回答两个事后问题：谁放出了这些字节，这条跨部署方边有没有父方授权。
- 风险行为arXiv 2608.10218
研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”
用演化算法构造思维病毒并测量其在多智能体中的传播
- arXiv
- 2608.10218
- 发表
- 层
- 应用层
- 测试
- Claude Haiku 4.5、Claude Sonnet 4.6、Claude Opus 4.6 等 9 个
- 攻击arXiv 2609.17817
论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码
提出基准投毒攻击，使自修改编码智能体跨代写出漏洞代码
- arXiv
- 2609.17817
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Sonnet 4.5、Qwen3.5-397B、gpt-oss-120b 等 6 个
摘要论文报告了恶意基准能污染自修改代码智能体的进化过程并持续输出漏洞，警示系统设计需纳入安全约束。
- 攻击arXiv 2609.28613
研究：提示注入可改变 Jev 决策模型的行动概率
测量间接提示注入对类型化概率决策的动作劫持
- arXiv
- 2609.28613
- 发表
- 层
- 应用层
- 场景
- 模型与 API
- 测试
- jev-1.13.0
摘要封闭动作集改变提示注入的表现，但没有去掉概率被不可信内容移动的风险。
作者在 jev-1.13.0 上研究 decision hijacking：不可信内容能否在用户任务和可选动作都不变时，把类型化决策推向攻击者目标。
- 评测与基准arXiv 2608.03421
ForesightSafety-TIDE
提出 ForesightSafety-TIDE，评测多智能体在单点欺骗下的集体事实恢复
- arXiv
- 2608.03421
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5.5、DeepSeek-v4-pro、Grok-4.5
- 风险欺骗与谋划
- 评测与基准arXiv 2609.39578
Box² Bench：语言模型能否有选择地依赖外部指导
提出 Box2-Bench，评测模型能否选择性依赖外部工作流
- arXiv
- 2609.39578
- 发表
- 层
- 应用层
- 测试
- Gemini 3.7 Flash、DeepSeek V4 Flash、GLM 5.2 等 9 个
摘要Box2 把利用与稳健拆开。
Box2-Bench 固定任务与模型，只改变工作流可靠性，用来衡量模型能否选择性依赖可能出错的外部指导。
- 评测与基准arXiv 2609.39146
MADBench：多智能体辩论安全性评测基准发布
发布 MADBench，评测多智能体辩论会吸收还是放大对抗影响
- arXiv
- 2609.39146
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- gpt-4o、GPT-5、GPT-6 Astra
摘要MADBench 显示辩论能吸收部分准确率攻击，同时放大未授权读写。
MADBench 是一个评测多智能体辩论安全性的基准，用来看攻击是被辩论吸收还是被放大。
- 防御arXiv 2609.39297
MiniRep：面向多智能体辩论的鲁棒声誉聚合方法
提出 MiniRep，按当前质量、风险与历史声誉聚合多智能体辩论
- arXiv
- 2609.39297
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- 七个 API 可访问 LLM 组成的十智能体池（论文按数据集单独排名为 strong/weak，正文未列出模型名）、1.5B semantic verifier
摘要MiniRep 用当前提案证据校准历史声誉并限制克隆组，MATH 上平均准确率高于基线，其他任务有反例。
MiniRep 是面向恶意智能体的 MAD 声誉聚合，只作用在 Decide 阶段。
- 攻击arXiv 2609.38270
VirusCascade：劫持 LLM 推荐智能体的协同反思机制
提出 VirusCascade，劫持推荐智能体协同反思以定向推广物品
- arXiv
- 2609.38270
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-4o-mini、AgentCF、AgentRAG 等 8 个
- 风险行为arXiv 2609.36855
研究：上游错误消息会让多智能体 LLM 下游覆盖正确答案
测量多智能体交接中错误上游消息对正确答案的替换
- arXiv
- 2609.36855
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- gpt-4o-mini、gpt-5.4、kimi-k2.6 等 9 个
- 风险失准与价值偏离
摘要固定证据只改消息后，错误上游结论会定向替换下游本可答对的答案。
这项受控研究考察多智能体 draft-review 交接里，一条上游消息会怎样改变下游原本能做对的判断。下游同时看到任务证据和上游消息。作者固定证据，比较消息隐藏、原样展示和结论反转，用消息价值τ和交互Γ分开“消息有用”和“消息有害”，并把能独立答对却改成上游具体错答称为substitution。
- 评测与基准arXiv 2609.05591
WolfSociety：金融智能体社会中有害智能体规模带来的集体风险
用 WolfBench 测量金融智能体社会中有害规模下的集体崩溃
- arXiv
- 2609.05591
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- DeepSeek V3.2、GPT-4.1、Qwen3-235B 等 6 个
摘要更大的金融智能体社会在更低有害比例上崩溃，但所需有害人数仍增加。
WolfSociety 把多智能体安全写成受控金融社会中的集体失败问题：智能体经社交网络交流，并在共享市场里交易，形成从交流到行动再到后续决策的闭环。
已经到底了