评测与基准arXiv 2609.27273
微软研究院发布 CAVEAT
提出 CAVEAT 基准，评测购物 Agent 在商业引导下的决策偏离
- arXiv
- 2609.27273
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Kimi-K2.6、Grok-4.3、GPT-5.6-Sol 等 14 个
摘要提出 CAVEAT 基准揭示智能体在商业偏好下的决策退化，诊断出三类失效并给出缓解方案。
Agent 安全 · 论文
另有 275 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2609.11757
研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御
提出 Whisper 攻击与 A-VIP 绑定防御，约束智能体支付决策
- arXiv
- 2609.11757
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- kimi-k3、gemini-2.5-flash-lite、gemini-3.1-flash-lite 等 15 个
摘要论文揭示了 AP2 协议决策层受操纵的风险，提出结构化与权能绑定防御 A-VIP，并发布评测基准。
- 攻击arXiv 2607.05189
研究者提出 MemGhost，对持久化个人 Agent 实现隐蔽记忆注入
提出 MEMGHOST，以单封恶意邮件向持久个人智能体注入隐蔽记忆
- arXiv
- 2607.05189
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Grok 4.1 Fast、GPT-5.4、Claude Sonnet 4.6 等 6 个
摘要总结了论文的研究背景、双代理优化方法 MEMGHOST、全周期实验结果以及作者对记忆信任边界的启示。
本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。
- 风险行为arXiv 2608.10218
研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”
用演化算法构造思维病毒并测量其在多智能体中的传播
- arXiv
- 2608.10218
- 发表
- 层
- 应用层
- 测试
- Kimi K2.5、Claude Haiku 4.5、Claude Sonnet 4.6 等 9 个
- 防御arXiv 2610.00850
AuraForge：为训练安全编码 Agent 扩展安全监督
提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体
- arXiv
- 2610.00850
- 发表
- 场景
- 编程 Agent
- 测试
- Kimi K2、Qwen3.5-4B、Muse Spark 1.3 等 11 个
- 防御模型加固
- 风险Agent 危险操作
摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。
AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。
- 评测与基准arXiv 2608.03421
ForesightSafety-TIDE
提出 ForesightSafety-TIDE，评测多智能体在单点欺骗下的集体事实恢复
- arXiv
- 2608.03421
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Grok-4.5、GPT-5.5、DeepSeek-v4-pro
- 风险欺骗与谋划
- 风险行为arXiv 2609.36855
研究：上游错误消息会让多智能体 LLM 下游覆盖正确答案
测量多智能体交接中错误上游消息对正确答案的替换
- arXiv
- 2609.36855
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- kimi-k2.6、gpt-4o-mini、gpt-5.4 等 9 个
- 风险失准与价值偏离
摘要固定证据只改消息后，错误上游结论会定向替换下游本可答对的答案。
这项受控研究考察多智能体 draft-review 交接里，一条上游消息会怎样改变下游原本能做对的判断。下游同时看到任务证据和上游消息。作者固定证据，比较消息隐藏、原样展示和结论反转，用消息价值τ和交互Γ分开“消息有用”和“消息有害”，并把能独立答对却改成上游具体错答称为substitution。
- 评测与基准arXiv 2609.05591
WolfSociety：金融智能体社会中有害智能体规模带来的集体风险
用 WolfBench 测量金融智能体社会中有害规模下的集体崩溃
- arXiv
- 2609.05591
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Kimi K2.6、DeepSeek V3.2、GPT-4.1 等 6 个
摘要更大的金融智能体社会在更低有害比例上崩溃，但所需有害人数仍增加。
WolfSociety 把多智能体安全写成受控金融社会中的集体失败问题：智能体经社交网络交流，并在共享市场里交易，形成从交流到行动再到后续决策的闭环。
已经到底了