评测与基准arXiv 2610.08871
CredLeak-Bench
提出 CredLeak-Bench，评测 Agent 面对钓鱼的凭据泄露与恢复
- arXiv
- 2610.08871
- 发表
- 层
- 应用层
- 被测模型
- Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个
- 攻击提示注入
全部论文
另有 201 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2610.07657
DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降
实现 DEFER，以确定性检查优先拦截多智能体流水线的内容攻击
- arXiv
- 2610.07657
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Qwen3-235B-A22B-Instruct-2507、gpt-oss-120b、Llama-4-Scout-17B-16E-Instruct 等 5 个
摘要DEFER 把确定性检查放在 judge 之前。
DEFER 用来测量多智能体授权流水线里，确定性规则在何处结束、LLM judge 从何处开始。
- 评测与基准arXiv 2610.05586
AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测
构建 AGENTDOXX 基准，评测联网搜索 Agent 对匿名访谈的再识别
- arXiv
- 2610.05586
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Terra、GPT-5 Mini、GPT-4.1 Mini 等 10 个
摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。
- 防御arXiv 2610.04412
论文研究 LLM 数字孪生参与增强民主时的提示注入脆弱性
提出检测、结构化与 GSPO 流程，降低共识生成的提示注入错位
- arXiv
- 2610.04412
- 发表
- 层
- 应用层
- 被测模型
- LLaMA-2 7B、LLaMA-3 8B、GPT 3.5 Turbo 等 14 个
摘要三章依次做个体偏好预测、政党知识图谱审议，以及共识生成对提示注入的脆弱性与一条防御流程。
这是一篇把 LLM 数字孪生放进增强民主的博士论文，分个体表示、政党聚合和共识生成的提示注入三章。
- 防御arXiv 2610.02349
MIRROR：面向多智能体通信的法定人数完整性防御
提出 MIRROR，用多路径摘要多数表决保障多智能体通信完整性
- arXiv
- 2610.02349
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Gemma-4-31B-it、Gemini 2.5 Pro
摘要MIRROR 靠多数路径。
MIRROR 是 LLM 多智能体通信层上的多路径法定人数完整性原语，只处理不透明字节，不解释消息内容。要处理的是 Agent-in-the-Middle：中介合法终结 TLS 后可改在途消息，而语义校验有推理开销和误拦，签名又要求私钥管理。做法是生成结束后复制同一规范化载荷。
- 评测与基准arXiv 2609.39146
MADBench：多智能体辩论安全性评测基准发布
提出 MADBench，评测多智能体辩论是吸收还是放大对抗影响
- arXiv
- 2609.39146
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- gpt-4o、GPT-5、GPT-6 Astra
摘要MADBench 显示辩论能吸收部分准确率攻击，同时放大未授权读写。
MADBench 是一个评测多智能体辩论安全性的基准，用来看攻击是被辩论吸收还是被放大。
- 评测与基准arXiv 2609.33102
ORBIT：基于 UK AISI Inspect 的多智能体安全评测框架
提出 ORBIT 框架，评测多智能体防御对合谋等威胁的效果
- arXiv
- 2609.33102
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- GPT-5.4、Claude Sonnet 4.6、Qwen3-235B 等 5 个
摘要ORBIT 用六层配置比较多智能体防御，逐动作监控不迁移到合谋。
- 评测与基准arXiv 2609.24662
DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准
提出双控多智能体基准 DUMA-Bench，测量对抗环境下的策略违反
- arXiv
- 2609.24662
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- GPT-5、GPT-5-mini、GPT-5-nano 等 14 个
- 攻击提示注入
摘要DUMA-Bench 用双控交互评测智能体安全。
DUMA-Bench 把 τ²-bench 的双控交互做成智能体安全评测，用来看策略违反如何随用户、模型和环境一起出现。
- 防御arXiv 2609.22949
多智能体系统提示注入威胁模型与防御架构：14 类攻击向量与四类防御
提出多智能体系统提示注入的威胁模型与四层架构防御
- arXiv
- 2609.22949
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- GPT-4o (2024-08-06)、Claude 3.5 Sonnet、Llama 3 70B-Instruct
- 评测与基准arXiv 2609.17320
Emergence World：对长时程多智能体系统开展对抗压力测试
提出 Emergence World，对长时程多智能体系统开展对抗压力测试
- arXiv
- 2609.17320
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Claude Opus 4.8、DeepSeek v4 Pro、Gemini 3.5 Flash 等 9 个
摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。
- 攻击arXiv 2606.12918
MAStrike：用 Shapley 值引导多智能体系统协同红队攻击
提出 MAStrike，用 Shapley 选联盟对多智能体做共谋红队
- arXiv
- 2606.12918
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Claude Opus 4.7、GPT-5.5、Gemini 3.1 Pro
- 防御arXiv 2606.08234
SciTrace：面向科学发现智能体的轨迹感知安全推理框架
提出 SciTrace，为科学发现智能体加入跨阶段安全推理与工具轨迹核验
- arXiv
- 2606.08234
- 发表
- 层
- 应用层
- 被测模型
- Llama-3.1-70B-Instruct、Qwen2.5-72B-Instruct、DeepSeek-V3 等 4 个
摘要SciTrace 把安全推理织入科学智能体各阶段，在 SciSafetyBench 上提高安全指标并保持输出质量。
SciTrace 是加在科学发现智能体流水线上的安全框架，不是再在各阶段出口放一个独立过滤器。
- 攻击arXiv 2605.08310
WebTrap：针对浏览器 Agent 导航过程的中途劫持注入攻击
提出 WebTrap 三阶段陷阱，中途劫持浏览器 Agent 完成攻击后再返回用户任务
- arXiv
- 2605.08310
- 发表
- 层
- 应用层
- 被测模型
- DeepSeek-V3.1-Terminus、Gemini-2.5-Flash、GLM-4.5-Air 等 5 个
- 攻击提示注入
摘要WebTrap 把攻击目标嵌进用户流程中途执行再返回。
WebTrap 是针对长程网页与文件导航的中途劫持注入，目标是在完成攻击动作后仍回到用户任务。
- 评测与基准arXiv 2512.23128
牛津等发布 TRAP 基准
构建 TRAP 基准，评测网页 Agent 被界面提示注入劫持任务的情况
- arXiv
- 2512.23128
- 发表
- 层
- 应用层
- 被测模型
- GPT-5、Claude Sonnet 3.7、Gemini 2.5 Flash 等 6 个
- 攻击提示注入
摘要论文提出了基于五维模块化攻击空间的 TRAP 基准，评估了六个模型在真实网页环境中的注入风险。
研究定位：针对网页自主智能体易受外部界面提示注入攻击的问题，构建了基于真实网站克隆的模块化评测基准 TRAP。
- 评测与基准arXiv 2510.14207
论文提出多轮在线骚扰 Agent 基准
提出多轮在线骚扰 Agent 基准，评测记忆、规划与微调越狱
- arXiv
- 2510.14207
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- LLaMA-3.1-8B-Instruct、Qwen3-30B-A3B-Instruct、DeepSeekMoE-16B 等 4 个
- 评测与基准arXiv 2410.13886
Scale AI 与 CMU 发布 BrowserART：拒答训练的大模型作为浏览器 Agent 极易被越狱
提出 BrowserART，评测拒答训练在浏览器 Agent 上的泛化
- arXiv
- 2410.13886
- 发表
- 层
- 应用层
- 被测模型
- o1-preview、o1-mini、GPT-4o (gpt-4o-2024-08-06) 等 8 个
- 攻击越狱
已经到底了