评测与基准arXiv 2610.08871
CredLeak-Bench
提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露
- arXiv
- 2610.08871
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Gemini 3.6 Flash、Claude Sonnet 5、Claude Opus 4.8 等 7 个
- 攻击提示注入
全部论文
另有 638 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2605.01970
Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准
提出 Trojan Hippo Bench，评测智能体持久记忆攻击与防御
- arXiv
- 2605.01970
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 3.1 Pro、GPT-5-mini、GPT-5
摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。
- 评测与基准arXiv 2609.09404
MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测
用 MMPIBench 评测智能体框架的多模态提示注入
- arXiv
- 2609.09404
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 3.1 Pro、Claude Opus 4.8、GPT-5.4 等 6 个
摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。
- 防御arXiv 2608.17220
PACE：为 DeFi 中的 AI Agent 提供策略认证的合约执行框架
提出 PACE，用签名策略记录拦住 DeFi 智能体违规交易
- arXiv
- 2608.17220
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- gemini-3.1-flash-lite、MockLLM、DeepSeek-V4-Flash 等 4 个
- 防御arXiv 2608.30041
SkillGuard：面向间接提示注入的 LLM Agent 能力限制机制
提出 SkillGuard，用可达性切断污染后通往禁止状态的技能调用
- arXiv
- 2608.30041
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 2.5 Flash、Llama3.3-70B
- 攻击arXiv 2609.27542
研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控
提出控制标记注入，清空工具智能体推理链以绕过思维链监控
- arXiv
- 2609.27542
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- google/gemma-4-26B-A4B-it、openai/gpt-oss-20b、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 等 4 个
摘要论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过，且工具执行受解析器宽容度影响。
- 攻击arXiv 2610.00430
Memetic Trojans：利用社交传染在 LLM Agent 网络中传播对抗载荷
提出 memetic trojans，把对抗载荷嵌入智能体自发转发的社会传染内容
- arXiv
- 2610.00430
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- gemma2-27B、gpt-oss-120B、deepseek-v4.1-flash 等 5 个
摘要memetic trojans 用内生社会传染携带载荷。
Memetic trojans 是一类网络介导攻击：对抗载荷搭在智能体本来就会转发和点赞的内容上扩散，转发者不必被攻陷，也不必执行“请继续复制”的指令。
- 攻击arXiv 2610.01062
Kernelized Activation Steering：将激活引导推广到再生核希尔伯特空间的新框架
提出核化激活引导 KAS，在推理时自适应转向激活以诱导越狱
- arXiv
- 2610.01062
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-2-9B-IT、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 6 个
摘要KAS 用核梯度做局部自适应转向，并在线性核下恢复 DiM。
Kernelized Activation Steering（KAS） 把推理时的激活转向写成核空间中的优化，使更新随当前激活相对源、目标参考集的位置而变化。
- 分析与理论arXiv 2609.05241
10a Labs 测绘无审查开源模型生态：3,471 个原始模型与 8,164 次再分发
测绘去安全开源模型的生产与重分发留存链路
- arXiv
- 2609.05241
- 发表
- 场景
- 模型与 API
- 测试
- Gemma、Qwen、Llama 等 10 个
摘要论文测绘了去安全开源大模型供应链，作者指出高集中度的重分发层赋能模型持久留存与部署扩散。
- 攻击arXiv 2609.39788
研究：多智能体系统潜在通信链路可被训练用于提升有害顺从
提出只改多智能体潜在通信链路以提高有害遵从的攻击
- arXiv
- 2609.39788
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Gemma-3-1B-IT、Llama-3.2-3B-Instruct、Qwen2.5-3B-Instruct 等 7 个
摘要潜在链路本身即可改变冻结智能体系统的安全，奖励既能攻击也能修复。
学习得到的潜在通信链路会改变由冻结、对齐智能体组成的系统是否遵从有害请求。。作者研究三种拓扑：双智能体、三级顺序协作，以及双专家加汇总。
- 防御arXiv 2609.13601
Mind the Gap：检测 DAO 治理中的描述-执行不匹配攻击
提出 DEMI 检测框架，在执行前识别 DAO 提案描述与执行载荷的不匹配
- arXiv
- 2609.13601
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- Gemini 2.5 Pro、Gemini 2.5 Flash、GPT-4o 等 8 个
摘要用公开链上数据仿真治理全流程，再以逐动作证据映射在执行前发现描述与执行不一致。
Mind the Gap 把 DAO 提案的描述–执行不一致（DEMI）做成可在投票窗口内运行的检测问题。。
- 防御arXiv 2609.22573
研究提出面向企业 MCP 的零信任授权与工具发现方案
提出企业 MCP 的零信任授权扩展，拒绝提示注入下的越权工具调用
- arXiv
- 2609.22573
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- gemini-2.5-pro、gpt-5、claude-sonnet-4-6 等 6 个
摘要同一份按工具声明同时管 MCP 的发现、列表和调用，使注入不能扩大已有凭证的权限。
作者把零信任放在 MCP 工具调用边界：智能体即使被提示注入，也不能调用其凭证范围之外的工具。问题来自三点部署性质。调用意图会随不可信上下文改变。
- 攻击arXiv 2609.10117
研究揭示基于混淆的端侧 LLM 保护方案的安全边界
提出 Collapse，从端侧混淆暴露视图抽取高效用替代模型
- arXiv
- 2609.10117
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- BERT-Base、ViT-Base、Qwen2.5-0.5B 等 4 个
摘要Oprior 是四原语复合的安全边界，Collapse 利用列方向泄漏抽取替代模型，Oext 只被同一攻击评测。
这篇工作用代数原语统一若干 TEE 卸载混淆，给出该族的典范边界，再说明该边界挡不住一种分阶段模型抽取。。
- 防御arXiv 2609.16229
ARIA：用稀疏自编码器实现测试时机器遗忘
提出 ARIA，在冻结权重上用 SAE 做推理时遗忘门控
- arXiv
- 2609.16229
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- Gemma-3-1B-it、DeepSeek-R1-Distill-Qwen-1.5B
- 攻击arXiv 2609.38270
VirusCascade：劫持 LLM 推荐智能体的协同反思机制
提出 VirusCascade，劫持推荐智能体协同反思以定向推广物品
- arXiv
- 2609.38270
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Gemini-2.5-Flash、GPT-4o-mini、AgentCF 等 8 个
- 防御arXiv 2608.12713
互补 LLM 水印如何追踪来源并检测篡改
提出 Cocktail 水印，共嵌稳健与脆弱信号以溯源并发现篡改
- arXiv
- 2608.12713
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-3-4B、Llama-3.2-1B
- 防御arXiv 2609.14257
DenMark：面向扩散语言模型的鲁棒语义水印
提出 DenMark，在扩散语言模型去噪时注入可抵抗保义编辑的语义水印
- arXiv
- 2609.14257
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- BERT-base、LLaDA-8B、LLaDA1.5-8B 等 8 个
摘要DenMark 用 rollout 在 DLM 去噪中累积语义水印，扫描检测以抵抗保义编辑。
DenMark 是面向扩散语言模型的语义水印：在去噪的局部更新里注入密钥相关语义信号，并在编辑改变 token 边界后仍检测。现有句子级语义水印要先完成整个语义单元再打分取舍，而 DLM 以任意顺序更新掩码，中间单元不完整。DenMark 把续写划成固定 token 区域，对每个局部候选做不提交的 rollout 补全，按语义分 gb 的平均选择更新，从而沿轨迹累积证据。
- 评测与基准arXiv 2609.08901
论文揭示 BatchNorm 架构下机器遗忘评测的归一化伪影
诊断 BatchNorm 架构下机器遗忘评测的归一化伪影
- arXiv
- 2609.08901
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- ViT-S/16、ResNet-18、ResNet-50 等 4 个
摘要一次不改权重的 BN 重校准能翻转多数方法的表面遗忘，但不改变权重里的编码器泄露。
BN illusion 是作者对近似机器遗忘评测中一种 BatchNorm 测量伪影的命名：不改权重、只用 retain 数据重算运行统计，就可以把表面遗忘准确率翻过来。
- 防御arXiv 2609.15671
QPriv-VL：面向视觉语言模型的问题引导 token 裁剪隐私防御
提出 QPriv-VL，用问题引导剪枝降低分布式视觉问答的隐私泄露
- arXiv
- 2609.15671
- 发表
- 场景
- 模型与 API
- 测试
- CLIP-ViT-L/14、LLaVA-1.5-7B、Llama-2 等 4 个
摘要QPriv-VL 在切层前按问题相关度与 DINOv2 敏感度剪视觉 token，作者称能在约四成 token 下兼顾准确率与四类攻击。
QPriv-VL 把问题引导的视觉 token 剪枝做成分布式 VQA 的客户端隐私防御，而不是只做集中式推理加速。
- 攻击arXiv 2608.29458
Reference-Grafting 在提取沙袋行为隐藏能力上追平微调
提出参考嫁接，在推理阶段用激活干预诱导沙袋隐藏能力
- arXiv
- 2608.29458
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- Gemma-2-2B、Gemma-2-9B、Gemma-2-27B 等 15 个
- 攻击模型篡改
摘要提出参考嫁接在推理阶段以低成本匹配微调诱导效果，揭示隐瞒表征重叠与阈值门控机制。