攻击arXiv 2610.11932
复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本
测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答
- arXiv
- 2610.11932
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Grok、Doubao、ChatGPT 等 10 个
摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。
全部论文
另有 194 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2610.07723
研究者提出答案侧后门：让模型自生成触发词绕过安全拒答
提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答
- arXiv
- 2610.07723
- 发表
- 场景
- 模型与 API
- 被测模型
- Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3、Gemma-7B-it 等 4 个
摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。
- 攻击arXiv 2610.07645
SkillPoison：用成功经验投毒自进化 Agent 的技能形成
提出 SkillPoison，用局部有效的成功经验诱导自进化 Agent 形成过度泛化技能
- arXiv
- 2610.07645
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- deepseek-v4-flash、Qwen V3.8 Flash、GPT-5.5
摘要SkillPoison 通过局部有效且验证成功的经验诱导技能过度泛化，在多个评测基准上实现了持久的下游攻击影响。
SkillPoison 提出了一种针对自进化智能体经验到技能形成过程的攻击范式，通过组织已验证的成功经验诱导技能过度泛化。
- 攻击arXiv 2610.06093
研究评测训练数据提取风险的跨语言迁移
用翻译前缀做跨语言训练数据提取，恢复英语训练文本中的 PII
- arXiv
- 2610.06093
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- GPT-Neo 1.3B、GPT-Neo 2.7B、GPT-J 6B 等 7 个
- 攻击提取与窃取
摘要跨语言 TDE 能恢复英语记忆的 PII，转移随多语训练和措辞保真变化。
这篇工作检验训练数据抽取是否跨语言：英语段落里记住的 PII，能否被其他语言的前缀逐字抽出。
- 攻击arXiv 2610.04985
研究揭示 Jev 作为应用决策层的安全与隐私风险
评估应用决策层的输入注入与隐私推断风险
- arXiv
- 2610.04985
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Jev、NanoJev
摘要Jev 的类型化决策可被输入与训练操纵，也会泄露信息，并同时支持检测与滥用。
Jev 是 TypeSafe 的 System One 模型，把应用 state 和固定问题变成 Choice、Noul 或 Score 的类型化决策与概率。作者用官方 API 和可改训练的 NanoJev，考察它作为决策层时的操纵、泄露与双重用途。
- 攻击arXiv 2610.04589
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
提出 StegoMemory，评测智能体持久记忆作为跨会话隐写信道
- arXiv
- 2610.04589
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。
- 攻击arXiv 2610.04195
MemLeak 研究：多租户 Agent 共享向量记忆库存在跨用户记忆泄露
提出 MemLeak，评估多租户 Agent 共享向量记忆的跨用户泄露
- arXiv
- 2610.04195
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemini 2.5 Flash、Claude Sonnet 4.5、all-MiniLM-L6-v2 等 5 个
- 攻击arXiv 2610.01871
研究者提出 IMMRAG 攻击，可从多模态 RAG 数据存储中提取医学与文档图像
提出 imMRAG 攻击，从多模态 RAG 私有图像库提取内容
- arXiv
- 2610.01871
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Lumina-mGPT、Gemini 2.5 Flash Image Preview、CLIP ViT-B/16 等 5 个
- 攻击arXiv 2609.38270
VirusCascade：劫持 LLM 推荐智能体的协同反思机制
提出 VirusCascade，劫持推荐智能体协同反思以实现定向推广
- arXiv
- 2609.38270
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 攻击arXiv 2609.36941
研究者提出针对黑盒 LLM 的实用密钥提取框架
提出用扰动蒸馏本地代理并离线过滤来提取黑盒模型凭据
- arXiv
- 2609.36941
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- DeepSeek-Coder-7B、LLaMA-3-8B、Qwen2.5-Coder-7B 等 6 个
- 攻击提取与窃取
摘要论文提出扰动蒸馏与离线过滤两阶段框架，实现了 output-only 访问下延迟降低的黑盒大模型 API key 提取。
- 攻击arXiv 2609.36331
无需参考模型：用邻居样本校准单轮成员推理攻击
提出用邻居分数替代参考模型的单轮成员推断
- arXiv
- 2609.36331
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- 目标分类模型（架构与训练流程遵循 Aerni et al.）
- 攻击提取与窃取
摘要邻居查询在单模型上恢复逐样本校准，合成邻居加早期检查点最接近 LiRA。
本文研究 one-round 成员推断：只有一个目标模型、不能再训练参考模型时，如何仍做逐样本校准，并用于单次运行的 DP 审计。
- 攻击arXiv 2609.35699
论文：蒸馏防御在蒸馏后强化学习下易被攻破
提出用 API 推理摘要重建轨迹再蒸馏加强化学习，攻破蒸馏防御
- arXiv
- 2609.35699
- 发表
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Qwen2.5-0.5B、Qwen2.5-1.5B、Qwen2.5-3B 等 12 个
摘要更现实的蒸馏攻击是蒸馏后再 RL。
这篇工作修订蒸馏攻击的威胁模型：攻击者经合法 API 收集闭源推理数据，先蒸馏自有模型，再做强化学习。作者认为只在蒸馏后评估防御，会漏掉后续 RL，从而高估防御。
- 攻击arXiv 2609.35576
研究提出跨 LLM 助手的记忆跳跃攻击
提出跨独立 Agent 的记忆跳跃攻击，经共享工件在助手间自传播
- arXiv
- 2609.35576
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.6 Luna、Kimi-K2.6、GPT-OSS-120B 等 6 个
摘要论文证实持久工件与内存可形成跨智能体传播链，揭示了将共享工件纳入安全防线的重要意义。
该论文系统研究并量化了通过共享持久工件在具有独立私有内存的 LLM 智能体之间发生自传播的“工件介导传播”攻击风险。
- 攻击arXiv 2609.33985
研究：众包微调数据投毒可放大专有指令抽取
提出主题锚点投毒，放大众包微调后的专有指令提取
- arXiv
- 2609.33985
- 发表
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct、Llama-3.1-8B-Instruct 等 4 个
摘要论文提出基于主题锚点的数据中毒攻击，证明低比例的中毒样本可在黑盒条件下隐蔽放大微调指令泄漏。
- 攻击arXiv 2609.33136
Leaky Students：针对 on-policy distillation 的成员推断攻击
提出 Leaky，用新鲜轨迹的 token 对数概率差推断 OPD 训练记录成员身份
- arXiv
- 2609.33136
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen3-1.7B、Qwen3-4B、Qwen3.5-2B 等 5 个
- 攻击提取与窃取
- 攻击arXiv 2609.37468
论文提出针对 Agentic RAG 的检索器后门攻击与 DOU 隐藏方法
提出检索器后门攻击操纵智能体搜索，并用 DOU 逃避检测
- arXiv
- 2609.37468
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- E5、Contriever-MSMARCO
摘要论文展示了通过恶意检索器操纵智能体多轮搜索并利用诱饵重塑表征隐蔽后门的可行性与系统风险。
- 攻击arXiv 2609.14649
CIG-MIA：利用上下文信息增益对 RAG 系统发起成员推断攻击
提出 CIG-MIA，用上下文信息增益推断 RAG 知识库成员身份
- arXiv
- 2609.14649
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3、Llama-2-13b-chat-hf 等 6 个
摘要CIG-MIA 用注入前后的答案似然差推断 RAG 库成员，灰盒可分性高于所列基线。
CIG-MIA 是针对 RAG 外部知识库的成员推断攻击，同时覆盖灰盒和纯文本黑盒。
- 攻击arXiv 2609.12911
研究：置换式保密在混合 FHE 推理中失效，可精确恢复 ResNet-20 全部线性层
攻破混合 FHE 推理的置换式保密，精确恢复线性层排序谱
- arXiv
- 2609.12911
- 发表
- 场景
- 模型与 API
- 被测模型
- ResNet-20、ResNet-56、ResNet-50 等 12 个
- 攻击提取与窃取
- 攻击arXiv 2609.09865
CGMIA：用成员推理攻击检测代码生成基准的数据泄漏
提出 CGMIA，检测代码生成基准样本是否泄漏进训练集
- arXiv
- 2609.09865
- 发表
- 层
- 模型层
- 攻击者
- 灰盒
- 被测模型
- Qwen2.5-Coder (3B)、CodeGemma (2B)、DeepSeek-Coder (1.3B) 等 5 个
- 攻击提取与窃取
摘要CGMIA 融合相似度、通过率、困惑度与 CodeBERT，在模拟泄漏上优于八个 MIA 基线。
CGMIA 用成员推断检测代码生成基准是否泄入 LLM 训练集，使评测不依赖对训练语料的直接访问。
- 攻击arXiv 2609.10611
WPMIA：面向严格黑盒大模型的词级概率成员推断攻击
提出严格黑盒成员推断 WPMIA，用采样估计词级概率判断训练成员
- arXiv
- 2609.10611
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- OPT-6.7B、Pythia-6.9B、LLaMA-13B 等 12 个
- 攻击提取与窃取
摘要WPMIA 从续写估计词级似然并对比前缀，黑盒上多数优于所列基线。
WPMIA 是面向严格黑盒的 LLM 预训练数据成员推断：攻击者只能看到文本续写。