评测与基准arXiv 2610.08871
CredLeak-Bench
提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露
- arXiv
- 2610.08871
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Llama-3.1-8B-Instruct、Claude Sonnet 5、Claude Opus 4.8 等 7 个
- 攻击提示注入
隐私与数据泄露 · 论文
另有 71 篇论文还没打上分类标签，暂不在筛选结果里。
- 风险行为arXiv 2609.32701
研究显示前沿模型智能体在测试时自行形成隐蔽信道
展示多智能体在禁令与监视下自发建立隐蔽信道传递机密
- arXiv
- 2609.32701
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Llama 4 Maverick、GPT-5.6 Sol、Terra 等 6 个
摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。
论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。
- 攻击arXiv 2610.04589
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性
- arXiv
- 2610.04589
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。
- 评测与基准arXiv 2610.05586
AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测
用 AGENTDOXX 评测搜索 Agent 对匿名访谈的再识别
- arXiv
- 2610.05586
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Llama-4 Maverick、GPT-5.6 Terra、GPT-5 Mini 等 10 个
- 攻击恶意使用
摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。
- 攻击arXiv 2609.18217
研究：跨通道碎片化攻击可绕过 MCP 单通道防御
提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件
- arXiv
- 2609.18217
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Llama-3.3-70B、GPT-4o、GPT-4o-mini 等 15 个
摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。
- 攻击arXiv 2610.01365
ReGap：无需真实隐私数据即可通过微调重新提取模型隐私关联
提出 ReGap，用自生成伪监督微调恢复模型中的隐私关联
- arXiv
- 2610.01365
- 发表
- 场景
- 模型与 API
- 测试
- OPT-1.3B、GPT-2 Small、GPT-2 Medium 等 6 个
摘要提出无真实私有监督的恢复攻击 ReGap，实验显示微调可通过自生成数据唤醒模型潜在隐私关联，突显后适应隐私风险。
- 分析与理论arXiv 2607.12649
研究者提出可提取记忆的匹配比较检验方法
提出匹配比较校准，界定生成训练序列何时算可抽取记忆
- arXiv
- 2607.12649
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama 3.1 70B、Llama 3.1 base、Llama 2 13B 等 7 个
摘要匹配非成员校准阈值后，短序列抽取含大量假阳性，极低概率过阈值也不等于可抽取。
Cooper 等人从第一性原理重写 extractable memorization：生成训练文本只有在概率高过匹配非训练文本的可预测性基线时，才支持记忆声称。
- 攻击arXiv 2610.01768
LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄
提出 LLMLeak，把机密编进报错 URL，借聊天机器人网页抓取外传
- arXiv
- 2610.01768
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Meta-Llama-3.3-70B-Instruct、Meta-Llama-4-Scout-17B-16E-Instruct、Meta-Llama-3.1-8B-Instruct 等 15 个
摘要LLMLeak 用报错 URL 借聊天机器人抓取外传秘密。
LLMLeak 研究一种隐蔽外传：本地恶意软件已拿到机密，却因为网络限制或监控不能直接连接攻击者，于是把秘密放进看起来像排障文档的 URL，让良性聊天机器人的网页抓取工具在访问时把秘密带出去。
- 防御arXiv 2609.31056
SCALPEL：用对比稀疏自编码器实现选择性表征层遗忘
提出 SCALPEL，用对比 SAE 在表征层选择性遗忘特定事实
- arXiv
- 2609.31056
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.2-1B-Instruct、Qwen2.5-1.5B-Instruct、Gemma-2-2B-it
摘要SCALPEL 以对比稀疏特征做窄目标表征遗忘，在 TOFU 上与优化基线相当且可检查。
SCALPEL 是不改基座权重的表征层遗忘方法，面向与保留数据重叠的窄目标。
- 其他arXiv 2609.10144
AIOS 的内核管理共享内存：面向系统级个性化的新抽象
研究提出"内核管理共享内存"，由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。
- arXiv
- 2609.10144
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Llama-3.1:8B、GPT-4o、Qwen-2.5:7B
- 组件记忆
摘要作者称内核集中管理记忆，能拿到无约束上下文的大部分个性化收益，并降低延迟。
kernel-managed shared memory 把多智能体的检索、隐私和注入收进 agent-system kernel，并在 AIOS 上与三种替代方案比较。
- 攻击arXiv 2609.06749
PMA 攻击：针对隐私保护 LLM 中嵌入到嵌入混淆的语义流形对齐方法
提出 PMA，用流形对齐从 E2EO 混淆向量恢复明文
- arXiv
- 2609.06749
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- RoBERTa-base、LLaMA-2 (7B)、LLaMA-3 (8B) 等 6 个
- 防御arXiv 2609.12378
Odin：面向隐私保护 Llama 3 8B 推理的开源端到端 FHE 实现
提出端到端全同态加密方案 ODIN，在云端密文上完成推理以保护提示词
- arXiv
- 2609.12378
- 发表
- 场景
- 模型与 API
- 测试
- Meta-Llama-3-8B、Llama-3-8B（THOR-style baseline）
摘要ODIN 用可复用的特征主序打包和联合误差预算，在单张 H100 上完成 Llama-3-8B 的 CKKS 推理。
ODIN 是面向 Llama 的服务器侧 CKKS 推理系统：客户加密提示词，诚实但好奇的服务器用明文权重在密文上算完 Llama-3，只返回结果密文。
- 其他arXiv 2609.16915
ROSETTA：基于混合 CKKS/TFHE 的高效准确隐私保护 LLM 解码框架
提出混合 CKKS/TFHE 的隐私保护 LLM 解码框架 ROSETTA
- arXiv
- 2609.16915
- 发表
- 场景
- 模型与 API
- 测试
- TinyLlama-1.1B、LLaMA-3-8B、GPT-2 Base
摘要ROSETTA 用分段 LUT 和 DAG 最短路，把 CKKS 与 TFHE 按算子拼进 LLM 解码。
ROSETTA 是面向 LLM decode 的混合 CKKS/TFHE 隐私推理框架，目标是在 honest-but-curious 两方设定下，让服务器在密文上完成解码，同时保住权重和用户输入。
- 其他arXiv 2609.21858
基于泊松过程的可水印多草稿推测采样
提出多草稿水印投机采样 MPFR，同时保持无偏水印与采样效率
- arXiv
- 2609.21858
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-0.5B-Instruct 等 4 个
摘要MPFR 用上下文索引的泊松过程做可水印多草稿投机采样，并保持停止时间草稿不变性。
MPFR 是一种基于泊松过程的多草稿投机采样，用来同时提高解码效率并嵌入无偏水印。
- 攻击arXiv 2609.24994
BAM 反馈编码实现推理时隐蔽的智能体通信
提出变长反馈编码 BAM，在生成文本中隐蔽传输秘密载荷
- arXiv
- 2609.24994
- 发表
- 层
- 模型层
- 场景
- 多智能体
- 攻击者
- 黑盒
- 测试
- Llama-3.1-8B、Llama-3.1-8B-Instruct、Qwen-3.5-9B-Base 等 6 个
- 防御arXiv 2609.36372
TTMark：超越单 token 熵的成对无失真水印
提出成对无失真水印 TTMARK，增强低熵下的机器文本检测
- arXiv
- 2609.36372
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama3.2-3B-Instruct、Mistral-v0.3-7B-Instruct、Qwen2.5-7B-Instruct 等 4 个
摘要TTMARK 用水印化相邻 token 对利用条件熵，在多种无失真方案上提高检测并保持生成质量。
TTMARK 是一种成对、无失真的文本水印：对相邻 token 的联合分布重加权，而不是逐 token 独立重加权。
- 其他arXiv 2609.38895
Unmerge：用任务算术实现高效机器遗忘
提出 UNMERGE，用任务向量低秩分解做概念级遗忘
- arXiv
- 2609.38895
- 发表
- 场景
- 模型与 API
- 测试
- Llama-3.2-3B-Instruct、ResNet-50、ViT-S/16
摘要UNMERGE 用低秩任务向量相减做概念级遗忘，类别任务上 ToW 与隐私更接近重训。
UNMERGE 把近似机器遗忘写成模型合并的逆运算：从已微调的合并任务向量里减去一个学出来的低秩遗忘分量。作者要处理的是概念级请求（一个类或一个语义组），而不是任意单条记录。梯度上升、重标注、蒸馏和显著性方法都靠把遗忘损失写进权重，作者认为它们超参脆弱、无法表达遗忘与保留的共享方向，也缺少逐层诊断。
- 防御arXiv 2608.12713
互补 LLM 水印如何追踪来源并检测篡改
提出 Cocktail 水印，共嵌稳健与脆弱信号以溯源并发现篡改
- arXiv
- 2608.12713
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.2-1B、Gemma-3-4B
- 攻击arXiv 2608.27800
ContextLeak：通过恶意工具窃取 LLM Agent 运行时上下文
提出 ContextLeak，用强化学习生成恶意工具描述以诱导 Agent 外泄上下文
- arXiv
- 2608.27800
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Llama-3-8B-Instruct、Meta-SecAlign、Qwen-3-8B 等 11 个
- 攻击arXiv 2609.10611
WPMIA：面向严格黑盒大模型的词级概率成员推断攻击
提出严格黑盒成员推断 WPMIA，用采样估计词级概率判断训练成员
- arXiv
- 2609.10611
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- OPT-6.7B、LLaMA-13B、Pythia-6.9B 等 12 个
- 攻击提取与窃取
摘要WPMIA 从续写估计词级似然并对比前缀，黑盒上多数优于所列基线。
WPMIA 是面向严格黑盒的 LLM 预训练数据成员推断：攻击者只能看到文本续写。