风险行为arXiv 2609.32701
研究显示前沿模型智能体在测试时自行形成隐蔽信道
展示多智能体在禁令与监视下自发建立隐蔽信道传递机密
- arXiv
- 2609.32701
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Llama 4 Maverick、GPT-5.6 Sol、Terra 等 6 个
摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。
论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。
隐私与数据泄露 · 论文
另有 76 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2609.18217
研究：跨通道碎片化攻击可绕过 MCP 单通道防御
提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件
- arXiv
- 2609.18217
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Llama-3.3-70B、GPT-4o、GPT-4o-mini 等 15 个
摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。
- 攻击arXiv 2610.01365
ReGap：无需真实隐私数据即可通过微调重新提取模型隐私关联
提出 ReGap，用自生成伪监督微调恢复模型中的隐私关联
- arXiv
- 2610.01365
- 发表
- 场景
- 模型与 API
- 测试
- OPT-1.3B、GPT-2 Small、GPT-2 Medium 等 6 个
摘要提出无真实私有监督的恢复攻击 ReGap，实验显示微调可通过自生成数据唤醒模型潜在隐私关联，突显后适应隐私风险。
- 分析与理论arXiv 2607.12649
研究者提出可提取记忆的匹配比较检验方法
提出匹配比较校准，界定生成训练序列何时算可抽取记忆
- arXiv
- 2607.12649
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama 3.1 70B、Llama 3.1 base、Llama 2 13B 等 7 个
摘要匹配非成员校准阈值后，短序列抽取含大量假阳性，极低概率过阈值也不等于可抽取。
Cooper 等人从第一性原理重写 extractable memorization：生成训练文本只有在概率高过匹配非训练文本的可预测性基线时，才支持记忆声称。
- 防御arXiv 2609.31056
SCALPEL：用对比稀疏自编码器实现选择性表征层遗忘
提出 SCALPEL，用对比 SAE 在表征层选择性遗忘特定事实
- arXiv
- 2609.31056
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.2-1B-Instruct、Qwen2.5-1.5B-Instruct、Gemma-2-2B-it
摘要SCALPEL 以对比稀疏特征做窄目标表征遗忘，在 TOFU 上与优化基线相当且可检查。
SCALPEL 是不改基座权重的表征层遗忘方法，面向与保留数据重叠的窄目标。
- 其他arXiv 2609.10144
AIOS 的内核管理共享内存：面向系统级个性化的新抽象
研究提出"内核管理共享内存"，由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。
- arXiv
- 2609.10144
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Llama-3.1:8B、GPT-4o、Qwen-2.5:7B
- 组件记忆
摘要作者称内核集中管理记忆，能拿到无约束上下文的大部分个性化收益，并降低延迟。
kernel-managed shared memory 把多智能体的检索、隐私和注入收进 agent-system kernel，并在 AIOS 上与三种替代方案比较。
- 攻击arXiv 2609.06749
PMA 攻击：针对隐私保护 LLM 中嵌入到嵌入混淆的语义流形对齐方法
提出 PMA，用流形对齐从 E2EO 混淆向量恢复明文
- arXiv
- 2609.06749
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- RoBERTa-base、LLaMA-2 (7B)、LLaMA-3 (8B) 等 6 个
- 防御arXiv 2609.12378
Odin：面向隐私保护 Llama 3 8B 推理的开源端到端 FHE 实现
提出端到端全同态加密方案 ODIN，在云端密文上完成推理以保护提示词
- arXiv
- 2609.12378
- 发表
- 场景
- 模型与 API
- 测试
- Meta-Llama-3-8B、Llama-3-8B（THOR-style baseline）
摘要ODIN 用可复用的特征主序打包和联合误差预算，在单张 H100 上完成 Llama-3-8B 的 CKKS 推理。
ODIN 是面向 Llama 的服务器侧 CKKS 推理系统：客户加密提示词，诚实但好奇的服务器用明文权重在密文上算完 Llama-3，只返回结果密文。
- 其他arXiv 2609.16915
ROSETTA：基于混合 CKKS/TFHE 的高效准确隐私保护 LLM 解码框架
提出混合 CKKS/TFHE 的隐私保护 LLM 解码框架 ROSETTA
- arXiv
- 2609.16915
- 发表
- 场景
- 模型与 API
- 测试
- TinyLlama-1.1B、LLaMA-3-8B、GPT-2 Base
摘要ROSETTA 用分段 LUT 和 DAG 最短路，把 CKKS 与 TFHE 按算子拼进 LLM 解码。
ROSETTA 是面向 LLM decode 的混合 CKKS/TFHE 隐私推理框架，目标是在 honest-but-curious 两方设定下，让服务器在密文上完成解码，同时保住权重和用户输入。
- 其他arXiv 2609.21858
基于泊松过程的可水印多草稿推测采样
提出多草稿水印投机采样 MPFR，同时保持无偏水印与采样效率
- arXiv
- 2609.21858
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-0.5B-Instruct 等 4 个
摘要MPFR 用上下文索引的泊松过程做可水印多草稿投机采样，并保持停止时间草稿不变性。
MPFR 是一种基于泊松过程的多草稿投机采样，用来同时提高解码效率并嵌入无偏水印。
- 攻击arXiv 2609.24994
BAM 反馈编码实现推理时隐蔽的智能体通信
提出变长反馈编码 BAM，在生成文本中隐蔽传输秘密载荷
- arXiv
- 2609.24994
- 发表
- 层
- 模型层
- 场景
- 多智能体
- 攻击者
- 黑盒
- 测试
- Llama-3.1-8B、Llama-3.1-8B-Instruct、Qwen-3.5-9B-Base 等 6 个
- 防御arXiv 2609.36372
TTMark：超越单 token 熵的成对无失真水印
提出成对无失真水印 TTMARK，增强低熵下的机器文本检测
- arXiv
- 2609.36372
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama3.2-3B-Instruct、Mistral-v0.3-7B-Instruct、Qwen2.5-7B-Instruct 等 4 个
摘要TTMARK 用水印化相邻 token 对利用条件熵，在多种无失真方案上提高检测并保持生成质量。
TTMARK 是一种成对、无失真的文本水印：对相邻 token 的联合分布重加权，而不是逐 token 独立重加权。
- 其他arXiv 2609.38895
Unmerge：用任务算术实现高效机器遗忘
提出 UNMERGE，用任务向量低秩分解做概念级遗忘
- arXiv
- 2609.38895
- 发表
- 场景
- 模型与 API
- 测试
- Llama-3.2-3B-Instruct、ResNet-50、ViT-S/16
摘要UNMERGE 用低秩任务向量相减做概念级遗忘，类别任务上 ToW 与隐私更接近重训。
UNMERGE 把近似机器遗忘写成模型合并的逆运算：从已微调的合并任务向量里减去一个学出来的低秩遗忘分量。作者要处理的是概念级请求（一个类或一个语义组），而不是任意单条记录。梯度上升、重标注、蒸馏和显著性方法都靠把遗忘损失写进权重，作者认为它们超参脆弱、无法表达遗忘与保留的共享方向，也缺少逐层诊断。
- 防御arXiv 2608.12713
互补 LLM 水印如何追踪来源并检测篡改
提出 Cocktail 水印，共嵌稳健与脆弱信号以溯源并发现篡改
- arXiv
- 2608.12713
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.2-1B、Gemma-3-4B
- 攻击arXiv 2609.10611
WPMIA：面向严格黑盒大模型的词级概率成员推断攻击
提出严格黑盒成员推断 WPMIA，用采样估计词级概率判断训练成员
- arXiv
- 2609.10611
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- OPT-6.7B、LLaMA-13B、Pythia-6.9B 等 12 个
- 攻击提取与窃取
摘要WPMIA 从续写估计词级似然并对比前缀，黑盒上多数优于所列基线。
WPMIA 是面向严格黑盒的 LLM 预训练数据成员推断：攻击者只能看到文本续写。
- 防御arXiv 2609.15671
QPriv-VL：面向视觉语言模型的问题引导 token 裁剪隐私防御
提出 QPriv-VL，用问题引导剪枝降低分布式视觉问答的隐私泄露
- arXiv
- 2609.15671
- 发表
- 场景
- 模型与 API
- 测试
- Llama-2、LLaVA-1.5-7B、CLIP-ViT-L/14 等 4 个
摘要QPriv-VL 在切层前按问题相关度与 DINOv2 敏感度剪视觉 token，作者称能在约四成 token 下兼顾准确率与四类攻击。
QPriv-VL 把问题引导的视觉 token 剪枝做成分布式 VQA 的客户端隐私防御，而不是只做集中式推理加速。
- 防御arXiv 2609.20532
面向旧款 GPU 的可验证差分隐私训练框架：用 CPU 侧 TEE 校验 GPU 梯度
论文提出一种在旧款 GPU 上实现可验证差分隐私（DP）训练的框架，用 CPU 侧 TEE 配合不受信任的 GPU 完成校验。
- arXiv
- 2609.20532
- 发表
- 场景
- 模型与 API
- 测试
- RoBERTa-large、5-layer MLP、WideResNet 等 4 个
摘要CPU TEE 概率抽查不可信 GPU 上的 DP-SGD，以小开销约束频繁偏离。
TEE-Certified DP 用已部署的 CPU TEE 监视不可信旧 GPU 上的 DP-SGD，使监管方能在不看训练数据的情况下检查声明的隐私机制是否被执行。
- 攻击arXiv 2609.36941
研究者提出针对黑盒 LLM 的实用密钥提取框架
提出用扰动蒸馏本地代理并离线过滤来提取黑盒模型凭据
- arXiv
- 2609.36941
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- LLaMA-3-8B、DeepSeek-Coder-7B、Qwen2.5-Coder-7B 等 8 个
- 攻击提取与窃取
摘要论文提出扰动蒸馏与离线过滤两阶段框架，实现了 output-only 访问下延迟降低的黑盒大模型 API key 提取。
- 评测与基准arXiv 2609.33481
IDUnlearn-Bench：面向视觉语言模型的个体级遗忘基准
提出 IDUnlearn-Bench，评测 VLM 个体级遗忘后的身份残留
- arXiv
- 2609.33481
- 发表
- 场景
- 模型与 API
- 测试
- Llama-3.2-11B-Vision、Qwen3-VL-2B、Qwen3-VL-4B 等 6 个
摘要IDUnlearn-Bench 用四族探针显示：压低直接属性访问后，身份仍常能被反向查出、绑定或重构。
IDUnlearn-Bench 评测 VLM 是否忘掉一个可跨模态识别的人，而不只是答不出某条监督事实。
- 攻击arXiv 2609.33985
研究：众包微调数据投毒可放大专有指令抽取
提出主题锚点投毒，放大众包微调后的专有指令提取
- arXiv
- 2609.33985
- 发表
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct 等 6 个
摘要论文提出基于主题锚点的数据中毒攻击，证明低比例的中毒样本可在黑盒条件下隐蔽放大微调指令泄漏。
已经到底了