跳到正文

隐私与数据泄露

今天新收录 46 条(含旧文)

第 7 页更新的内容回到最新

10月1日周四
  1. arXiv:可解释性 · 收录 · 原文 论文36

    SCALPEL:用对比稀疏自编码器实现选择性表征层遗忘

    研究者提出 SCALPEL,一种对比稀疏自编码器,用于学习更具选择性的遗忘特征,从而在内部表征层面移除目标信息。作者指出基于重建的提取方法存在能量偏置,会偏向占主导的背景结构而忽略低能量的目标成分,并理论证明对比训练能促进目标选择性特征,且其选择分数可控制对背景知识的预期扰动。在 TOFU 数据集上对 Qwen、Llama 和 Gemma 的实验显示,SCALPEL 明显优于 NMF 与标准 SAE 干预,并与 Gradient Difference 和 RMU 相当,连接了机制可解释性与细粒度遗忘。

  2. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文59

    Repeat-After-Me:针对黑盒 VLM 的自适应视觉提示注入攻击

    研究者提出 Repeat-After-Me,一种黑盒自适应视觉提示注入攻击,可诱导模型泄露个人身份信息或发起恶意工具调用。在良性用户提示与注入任务语义无关、且未口头授权的现实设定下,该方法在开源与商用前沿 VLM 上的攻击成功率分别超过 82% 和 47%,涉及 Qwen3.6-27B 与 GPT-5.5。优化后的注入在商用 VLM 和良性样本间具有一定可迁移性,并在自适应文本提示注入失效的场景中仍然有效。在一个接入 Discord 的真实 OpenClaw Agent 中,不受信任的用户可用一张轻度注入的图片覆盖其 TOOLS.md 文件,为之后的远程代码执行和密钥窃取等敏感行为铺路。论文还讨论了潜在防御手段。

    推荐理由论文给出黑盒视觉提示注入在多个前沿 VLM 上的成功率,并演示了在真实 OpenClaw 智能体上覆写配置文件的完整链路。

  3. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文24

    AIOS 的内核管理共享内存:面向系统级个性化的新抽象

    研究提出"内核管理共享内存",由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。该设计在 AIOS 上实现,用 GPT-4o、Llama-3.1:8B、Qwen-2.5:7B 三个助手模型共 1800 次试验,对比 Mem0 等三种方案:个性化得分提升 2.4-4.0 分(5 分制,GPT-4o 上 profile usage 从 1.05 升至 4.69),端到端延迟降低 15-61%,并减少每次调用的 token 用量与推理成本。

  4. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文56

    FlowSeal:用信息流控制阻断 LLM Agent 的隐私泄露

    论文指出,个人 AI 智能体现有的隐私防御靠后端 LLM 在攻击者可控的同一对话上下文中自行判断是否披露敏感信息,使防御机制与攻击面重合。作者提出三种无需提示注入、仅靠普通交互即可实施的攻击:把信息提取包装成协作任务(Collaborative Workspace Lure)、通过省略而非智能体写出的内容诱导披露(Semantic Obfuscation Attack)、把提取请求与披露拆到相互独立的通道(Channel Decoupling Attack),三者的泄露率都明显高于这些防御原本针对的攻击。据此作者提出 FLOWSEAL,在 LLM 上下文之外的工具层拦截器中,依据数据来源和带受控降密的信息流控制格执行保密。在三个基准、五种基于提示的基线和八种攻击(包括通过 MCP 执行真实工具调用的智能体)上,FLOWSEAL 把泄露率降到接近零(如 Collaborative Workspace Lure 从 52.2% 降到 0.5%),同时保持任务效用,且不依赖底层 LLM。

    推荐理由论文给出三种无需提示注入即可绕过现有隐私防御的交互式攻击,并附各防御下的泄露率对比,便于评估 Agent 隐私防护的实际边界。

  5. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    用扩散模型隐空间扰动防御视觉语言模型的地理位置隐私泄露

    研究系统考察了多模态大推理模型(MLRM)从日常照片推断用户地理位置带来的隐私泄露,发现基于拒答的防护严重不足,精心构造的越狱提示词可将模型响应率提高到 100%。作者指出,现有在像素空间注入不可见扰动的防御受结构性限制,黑盒迁移性下降且出现明显视觉伪影。为此提出一种基于扩散模型的主动防御框架,在反向采样过程中向扩散模型隐空间注入扰动,直接作用于高层语义表示,并以与 GPS 坐标对齐的 GeoCLIP 作为代理模型定位和破坏 MLRM 用于位置推断的地理信号。该方法在保持图像感知质量的同时获得更强的黑盒迁移性,便于在社交媒体平台集成。该工作已被 NDSS 2027 接收。

  6. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文43

    HE-Guardrail:面向加密大模型推理的同态护栏防御越狱攻击

    作者指出,基于同态加密的大语言模型推理存在一个安全漏洞:服务端在无法接触明文的情况下,既看不到客户端提交的提示词,也看不到模型生成的回复,因此恶意客户端的越狱攻击难以被检测或拦截,甚至可能完全不被服务端察觉。为此作者提出 HE-Guardrail 框架,在加密数据上完整执行护栏机制,并以同态方式控制目标模型的回复是否返回给客户端。该框架以 Llama Guard、JBShield 和 GradSafe 三种代表性护栏进行实例化,结果显示其在密文域中能较接近地复现对应明文护栏的判定,并在安全性、效率与可用性之间呈现不同的权衡。

  7. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文43

    PMA 攻击:针对隐私保护 LLM 中嵌入到嵌入混淆的语义流形对齐方法

    作者提出 Proxy Manifold Alignment(PMA),一种针对隐私保护 LLM 中 Embedding-to-Embedding Obfuscation(E2EO)方案的密文到明文重建攻击。其核心观察是 E2EO 保留了原始语义结构,因此混淆后的向量流可视为一种符号即向量本身的未知分词语言,攻击被建模为从该未知语言到明文的翻译任务。PMA 仅需访问混淆向量流、目标分词器和公开语料,先用 Word2Vec 分别建模混淆流与公开语料的共现模式并构建两个代理嵌入向量,再基于结构相似性对齐两者的底层流形,最后把混淆向量映射回明文。实验结果显示,PMA 的明文恢复效果持续高于其他 SOTA 攻击方法。

  8. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文27

    面向联邦 LLM 微调的隐私保护拆分学习

    针对联邦拆分学习中 LLM 自回归特性导致中间激活泄露输入、现有扰动防御失效的问题,研究者提出一种可学习的混淆—恢复方案,在保护参与者私有数据集的同时仍能在服务器端训练可独立部署的模型。实验显示该方法在实现强隐私保护的同时仅带来适度的效用损失和系统开销,使基于拆分的联邦 LLM 微调具备实际可行性。

  9. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文8

    面向压缩与隐私的可扩展离散到连续信道模拟

    研究者提出一种离散到连续信道的精确与近似模拟方案,使用固定数量的随机样本,运行时间与信道和输入无关。该方法对每个候选目标分布生成一个或固定数量的样本,经潜在置换后用指数竞赛完成样本选择,可在样本数与压缩率之间灵活权衡;结合极化码与多级编码,将长块长处理扩展至 O(n log n) 时间。作者展示了其在随机 VQ-VAE 可变速率压缩,以及通过精确模拟高斯机制实现通信高效差分隐私分布式均值估计中的应用。

  10. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文31

    Odin:面向隐私保护 Llama 3 8B 推理的开源端到端 FHE 实现

    Odin 是首个开源的端到端 GPU CKKS 实现,可在加密状态下完成 Llama-3-8B 推理。它通过 feature-major 跨层布局统一残差连接与层接口,并为线性投影和注意力构建临时算子内布局,减少权重的冗余明文编码;注意力中 QK^T 的分数可直接被 Softmax 消费,PV 直接消费概率,避免中间重打包;非线性运算采用带输入范围控制的 minimax 多项式近似与联合误差分配。在单张 NVIDIA H100 80 GB GPU 上,输入 128 token 时评估全部 32 层耗时 366.4 s、峰值显存 58.9 GiB,相比 THOR 的 1651.9 s 提速 4.51 倍。

  11. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文43

    研究者在双 T4 上复现并插桩 Tree-Ring 语义水印伪造攻击

    作者在 Stable Diffusion XL 上复现了 Müller 等人针对 Tree-Ring 语义水印的 Reprompt 伪造攻击,使用原作者发布的代码,在免费档双 T4 GPU(每卡可用显存 14.6 GB)上运行,单卡显存明显低于原研究使用的 A40。三组共六次试验中,真实图像检出 6/6,干净图像 0/6,伪造图像 5/6,每次攻击耗时 325-332 秒。作者还从检测器源码中恢复了被丢弃的非中心卡方统计量,其恢复结果与已发布检测器完全一致,基于该统计量构造的两个分数在同一批 18 个观测上以 AUC 0.861 和 0.972 区分伪造组与干净零假设。

  12. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文50

    研究:置换式保密在混合 FHE 推理中失效,可精确恢复 ResNet-20 全部线性层

    该论文指出,混合 FHE 推理中依靠输出置换加噪来保护模型保密性的方案在系统所需的正确性范围内失效。作者证明,对 d 输入的线性层,d+1 次合法查询即可精确恢复置换不变的层摘要,从而实现模型的完全区分;输入 DP 与模型保密性正交,且正确性受限的噪声下 shuffle 放大所需的本地 DP 前提无法成立。实验从 TFHE 记录中以零误差端到端恢复 SAFHIRE 风格 ResNet-20 的全部线性层,每层用 d+1 次查询,共 5712 次直接查询;在相同查询模型下,预训练 ImageNet 规模 CNN 与 ViT-B/16 也实现逐层精确恢复。

  13. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文15

    ROSETTA:基于混合 CKKS/TFHE 的高效准确隐私保护 LLM 解码框架

    ROSETTA 是一个混合 CKKS/TFHE 框架,用于解决全同态加密(FHE)隐私推理中非线性操作开销过大的问题。它提出基于 TFHE 的自适应分段查找表协议,并设计算子选择框架自动将每个非线性算子分配给 CKKS 或 TFHE,以最小化端到端解码延迟。相比 SOTA 框架 CacheMir,ROSETTA 实现最高 4.8 倍 Softmax 加速和 1.5–2.1 倍端到端加速,论文已被 ACM CCS 2026 接收。

  14. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文27

    RemTraceNet:不可见水印攻击的少样本取证检测

    RemTraceNet 通过融合受限残差、局部关系、FFT/Haar 统计与块 DCT 证据,在原生分辨率下对不可见水印移除过程进行少样本取证检测。在 23 种移除流程和 10 种水印配置、每条流程 100 张攻击训练图像下,其 TPR@1%FPR 三种子宏平均为 82.75%–88.17%,比重新训练的 SRNet、ZhuNet 和 SiaStegNet 高出 10.80–15.68 个百分点。结果表明,擦除水印与擦除移除痕迹是两项不同挑战,移除痕迹在有限监督下仍可学习。

  15. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文18

    基于泊松过程的可水印多草稿推测采样

    针对推测采样与水印难以兼得的问题,研究者提出一种基于泊松过程的多草稿推测采样算法,可在不降低推测接受率的前提下嵌入无偏水印。该算法基于精确的免通信列表耦合方案,具备草稿器不变性,是首个同时保持水印强度与采样效率的多草稿、草稿器不变推测采样方案,实验验证了两方面性能。

  16. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文25

    VidMark:面向视频生成模型知识产权保护的高效水印方案

    研究者提出一种生成内嵌水印方案,用于视频生成模型(VGM)的合成视频验证与模型所有权验证两项取证任务。方案包含名为 VidMark 的视频水印网络,结合两级离散小波变换(DWT)分解与全局时序注意力模块(GTAB),并通过解码器引导的微调让 VGM 生成携带模型专属水印的视频。在代表性 VGM 上实验显示,水印提取准确率超过 99%,两项验证任务准确率均达 100%,且对视频级与模型级攻击具有强鲁棒性。

  17. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文43

    BAM 反馈编码实现推理时隐蔽的智能体通信

    研究者提出 BAM(Burnashev Adaptive Posterior Matching)反馈编码方案,把黑盒 LLM 隐写重构为带因果无噪声反馈的序列通信问题,每个生成的 token 双方都能观察到并用于指导后续嵌入。该方法结合后验匹配与解码确认阶段,安全性通过密码学归约证明建立。在三个开源权重语言模型上,BAM 于约 50 个 token 内传输 8-bit 载荷,1000 次试验的消息错误率为 0-0.1%,而同等长度下最强的黑盒基线为 10-17%。作者据此展示了在多种对话场景中实现高通信速率的端到端通信协议。

  18. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文43

    研究者提出通过替换神经网络权重高容量外泄医学影像的攻击

    研究者提出一种高容量神经隐写攻击,把医学图像编码为连续隐表示并嵌入模型初始化权重,模型导出后可直接从权重中重建隐藏图像。该方法用基于 StyleGAN2 的对抗自编码器学习紧凑隐码,并正则化使其匹配标准权重初始化统计量,从而让嵌入参数与干净模型在统计上保持一致;训练时注入噪声可提升对导出环节缓解措施的鲁棒性。载体模型在原本任务上仍保持可用,最多可将 99 个脑部 MRI 体数据嵌入一个 30MB 模型,且在会破坏此前比特级方案的缓解措施下仍可恢复。重建结果只是近似而非像素级精确,但嵌入内容在解剖上仍可辨认并可规模化恢复。

  19. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文15

    DwT-FL:联邦学习中边训练边去重的隐私保护跨客户端去重系统

    针对联邦学习中跨客户端重复数据降低训练效率并加剧模型记忆与隐私风险的问题,研究者提出“边训练边去重(DwT)”范式及隐私保护去重系统 DwT-FL,将跨客户端去重从一次性全局同步预处理转为带状态管理、并发声明与故障恢复的持续在线服务。该系统通过并发状态声明机制与冷热双队列调度策略,实现安全去重与模型训练的并行执行,并支持客户端动态加入。实验显示,相比 SOTA 方案,DwT-FL 将故障恢复和动态加入的时间开销分别最多降低 93.04% 和 94.18%。

  20. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文17

    PILLAR:面向增强检索的私有倒排索引词法查找

    PILLAR 是一种基于私有信息检索(PIR)的隐私保护 RAG(PPRAG)系统,客户端从服务器持有的公开语料中取回与查询最相似的 k 篇文档,而服务器无法得知查询词项及其访问模式。它采用稀疏加稠密两阶段混合检索:稀疏阶段对预计算 BM25 分数的索引发起少量固定次数的 PIR 查询筛出候选,稠密阶段仅取回候选文档嵌入向量并在本地重排,避免私有稠密检索所需的大量 PIR 查询。PILLAR-Bin 将倒排列表分箱进哈希表,单轮设计延迟低于现有方案;PILLAR-Tree 将 block-max 剪枝转为不经意树遍历并结合 cuckoo 哈希表,在更低延迟下取得最高检索质量。

  21. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文25

    TTMark:超越单 token 熵的成对无失真水印

    TTMark(Tandem Token WaterMark)将无失真水印从单个 token 扩展到相邻 token 对,通过对连续 token 的联合分布加水印,把有效水印字母表从 V 扩大到 V²,使检测器能同时利用 token 熵与条件熵。该方法引入分支隔离的串联生成算法,可在单次前向传播中构建联合分布,理论上在低熵场景下具有更强的期望检测强度。在多个语言模型、数据集和三种代表性无失真水印方案上的实验显示,TTMark 在不降低生成质量的前提下持续提升可检测性,并改善抗编辑鲁棒性与局部水印检测能力。

  22. arXiv:后门、投毒与隐私 · 收录 · 原文 论文15

    Unmerge:用任务算术实现高效机器遗忘

    Unmerge 将机器遗忘重构为任务算术的逆运算:微调得到的合并任务向量减去低秩遗忘分量即可恢复保留任务向量,因为遗忘激活在每层都集中在少数主方向构成的子空间内。在 CIFAR-100 和 Tiny ImageNet 上对 ResNet-50 做类别级遗忘时,其 Tug-of-War 指标比同等运行时间的基线最高提升约 24%,比运行慢约 5 倍的更强基线最高提升约 18%,成员推断暴露维持在重训练水平。该方法同样适用于 ViT-S/16,并可扩展到 Llama-3.2-3B,其逐层基几何还可作为判断遗忘何时何地结构性困难的诊断工具。

  23. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文40

    推理层安全:防御对抗性推理与基础设施滥用

    论文研究 LLM 服务在推理层面临的对抗性交互,包括越狱、拒绝服务与知识蒸馏攻击,并以假设的前沿实验室 Five Elements Inc. 为例展开。由于缺少公开的对抗性 LLM 使用标注数据集,作者提出结构因果模型(SCM)生成带标签的用户会话数据集,包含协同多账号活动、平台反馈和三个层级的标签可观测性。在该数据集上训练的梯度提升检测器对 oracle 标签的二元分类 AUPRC 达 0.993,但面对真实 Trust & Safety 团队持有的运营标签时 AUPRC 仅 0.313,说明检测器比用于评估它的标签更准确。攻击类型归因方面,朴素 argmax 受 98% 良性先验主导,macro-F1 仅 0.295,改用简单阈值决策引擎后提升到 0.489 且不损失准确率。数据集已公开。

  24. Hugging Face Daily Papers · 收录 · 原文 论文55

    AgentTell:浏览器 Agent 的行为侧信道泄漏基准

    BRAC University 等机构的研究者提出 AgentTell,用于测量浏览器 Agent 的行为侧信道泄漏,即 Agent 在一个网站获取用户私密信息后,在另一个网站通过任务导向的选项选择无意泄露该信息。基准包含 20 个场景、100 个任务,每个任务先在 plant 网站让 Agent 获知秘密,再到 probe 网站选择与秘密对应的专属操作或不会泄露的通用操作。在六个模型上共评估 9,760 个会话,携带秘密的 Agent 在 61.1% 的会话中通过操作泄露信息,即使记忆里明确写下不得分享,仍在 56.7% 的这类会话中泄露;34.5% 的泄露会话中,Agent 的最终回复还错误地保证未披露任何信息。泄漏程度因秘密类型而异,个人属性、账户设置和物品归属关系泄漏最多,服务账户身份泄漏最少;若秘密在前一任务中被实际使用,泄漏概率更高。

    推荐理由论文给出跨网站行为侧信道泄漏的量化结果,做浏览器 Agent 的团队可据此检查选项设计是否泄露用户隐私。

  25. arXiv · 收录 · 原文 论文33

    互补 LLM 水印如何追踪来源并检测篡改

    针对现有 LLM 水印在保留来源归属的同时可被"搭便车欺骗"篡改关键内容的问题,研究者提出一种同时提供来源证明与篡改证据的水印,在每个生成 token 中共同嵌入一个鲁棒信号和一个脆弱信号。两个信号机制相同但使用独立密钥和不同种子窗口,脆弱信号对读者可见的改动敏感;检测时两个分数构成二维空间,支持 Intact、Tampered、No-Watermark 三种判定。在两个大语言模型和两个提示数据集上,该方法在评测方法中取得最高篡改检测率,同时保持有竞争力的归属鲁棒性和困惑度。

  26. arXiv · 收录 · 原文 论文29

    面向良性用途的对抗攻击:视觉内容全生命周期主动防护综述

    一篇综述将数据所有者、创作者、平台或审计方主动施加扰动与结构化信号以干扰未授权自动化、支持事后追责的做法称为"面向良性用途的对抗攻击",并梳理了沿视觉资产生命周期分布的五个研究方向:分享阶段的隐私过滤器、针对未授权训练不可学习样本、防恶意编辑或模仿的生成式防护、用于访问控制的对抗验证码,以及传播后的来源溯源机制。作者按可迁移性、自适应性和部署就绪度统一评估这五类方法,发现多数防护仍主要针对静态或弱自适应对手验证,受控基准之外的证据依然稀缺。

  27. arXiv · 收录 · 原文 论文46

    DAEI:针对噪声防护文本嵌入的反演攻击揭示隐私风险

    研究者提出 DAEI,一种去噪感知的嵌入反演流程,用于在只能观测到加噪嵌入、无法获得干净嵌入目标的条件下重建原始文本。作者先分析现有生成式反演方法在该设定下失效的原因,将其归结为双重噪声陷阱,再用残差去噪自编码器结合生成式文本反演,并借助 Stein 无偏风险估计以无监督方式训练去噪器,使其仅凭含噪观测即可去噪。实验显示 DAEI 相比现有生成式反演基线在 BLEU 上取得约 154% 的相对提升,token 级 F1 与 ROUGE-L 也提升 32% 至 60%。该结果对简单高斯扰动即可防止嵌入泄露敏感信息的普遍假设提出质疑。论文 11 页、3 张图,已被 IEEE ICDM 2026 接收。

  28. arXiv · 收录 · 原文 论文50

    LeakGauge:用行为探针在解码前检测上下文泄露攻击信号

    研究者提出 LeakGauge,通过在输入后附加一个探测后缀并映射其 prefill token 概率,在解码前给出上下文泄露的攻击风险分数。作者发现,直接使用机密内容初始 token 的探针不如内容无关、直接表述泄露行为的探针稳健。在包括 GLM-5.2(753B)和 Kimi-K3(2.8T)在内的 11 个 LLM 上,LeakGauge 对未见攻击的 AUROC 达到 0.944 至 0.996,且在内容换语言或攻击从逐字泄露转为语义泄露时信号保持稳定。通过激活引导干预,作者进一步表明该风险分数对模型内部与泄露相关的方向敏感。该检测器额外参数少于 0.5K,附加延迟为 10.34 ms,代码已公开。

  29. arXiv · 收录 · 原文 论文50

    ContextLeak:通过恶意工具窃取 LLM Agent 运行时上下文

    研究者提出 ContextLeak,一种通过恶意工具窃取 LLM Agent 运行时上下文的攻击,目标是让 Agent 既选中该工具、又把上下文作为输入参数传给工具。作者指出,上下文外泄通常需要三个条件:Agent 选中恶意工具、Agent 将运行时上下文作为参数传入、工具实现把输入发送到攻击者控制的端点;已有工作主要关注第一和第三个条件,第二个条件此前基本未被探索。ContextLeak 用强化学习精心构造工具的名称和描述,由一个攻击 LLM 自动生成这些内容,并在具有多样化模拟 Agent 上下文的影子用户上对攻击 LLM 做强化学习微调,其关键技术贡献是针对上下文外泄目标设计的奖励函数。

  30. arXiv · 收录 · 原文 论文42

    研究提出 Q-Skew:利用 token 级记忆不对称对微调扩散语言模型做成员推断

    研究者在微调扩散语言模型(DLM)上提出成员推断方法 Q-Skew,一种基于分位数加权偏度的指标,其依据是通过理论分析发现的 token 级记忆不对称现象。在多个微调数据集和模型上的实验显示,该方法优于现有基线。作者进一步表明 Q-Skew 还能用于 PII 提取等其他隐私侵犯场景,认为扩散语言模型存在此前未被充分探索的隐私攻击面,需要系统性的隐私评估。该论文共 18 页,已被 EMNLP 2026(Findings)收录。

  31. arXiv:后门、投毒与隐私 · 收录 · 原文 论文50

    研究者提出针对微调 TTS 模型的黑盒成员推断攻击

    研究者提出首个同时面向说话人级和录音级的黑盒成员推断攻击框架,用于检测语音数据是否被用于微调 TTS 模型。在查询生成上,作者刻画了可行查询空间并提出可评分范围与记忆诱发两条准则,评估五种代表性查询后认定朗读(recitation)效果最强;在表征工程上,从嵌入模型提取多层级语音表征,并对生成音频与目标音频做时间对齐以实现细粒度比较。

  32. arXiv · 收录 · 原文 论文56

    PMPA:针对 OpenClaw 与 Claude Code 的持久记忆投毒攻击

    研究者提出 PMPA,一种针对基于 harness 的智能体的持久记忆投毒攻击,攻击者只需在外部来源中嵌入恶意指令,无需直接访问智能体框架。注入阶段把载荷藏在文本、图片或 PDF 的良性问答内容中,诱导智能体将其写入持久记忆;触发阶段在新会话中检索该记忆,在完成正常任务的同时执行额外动作造成隐私泄露。在 OpenClaw 与 Claude Code 上,以 DeepSeek-V4-Flash、DeepSeek-V4-Pro、Qwen3-Max 为底座模型,平均注入成功率与跨会话攻击成功率为 73.7%/55.5% 和 66.9%/81.7%,同时良性任务表现保持在 80% 以上。纯文本模态攻击效果最强,OpenClaw 上注入成功率接近 100%;日历场景跨会话成功率最高,达 96.7% 和 87.8%。

    推荐理由论文给出跨会话记忆投毒在 Claude Code 与 OpenClaw 上的分项成功率,并显示提示层防御对已污染记忆几乎无效。

  33. arXiv:后门、投毒与隐私 · 收录 · 原文 论文15

    联邦学习中的隐私泄露:车载边缘网络惯性感知下基于梯度的客户端身份推断与防御

    在车载边缘网络中,诚实但好奇的服务器可从联邦学习客户端上传的权重增量中近乎完美地推断客户端身份,在 UCI HAR 基准上五种攻击分类器、五种非 IID 划分下攻击准确率约 1.000。研究评估了固定裁剪 C=1.0 下扫描高斯噪声的轻量“先裁剪再加噪”防御,sigma 在 [0.1, 0.2] 区间可将攻击准确率压至接近随机,而 FL 精度相对损失低于 5%,并通过 Renyi 记账给出 (epsilon, delta)-DP 预算。集成 FL 以 1/K 匿名集上界提供结构性隐私且无噪声代价;HAR 被明确定位为车载 IMU 数据的代理基准。

  34. arXiv:后门、投毒与隐私 · 收录 · 原文 论文15

    DP-BR-FedAvg:面向银行与医疗的差分隐私拜占庭鲁棒联邦学习框架

    针对联邦学习中参数更新泄露隐私与恶意客户端投毒两大问题,研究者提出 DP-BR-FedAvg 框架,将高斯机制差分隐私层与逐坐标截断均值拜占庭鲁棒聚合规则结合,在模拟跨机构欺诈与临床风险评分任务上评估。在 20 个客户端、其中四分之一为拜占庭节点、共 60 轮通信的设置下,FedAvg 在少数类上崩溃(F1 仅 0.030),该框架恢复至 F1 0.119,同时限制单个客户端贡献的隐私损失。无隐私层的拜占庭鲁棒聚合器原始准确率最高,量化了隐私对鲁棒性的代价,表明两类机制是相互作用而非简单叠加。

  35. arXiv:后门、投毒与隐私 · 收录 · 原文 论文24

    PAC-Private Autoregressive Generation:将 PAC 隐私扩展到自回归生成

    研究者将 PAC 隐私从分类扩展到自回归生成,用私有语料构建 m=128 个重叠世界、每个世界训练一个适配器,按各世界投票的后验加权分歧校准噪声,一致时无需加噪。在 WikiText-103 与 GPT-2-small 上,每 token 预算 2^{-32} 时保留 74% 微调收益,10^6 token 后成员推断成功率上限 51.08%。与 PMixED 在相同成员推断界下相比,10^2 至 10^6 token 区间保留 98% 非隐私余量,后者至多 56%。

  36. arXiv:后门、投毒与隐私 · 收录 · 原文 论文15

    量子原生访问下量子机器学习(QML)的隐私风险刻画

    针对量子机器学习(QML)隐私风险的研究,考察了具备量子计算能力与量子信息输出访问权的用户/对手对QML模型的成员推理攻击。研究表明,量子访问与量子计算能力的提升会带来可证明的理论隐私泄露和实证对抗增益,但QML的概率性质使理论与实证对抗优势之间存在差距。现有QML隐私泄露研究低估了新兴量子原生访问机制下的隐私泄露程度。

  37. arXiv · 收录 · 原文 论文50

    研究揭示 LLM 交付物修订痕迹导致的无意泄露,并提出 RevLeakBench 基准

    论文提出 LLM 助手在私密起草中删除或替换某条目后,仍可能在说明修改时重新暴露该条目,作者称之为修订痕迹。在三个公开对话语料库的实测分析中,共识别出 26,753 条修订请求,其中 2,363 条(8.8%)留下修订痕迹。作者构建了 RevLeakBench,覆盖五个场景的 100 项任务,分对话与 Agent 两条轨道,测量痕迹出现率、被撤回条目的可恢复率、痕迹位置和必要内容保留率。在六个模型上,两条轨道约一半的交付物在撤回后仍陈述了该修改,仅看交付物的读者可从约 13% 的交付物中恢复被撤回内容;即使告知模型整条回复将转发给接收方,仍有 36.4% 的交付物留下修订痕迹。

  38. arXiv:后门、投毒与隐私 · 收录 · 原文 论文22

    VERITAS:抗投毒的本地差分隐私图学习协议

    针对本地差分隐私(LDP)图学习协议易受数据投毒攻击的问题,研究者提出抗投毒协议 VERITAS,采用"信任但验证"范式。该协议在用户侧引入编码分级信任等级的验证列表,对节点特征与图结构联合私有化,并在服务端利用双向证明不对称性识别和剪除恶意节点,流程包括本地数据扰动、证明驱动的恶意节点剪枝、双重去噪恢复效用和鲁棒隐私图学习四个阶段。在四个真实基准数据集、多种 LDP 机制与 GNN 架构上的实验显示,VERITAS 能有效防御数据投毒攻击,并在严格隐私保证下显著提升下游图学习效用。

  39. arXiv:后门、投毒与隐私 · 收录 · 原文 论文26

    FDBA:联邦学习中的细粒度分布式后门攻击

    研究者提出细粒度分布式后门攻击框架 FDBA,用动态触发器生成与嵌入向量优化,在更少投毒样本下实施攻击。该方法基于 Canny 算法提取图像边缘特征并注入 Laplacian 噪声,再经 RGB 通道分解隐藏分布式触发器,同时用嵌入向量对比学习把投毒样本拉向目标类中心。在 CIFAR-10 上,目标 ASR 介于 70% 至 90% 时,FDBA 相比 DBA 减少 37.4%–48.4% 的投毒比例;Non-IID 极端异构下保留 84.7% 的 IID 攻击性能,DBA 降至 73.5%,并能绕过主流防御机制。

  40. arXiv:后门、投毒与隐私 · 收录 · 原文 论文20

    CANAL:面向医学图像分割差分隐私特征蒸馏的通道感知噪声分配

    CANAL 是一种面向医学图像分割的差分隐私特征蒸馏方法,通过每张图像仅释放一次、按任务梯度能量对通道做注水式噪声分配,并给出诚实计入隐私预算的拆分,在相同隐私预算下比均匀噪声保留更多任务相关信号。该方法针对此前流程中学生每次迭代重采样噪声导致隐私成本成倍复合、均匀噪声浪费通道重要性差异、以及裁剪阈值与重要性分数本身数据相关却明文释放这三个被忽视的问题。在皮肤镜、结肠镜和超声三个医学分割基准上验证了效果。