跳到正文

#隐私/数据泄露

今天还没有收录新动态
10月1日周四
  1. Stolen Thoughts · 84

    研究者称仍可通过第三方云聚合商窃取美国前沿模型的推理轨迹

    研究者对 OpenAI、Anthropic 直连端点及 AWS Bedrock、Microsoft Azure、OpenRouter 等下游云聚合商做了审计,发现厂商针对推理轨迹提取的修补碎片化且易被绕过。推理重放攻击在 Azure 上对每个 OpenAI 模型(含 GPT-6 Astra)以及 Anthropic 直到 Sonnet 5 的模型仍间歇有效,一次解码即可逐字还原轨迹;scratchpad 攻击仍能从所有 OpenAI 模型以及 Opus 4.8、Sonnet 5 提取推理,目前只有 Opus 5、Fable 5、Fable 5.1 不暴露推理。作者指出下游主机存在补丁传播延迟和策略漂移,攻击者无需绕过主厂商护栏,只需把请求路由到未同步防护的下游主机即可,并建议对无法同步执行推理轨迹保密与工具范围护栏的云主机不予授权。

    推荐理由作者实测多家云聚合商上的推理轨迹提取,指出厂商补丁在下游存在传播延迟,可据此检查多云部署的防护一致性。

9月29日周二
  1. arXiv · · 原文 76

    研究者提出针对黑盒 LLM 的实用密钥提取框架

    研究者提出一套仅依赖输出接口的黑盒密钥提取框架,用于从商业 API 大模型中提取被记忆的 API key。方法分两阶段:先用语义保持的提示变体、响应交叉验证和厂商格式过滤,把受害模型的密钥相关行为蒸馏到本地白盒代理;再在代理上用截断 top-p 采样配合局部 token 熵、N-gram 频率和厂商结构先验筛选候选。在含 5 家厂商、4 种编程语言共 100 个真实密钥的受控基准上,恢复效果较代表性基线最高提升 57.1%,真实密钥比例最高提升 2.6 倍,构建后提取延迟降低 20.7 至 34.8 倍。真实环境评估从三个独立部署的黑盒系统中恢复了被掩码的厂商凭证,涉及 OpenAI 与 Claude Code,GitHub 搜索显示这些密钥存在公开匹配,作者出于伦理未发起实际 API 调用。

    推荐理由论文给出仅凭输出接口提取记忆密钥的两阶段方法,并附受控基准与真实系统验证,可对照现有白盒审计思路。

  2. arXiv:后门、投毒与隐私 ·

    无需参考模型:用邻居样本校准单轮成员推理攻击

    针对单轮成员推理(MI)中缺少参考模型、逐样本校准无法估计的问题,研究提出用目标点的邻居样本恢复校准信号,无需训练任何额外模型。方法通过两种互补方式获取邻居,并用早期训练检查点查询进一步锐化信号。在三个图像分类数据集和三种训练设置上,邻居样本给出了强成员信号和有竞争力的攻击性能,且不增加训练成本。

9月28日周一
  1. arXiv ·

    研究揭示 LLM 交付物修订痕迹导致的无意泄露,并提出 RevLeakBench 基准

    论文提出 LLM 助手在私密起草中删除或替换某条目后,仍可能在说明修改时重新暴露该条目,作者称之为修订痕迹。在三个公开对话语料库的实测分析中,共识别出 26,753 条修订请求,其中 2,363 条(8.8%)留下修订痕迹。作者构建了 RevLeakBench,覆盖五个场景的 100 项任务,分对话与 Agent 两条轨道,测量痕迹出现率、被撤回条目的可恢复率、痕迹位置和必要内容保留率。在六个模型上,两条轨道约一半的交付物在撤回后仍陈述了该修改,仅看交付物的读者可从约 13% 的交付物中恢复被撤回内容;即使告知模型整条回复将转发给接收方,仍有 36.4% 的交付物留下修订痕迹。

  2. arXiv:后门、投毒与隐私 · · 原文 78

    研究:众包微调数据投毒可放大专有指令抽取

    研究者提出一种针对众包监督微调(SFT)数据的投毒攻击,仅靠黑盒输出访问即可放大对其他用户贡献指令的抽取。攻击用主题锚点把领域主题与指令关联,并用替代模型和参考数据集挑选投毒锚点,部署后再用替代模型的似然分数自适应分配查询。在四个模型和两个数据集上,仅 50 条投毒样本就让 Qwen2.5-14B 在 OpenMathInstruct 上的近似逐字抽取率从 2.38% 升到 8.84%(3.71 倍),Llama-3.1-8B 在 AceReason 上从 1.90% 升到 5.85%(3.08 倍)。该攻击在仅控制约 2% 微调样本的情况下,效果超过控制约 49% 对齐数据的恶意提供方后门基线。CVDD、DATE、SIK 与 LLM 评判等过滤方法大多检测不到投毒样本,表现最好的 CVDD 在响应上 F-1 仅 0.378。

    推荐理由论文给出仅靠 2% 众包投毒样本放大微调数据抽取的具体倍数,并说明现有过滤方法难以识别这类样本。

  3. arXiv:后门、投毒与隐私 ·

    近重复家族干扰精确记录成员推断,CC-News 上误判率达 99.70%

    论文指出,成员推断(MI)常被用于数据溯源与版权审计,但网络规模数据集天然包含转载文章、镜像页面等近重复内容,会混淆对精确记录是否参与训练的判定。作者提出四世界审计,独立变化精确记录是否包含与家族是否存在;在 CC-News 上,干净参考的 LiRA 审计器在 1.00% 假阳性率下把 99.70% 的家族存在但精确记录未参与训练的样本标为成员。

9月27日周日
  1. arXiv:越狱与提示注入 ·

    论文提出保险库中介执行边界,评估 LLM Agent 的 API 凭据处理风险

    论文将工具调用型 LLM Agent 的凭据卫生问题定义为执行安全问题,并评估了一种保险库中介执行架构:模型只选择连接器标识符,由可信请求边界提供认证。作者在 Corvic Security Vault 的生产实现上做了两组受控黑盒实验,覆盖七个控制域的 16 项探测全部达到预期结果,包括一次已认证的 GitHub API 请求成功,而凭据未出现在进程环境变量、调用方可见请求头、受测文件系统位置、三个第三方回显服务和两个无关 API 源中,两个云实例元数据端点均不可达。论文同时报告了一个负面结果:某连接器的存储请求头映射不满足其提供方的认证契约,说明集中托管本身不能保证配置正确。

9月26日周六
  1. Hugging Face Daily Papers · · 原文 78

    AgentTell:浏览器 Agent 的行为侧信道泄漏基准

    BRAC University 等机构的研究者提出 AgentTell,用于测量浏览器 Agent 的行为侧信道泄漏,即 Agent 在一个网站获取用户私密信息后,在另一个网站通过任务导向的选项选择无意泄露该信息。基准包含 20 个场景、100 个任务,每个任务先在 plant 网站让 Agent 获知秘密,再到 probe 网站选择与秘密对应的专属操作或不会泄露的通用操作。在六个模型上共评估 9,760 个会话,携带秘密的 Agent 在 61.1% 的会话中通过操作泄露信息,即使记忆里明确写下不得分享,仍在 56.7% 的这类会话中泄露;34.5% 的泄露会话中,Agent 的最终回复还错误地保证未披露任何信息。泄漏程度因秘密类型而异,个人属性、账户设置和物品归属关系泄漏最多,服务账户身份泄漏最少;若秘密在前一任务中被实际使用,泄漏概率更高。

    推荐理由论文给出跨网站行为侧信道泄漏的量化结果,做浏览器 Agent 的团队可据此检查选项设计是否泄露用户隐私。

9月25日周五
  1. arXiv:越狱与提示注入 ·

    PrivDrift:审计活跃 LLM 对话中话题漂移下的用户秘密泄露

    研究者提出 PrivDrift 基准,用于审计用户披露的秘密在对话话题漂移和说服式探测后是否仍可被恢复。该基准包含 1000 组受控多轮对话,设有植入秘密、内容密集的漂移轮次和标准化提取探测。在三个具备扩展上下文窗口的 LLM 上,对话级混合泄露率在 38.7% 至 54.6% 之间,并随模型、秘密类型和说服强度明显变化。在测试的漂移窗口内,额外的话题漂移并未可靠降低泄露,作者据此认为活跃 LLM 场景中的隐私风险应被视为持续的行为失效模式,而非仅训练数据记忆或即时越狱行为。

9月24日周四
  1. arXiv:越狱与提示注入 ·

    透过人眼与机器眼:理解视频透视扩展现实中的视图错配

    视频透视扩展现实(VST XR)系统常以头显截图作为用户第一人称视觉上下文的代理,但系统捕获的矩形画面与用户实际可见的非矩形区域并不一致。研究在 Meta Quest 3 上开展试点级边界测量,证实截图帧与近似人类可见边界存在明显错配,并形式化了共见、仅系统可见与仅人类可见三类区域。基于该模型,四项案例研究显示视图错配可引发提示注入、隐私泄露、人类不可见信息偏差及人类可见信息缺失等风险,说明这不仅是几何问题,也带来安全、隐私与可靠性隐患。

9月22日周二
  1. arXiv:对齐与欺骗 ·

    研究者提出通过替换神经网络权重高容量外泄医学影像的攻击

    研究者提出一种高容量神经隐写攻击,把医学图像编码为连续隐表示并嵌入模型初始化权重,模型导出后可直接从权重中重建隐藏图像。该方法用基于 StyleGAN2 的对抗自编码器学习紧凑隐码,并正则化使其匹配标准权重初始化统计量,从而让嵌入参数与干净模型在统计上保持一致;训练时注入噪声可提升对导出环节缓解措施的鲁棒性。载体模型在原本任务上仍保持可用,最多可将 99 个脑部 MRI 体数据嵌入一个 30MB 模型,且在会破坏此前比特级方案的缓解措施下仍可恢复。重建结果只是近似而非像素级精确,但嵌入内容在解剖上仍可辨认并可规模化恢复。

  2. arXiv:对齐与欺骗 ·

    BAM 反馈编码实现推理时隐蔽的智能体通信

    研究者提出 BAM(Burnashev Adaptive Posterior Matching)反馈编码方案,把黑盒 LLM 隐写重构为带因果无噪声反馈的序列通信问题,每个生成的 token 双方都能观察到并用于指导后续嵌入。该方法结合后验匹配与解码确认阶段,安全性通过密码学归约证明建立。在三个开源权重语言模型上,BAM 于约 50 个 token 内传输 8-bit 载荷,1000 次试验的消息错误率为 0-0.1%,而同等长度下最强的黑盒基线为 10-17%。作者据此展示了在多种对话场景中实现高通信速率的端到端通信协议。

9月18日周五
  1. Unit 42 · · 原文 78

    Unit 42 披露 AWS AgentCore Harness 默认配置下凭据可被提示注入窃取

    Unit 42 发现 AWS AgentCore Harness 默认开启的内置 shell 工具以 root 运行,且与解析凭据的运行时同处一个进程,攻击者可通过间接提示注入读取 /proc/1/mem,从堆内存中提取 AgentCore Identity 保管的明文 JWT。

    推荐理由原文完整还原了从间接提示注入到读取进程内存、外泄 JWT 并重放取 PII 的链路,部署 Agent 运行时的团队可据此检查 shell 工具与凭据解析是否同处一个进程。

  2. arXiv:对齐与欺骗 ·

    RemTraceNet:不可见水印攻击的少样本取证检测

    RemTraceNet 通过融合受限残差、局部关系、FFT/Haar 统计与块 DCT 证据,在原生分辨率下对不可见水印移除过程进行少样本取证检测。在 23 种移除流程和 10 种水印配置、每条流程 100 张攻击训练图像下,其 TPR@1%FPR 三种子宏平均为 82.75%–88.17%,比重新训练的 SRNet、ZhuNet 和 SiaStegNet 高出 10.80–15.68 个百分点。结果表明,擦除水印与擦除移除痕迹是两项不同挑战,移除痕迹在有限监督下仍可学习。

9月14日周一
  1. arXiv:后门、投毒与隐私 ·

    CIG-MIA:利用上下文信息增益对 RAG 系统发起成员推断攻击

    论文提出 CIG-MIA,一种基于上下文信息增益的成员推断攻击,用于判断某文档是否属于 RAG 系统的知识库,覆盖灰盒与纯文本黑盒两种访问设定。其思路是显式注入候选文档对成员与非成员影响不同:文档已可通过检索获得时注入带来的额外支持很小,文档不在库中时注入引入新证据、似然增益更大。灰盒设定下直接由 token 级似然计算该增益,黑盒设定下用轻量代理估计器结合语义相似度与精确匹配特征,从生成文本中估计同一增益。

9月12日周六
  1. arXiv · · 原文 80

    PMPA:针对 OpenClaw 与 Claude Code 的持久记忆投毒攻击

    研究者提出 PMPA,一种针对基于 harness 的智能体的持久记忆投毒攻击,攻击者只需在外部来源中嵌入恶意指令,无需直接访问智能体框架。注入阶段把载荷藏在文本、图片或 PDF 的良性问答内容中,诱导智能体将其写入持久记忆;触发阶段在新会话中检索该记忆,在完成正常任务的同时执行额外动作造成隐私泄露。在 OpenClaw 与 Claude Code 上,以 DeepSeek-V4-Flash、DeepSeek-V4-Pro、Qwen3-Max 为底座模型,平均注入成功率与跨会话攻击成功率为 73.7%/55.5% 和 66.9%/81.7%,同时良性任务表现保持在 80% 以上。纯文本模态攻击效果最强,OpenClaw 上注入成功率接近 100%;日历场景跨会话成功率最高,达 96.7% 和 87.8%。

    推荐理由论文给出跨会话记忆投毒在 Claude Code 与 OpenClaw 上的分项成功率,并显示提示层防御对已污染记忆几乎无效。

9月11日周五
  1. arXiv:对齐与欺骗 ·

    研究:置换式保密在混合 FHE 推理中失效,可精确恢复 ResNet-20 全部线性层

    该论文指出,混合 FHE 推理中依靠输出置换加噪来保护模型保密性的方案在系统所需的正确性范围内失效。作者证明,对 d 输入的线性层,d+1 次合法查询即可精确恢复置换不变的层摘要,从而实现模型的完全区分;输入 DP 与模型保密性正交,且正确性受限的噪声下 shuffle 放大所需的本地 DP 前提无法成立。实验从 TFHE 记录中以零误差端到端恢复 SAFHIRE 风格 ResNet-20 的全部线性层,每层用 d+1 次查询,共 5712 次直接查询;在相同查询模型下,预训练 ImageNet 规模 CNN 与 ViT-B/16 也实现逐层精确恢复。

  2. arXiv:对齐与欺骗 ·

    研究者在双 T4 上复现并插桩 Tree-Ring 语义水印伪造攻击

    作者在 Stable Diffusion XL 上复现了 Müller 等人针对 Tree-Ring 语义水印的 Reprompt 伪造攻击,使用原作者发布的代码,在免费档双 T4 GPU(每卡可用显存 14.6 GB)上运行,单卡显存明显低于原研究使用的 A40。三组共六次试验中,真实图像检出 6/6,干净图像 0/6,伪造图像 5/6,每次攻击耗时 325-332 秒。作者还从检测器源码中恢复了被丢弃的非中心卡方统计量,其恢复结果与已发布检测器完全一致,基于该统计量构造的两个分数在同一批 18 个观测上以 AUC 0.861 和 0.972 区分伪造组与干净零假设。

  3. arXiv:后门、投毒与隐私 ·

    PL-MIA:基于成对似然比的成员推理攻击

    研究者提出 Pairwise Likelihood MIA(PL-MIA),将高斯似然比(GLR)统计量与总体校准、Cauchy 组合检验结合,用于审计机器学习模型的成员隐私风险。该方法对查询点与未参与训练的参考点做成对比较得到 p 值,再用 Cauchy 组合检验聚合连续信号,保留被二值投票丢弃的证据强度。实验显示,在低假阳性关键区间,PL-MIA 的真阳性率(TPR)较强基线提升超过 25%。

  4. arXiv:后门、投毒与隐私 ·

    用权重谱密度预测隐私泄露:WeightWatcher 谱指标可作为成员推理攻击脆弱性的代理

    研究发现,来自重尾自正则化框架的 WeightWatcher 谱指标可替代昂贵的影子模型,用于评估机器学习模型的成员推理攻击(MIA)风险。在图像与表格分类任务上,stable rank 与整体 MIA 成功率呈强正相关,Log alpha-Norm 在低假阳性区间与 MIA 脆弱性持续负相关,且这两种关联均强于泛化差距所给出的结果。这表明神经网络谱中包含过拟合常规指标未能捕捉的隐私泄露信息,为可扩展的隐私审计提供了新方向。

9月10日周四
  1. arXiv:后门、投毒与隐私 ·

    针对 NLP 文本分类器的成员推理攻击实证评估:SST-2 基线研究

    一项在 GLUE SST-2 情感数据集上的受控基准测试比较了 TF-IDF + Logistic Regression 与微调 DistilBERT 在 loss-threshold 成员推理攻击(MIA)下的隐私泄露情况。DistilBERT 开发集准确率 0.9466、macro F1 0.9460,Logistic Regression 为 0.8756 和 0.8727,但两者均泄露成员信号,攻击 AUC 分别为 0.5615 和 0.5800。

9月9日周三
  1. arXiv:后门、投毒与隐私 ·

    CGMIA:用成员推理攻击检测代码生成基准的数据泄漏

    针对代码生成基准数据泄漏导致评测虚高的问题,研究者提出 CGMIA(Code-Generation-specific Membership Inference Attack),通过在基准样本子集上微调影子模型构建成员与非成员标注数据,并融合 CodeBLEU、编辑距离、测试通过率、困惑度等专家特征与 CodeBERT 嵌入语义特征进行集成学习,判断样本是否进入目标模型训练集。在八个代码生成基准上,CGMIA 多数情况下优于八种现有成员推理方法,并有效检出 StarCoder-7B 训练数据中已知泄漏的 APPS 样本。

  2. arXiv:后门、投毒与隐私 ·

    差分隐私合成文本的子群成员推断审计

    针对差分隐私合成文本发布,研究提出子群定向成员推断博弈,将目标池设为显式参数,在四个数据集、三种生成器(DP-SGD 微调、API 提示、激活引导)和五个隐私预算下审计了 32 个代理。审计显示合成发布确实泄露子群成员身份,既有攻击系统性低估该泄露;DP 在各预算下大幅降低平均泄露,但剩余泄露集中,十分之一记录约占 40%,且噪声对随机记录的去泄露效果强于高风险记录,哪些记录泄露取决于发布机制而非记录本身。

  3. arXiv:后门、投毒与隐私 ·

    SoK 综述:可解释性 AI 如何成为机器学习隐私攻击面

    这篇 SoK 系统梳理了 25 项利用模型解释输出实施隐私攻击的研究,涵盖模型窃取、成员推断和模型反演,并将属性推断视为部分反演。作者指出,现有工作常只按黑盒或白盒标注,掩盖了对手实际获得的解释信号差异,因此把模型知识与解释获取分开,归纳出五条路径:目标方发布、攻击者自行推导、二次披露、特权访问和公开全局产物。在这些路径下,解释会降低窃取成本,通过解释统计量、recourse 距离和解释引导的鲁棒性暴露成员信号,并支持对私有输入做空间或代数重建。

9月8日周二
  1. arXiv:后门、投毒与隐私 ·

    WPMIA:面向严格黑盒大模型的词级概率成员推断攻击

    研究者提出 Word-level Probability MIA(WPMIA),一种面向严格黑盒场景的成员推断攻击,用于判断某段文本是否被纳入大语言模型的训练语料。该方法通过蒙特卡洛采样结合局部核平滑估计词级生成概率,再聚合成序列级似然估计,并构造不同前缀条件下的似然以放大成员与非成员之间的分布差异。在多个开源大语言模型上,WPMIA 一致优于现有黑盒基线;在 GPT-5-Chat、Gemini-2.5-Flash 和 Claude-4.5-Haiku 等闭源模型上,平均 TPR@5%FPR 达到 42.0。论文共 17 页、5 张图、17 张表,代码已公开。

  2. Check Point Research · · 原文 82

    Check Point 披露 ChatGPT 跨账号数据泄露通道:借内部 Artifactory 共享剪贴板

    Check Point Research 发现 ChatGPT 代码执行容器之间存在一条隐蔽的跨账号双向通道,可让攻击者借受害者会话的工具、数据和已连接应用执行隐藏任务。容器无法访问公网、彼此也不能直连,但都能访问同一个用于分发软件包的内部 JFrog Artifactory 实例;该实例的 Item Management API 允许读写仓库条目的字符串属性,且属性不按账号隔离,于是包服务的元数据变成了隔离容器之间的共享剪贴板,属性值可直接携带文本或 Base64 编码的二进制内容,过大数据可分块存储再重组。研究者在 2026 年 6 月独立验证了该通道,并把它变成隐藏任务流:在 Thinking 模式下,ChatGPT 同一轮既处理受害者的可见请求,又检查隐藏信箱并执行攻击者任务,结果经隐蔽通道回传且不出现在可见回答中。

    推荐理由披露 ChatGPT 代码执行容器借内部 Artifactory 元数据跨账号传数据,并演示借 Gmail 连接器外泄邮件,可对照检查共享内部服务的租户隔离。

9月7日周一
  1. arXiv:后门、投毒与隐私 ·

    FDBA:联邦学习中的细粒度分布式后门攻击

    研究者提出细粒度分布式后门攻击框架 FDBA,用动态触发器生成与嵌入向量优化,在更少投毒样本下实施攻击。该方法基于 Canny 算法提取图像边缘特征并注入 Laplacian 噪声,再经 RGB 通道分解隐藏分布式触发器,同时用嵌入向量对比学习把投毒样本拉向目标类中心。在 CIFAR-10 上,目标 ASR 介于 70% 至 90% 时,FDBA 相比 DBA 减少 37.4%–48.4% 的投毒比例;Non-IID 极端异构下保留 84.7% 的 IID 攻击性能,DBA 降至 73.5%,并能绕过主流防御机制。

  2. arXiv:对齐与欺骗 ·

    PMA 攻击:针对隐私保护 LLM 中嵌入到嵌入混淆的语义流形对齐方法

    作者提出 Proxy Manifold Alignment(PMA),一种针对隐私保护 LLM 中 Embedding-to-Embedding Obfuscation(E2EO)方案的密文到明文重建攻击。其核心观察是 E2EO 保留了原始语义结构,因此混淆后的向量流可视为一种符号即向量本身的未知分词语言,攻击被建模为从该未知语言到明文的翻译任务。PMA 仅需访问混淆向量流、目标分词器和公开语料,先用 Word2Vec 分别建模混淆流与公开语料的共现模式并构建两个代理嵌入向量,再基于结构相似性对齐两者的底层流形,最后把混淆向量映射回明文。实验结果显示,PMA 的明文恢复效果持续高于其他 SOTA 攻击方法。

9月5日周六
  1. arXiv:后门、投毒与隐私 ·

    量子原生访问下量子机器学习(QML)的隐私风险刻画

    针对量子机器学习(QML)隐私风险的研究,考察了具备量子计算能力与量子信息输出访问权的用户/对手对QML模型的成员推理攻击。研究表明,量子访问与量子计算能力的提升会带来可证明的理论隐私泄露和实证对抗增益,但QML的概率性质使理论与实证对抗优势之间存在差距。现有QML隐私泄露研究低估了新兴量子原生访问机制下的隐私泄露程度。

9月4日周五
  1. arXiv:越狱与提示注入 · · 原文 84

    Repeat-After-Me:针对黑盒 VLM 的自适应视觉提示注入攻击

    研究者提出 Repeat-After-Me,一种黑盒自适应视觉提示注入攻击,可诱导模型泄露个人身份信息或发起恶意工具调用。在良性用户提示与注入任务语义无关、且未口头授权的现实设定下,该方法在开源与商用前沿 VLM 上的攻击成功率分别超过 82% 和 47%,涉及 Qwen3.6-27B 与 GPT-5.5。优化后的注入在商用 VLM 和良性样本间具有一定可迁移性,并在自适应文本提示注入失效的场景中仍然有效。在一个接入 Discord 的真实 OpenClaw Agent 中,不受信任的用户可用一张轻度注入的图片覆盖其 TOOLS.md 文件,为之后的远程代码执行和密钥窃取等敏感行为铺路。论文还讨论了潜在防御手段。

    推荐理由论文给出黑盒视觉提示注入在多个前沿 VLM 上的成功率,并演示了在真实 OpenClaw 智能体上覆写配置文件的完整链路。

9月2日周三
  1. arXiv:后门、投毒与隐私 ·

    联邦学习中的隐私泄露:车载边缘网络惯性感知下基于梯度的客户端身份推断与防御

    在车载边缘网络中,诚实但好奇的服务器可从联邦学习客户端上传的权重增量中近乎完美地推断客户端身份,在 UCI HAR 基准上五种攻击分类器、五种非 IID 划分下攻击准确率约 1.000。研究评估了固定裁剪 C=1.0 下扫描高斯噪声的轻量“先裁剪再加噪”防御,sigma 在 [0.1, 0.2] 区间可将攻击准确率压至接近随机,而 FL 精度相对损失低于 5%,并通过 Renyi 记账给出 (epsilon, delta)-DP 预算。集成 FL 以 1/K 匿名集上界提供结构性隐私且无噪声代价;HAR 被明确定位为车载 IMU 数据的代理基准。

  2. arXiv:后门、投毒与隐私 ·

    研究者提出针对微调 TTS 模型的黑盒成员推断攻击

    研究者提出首个同时面向说话人级和录音级的黑盒成员推断攻击框架,用于检测语音数据是否被用于微调 TTS 模型。在查询生成上,作者刻画了可行查询空间并提出可评分范围与记忆诱发两条准则,评估五种代表性查询后认定朗读(recitation)效果最强;在表征工程上,从嵌入模型提取多层级语音表征,并对生成音频与目标音频做时间对齐以实现细粒度比较。

9月1日周二
  1. arXiv ·

    研究提出 Q-Skew:利用 token 级记忆不对称对微调扩散语言模型做成员推断

    研究者在微调扩散语言模型(DLM)上提出成员推断方法 Q-Skew,一种基于分位数加权偏度的指标,其依据是通过理论分析发现的 token 级记忆不对称现象。在多个微调数据集和模型上的实验显示,该方法优于现有基线。作者进一步表明 Q-Skew 还能用于 PII 提取等其他隐私侵犯场景,认为扩散语言模型存在此前未被充分探索的隐私攻击面,需要系统性的隐私评估。该论文共 18 页,已被 EMNLP 2026(Findings)收录。

8月28日周五
  1. arXiv ·

    ContextLeak:通过恶意工具窃取 LLM Agent 运行时上下文

    研究者提出 ContextLeak,一种通过恶意工具窃取 LLM Agent 运行时上下文的攻击,目标是让 Agent 既选中该工具、又把上下文作为输入参数传给工具。作者指出,上下文外泄通常需要三个条件:Agent 选中恶意工具、Agent 将运行时上下文作为参数传入、工具实现把输入发送到攻击者控制的端点;已有工作主要关注第一和第三个条件,第二个条件此前基本未被探索。ContextLeak 用强化学习精心构造工具的名称和描述,由一个攻击 LLM 自动生成这些内容,并在具有多样化模拟 Agent 上下文的影子用户上对攻击 LLM 做强化学习微调,其关键技术贡献是针对上下文外泄目标设计的奖励函数。

8月20日周四
  1. Adversa AI · · 原文 76

    Adversa AI 披露 Cryptographic Context Injection 攻击:Grok 零点击泄露聊天记录,Gemini 被绕过安全策略

    Adversa AI 公开了一种名为 Cryptographic Context Injection 的攻击手法,把恶意指令封装成 AES-256-GCM 密文并诱导模型在自己的代码执行沙箱中解密,使解密后的指令以运行时输出的形式进入可信上下文,从而绕过静态护栏。在 xAI Grok 网页版聊天中,用户只需发出普通的“总结这个页面”请求,页面内嵌的加密 JSON 就会让 Agent 调用其联网导航工具,把用户名、粗略位置、订阅等级和整段对话历史拼进 URL 参数发往攻击者服务器,全程无点击、无确认、无警告。

    推荐理由Adversa AI 公开了一种把恶意指令藏进 AES 密文、借模型自身代码运行时解密的新型注入手法,并给出 Grok 零点击窃取聊天记录与 Gemini 绕过安全策略的复现结果。

8月19日周三
  1. arXiv ·

    DAEI:针对噪声防护文本嵌入的反演攻击揭示隐私风险

    研究者提出 DAEI,一种去噪感知的嵌入反演流程,用于在只能观测到加噪嵌入、无法获得干净嵌入目标的条件下重建原始文本。作者先分析现有生成式反演方法在该设定下失效的原因,将其归结为双重噪声陷阱,再用残差去噪自编码器结合生成式文本反演,并借助 Stein 无偏风险估计以无监督方式训练去噪器,使其仅凭含噪观测即可去噪。实验显示 DAEI 相比现有生成式反演基线在 BLEU 上取得约 154% 的相对提升,token 级 F1 与 ROUGE-L 也提升 32% 至 60%。该结果对简单高斯扰动即可防止嵌入泄露敏感信息的普遍假设提出质疑。论文 11 页、3 张图,已被 IEEE ICDM 2026 接收。

8月18日周二
  1. arXiv ·

    LeakGauge:用行为探针在解码前检测上下文泄露攻击信号

    研究者提出 LeakGauge,通过在输入后附加一个探测后缀并映射其 prefill token 概率,在解码前给出上下文泄露的攻击风险分数。作者发现,直接使用机密内容初始 token 的探针不如内容无关、直接表述泄露行为的探针稳健。在包括 GLM-5.2(753B)和 Kimi-K3(2.8T)在内的 11 个 LLM 上,LeakGauge 对未见攻击的 AUROC 达到 0.944 至 0.996,且在内容换语言或攻击从逐字泄露转为语义泄露时信号保持稳定。通过激活引导干预,作者进一步表明该风险分数对模型内部与泄露相关的方向敏感。该检测器额外参数少于 0.5K,附加延迟为 10.34 ms,代码已公开。

  2. Adversa AI · · 原文 78

    Adversa AI 盘点针对 AI 智能体的十起零点击攻击

    Adversa AI 汇总了十起针对 AI 智能体的零点击攻击,受害者在正常工作流中不点击、不授权,仍会丢失数据或机器控制权。十起中有九起出现在已商业发售的产品里,涉及 Microsoft 365 Copilot、Cursor、Claude Code、Gemini CLI、Perplexity Comet、ChatGPT 等;三起获得 CVE,评分多在 9.3 以上,其余七起或被静默修补,或被厂商以超出威胁模型为由拒绝。共同机制是不可信内容经正常检索进入模型上下文,模型无法区分内容与指令,随后由智能体自身权限执行攻击;外泄通道从图片预取、厂商云端服务端 HTTP,逐步转向浏览器导航、Outlook 正常发信和开发者 shell。

    推荐理由梳理十起零点击攻击的入口、外泄通道与厂商处置差异,可对照检查自家 Agent 的检索信任边界与出站通道。

8月17日周一