全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv
DnD：面向检索增强生成的多样化分布式投毒攻击
研究者提出 DnD（Divide and Doubt），一种针对检索增强生成（RAG）的定向语料投毒攻击，通过把对目标答案的支持分散到风格多样的段落中，并加入一段质疑参考答案证据的段落来提升攻击效果。分散化让投毒段落在嵌入向量空间中更分散，质疑段落则在多条投毒段落被检索到时增强目标答案被采纳的概率。作者在两个开放域问答数据集、三个 LLM 和九种 RAG 配置上，分别在检索器黑盒与白盒条件下评测，DnD 在多数配置中达到或超过此前的攻击方法，对基于聚类和冲突感知的防御提升最明显。论文编号 arXiv:2609.27090，属 cs.CR 方向。
- 论文arXiv：后门、投毒与隐私
量子原生访问下量子机器学习（QML）的隐私风险刻画
针对量子机器学习（QML）隐私风险的研究，考察了具备量子计算能力与量子信息输出访问权的用户/对手对QML模型的成员推理攻击。研究表明，量子访问与量子计算能力的提升会带来可证明的理论隐私泄露和实证对抗增益，但QML的概率性质使理论与实证对抗优势之间存在差距。现有QML隐私泄露研究低估了新兴量子原生访问机制下的隐私泄露程度。
- 论文arXiv
研究揭示 LLM 交付物修订痕迹导致的无意泄露，并提出 RevLeakBench 基准
论文提出 LLM 助手在私密起草中删除或替换某条目后，仍可能在说明修改时重新暴露该条目，作者称之为修订痕迹。在三个公开对话语料库的实测分析中，共识别出 26,753 条修订请求，其中 2,363 条（8.8%）留下修订痕迹。作者构建了 RevLeakBench，覆盖五个场景的 100 项任务，分对话与 Agent 两条轨道，测量痕迹出现率、被撤回条目的可恢复率、痕迹位置和必要内容保留率。在六个模型上，两条轨道约一半的交付物在撤回后仍陈述了该修改，仅看交付物的读者可从约 13% 的交付物中恢复被撤回内容；即使告知模型整条回复将转发给接收方，仍有 36.4% 的交付物留下修订痕迹。
- 论文arXiv
论文提出分布式隐式危害 DIH，评测 30 多个 MLLM 的视频审核盲区
论文提出多模态大语言模型在视频审核中的组合式安全盲区，称为分布式隐式危害（DIH），即由视频各组件之间的关系而非单一显式线索产生的危害。作者研究两类代表性情形：跨视觉片段的时间分布危害（DIH-T）与音视频流之间的跨模态危害（DIH-M）。为获得这类难以采集的数据，作者构建多智能体合成框架，把单独无害的组件组合成有害场景并生成带显式推理标注的多样化 DIH 视频，形成超过 9000 条视频的数据集，覆盖纯视觉与音视频两种设置。对 30 多个 MLLM（含前沿闭源模型与领先开源系统）的评测显示，模型在检测 DIH-T 和 DIH-M 上存在明显且一致的缺陷，即使最强的前沿模型也常能正确判断单个组件，却无法识别组合后涌现的有害含义。
- 论文arXiv：后门、投毒与隐私
FreqDoor：面向视觉语言模型的频域后门攻击
研究者提出 FreqDoor，一种在频域植入触发器的训练期后门攻击，针对视觉语言模型。该方法选择性混合触发源图像的幅度谱分量，同时保留干净图像的相位，从而生成空间分布且视觉上难以察觉的触发器，且不修改文本输入。在 BLIP-2、InstructBLIP 和 LLaVA 上评估图像描述与视觉问答任务，在 Flickr8k 上三个模型的攻击成功率分别为 99.6%、99.8% 和 98.4%，同时保持生成描述的语义质量；在 VQAv2 上对应攻击成功率为 99.6%、92.4% 和 79.6%。
- 论文arXiv：后门、投毒与隐私
FDBA：联邦学习中的细粒度分布式后门攻击
研究者提出细粒度分布式后门攻击框架 FDBA，用动态触发器生成与嵌入向量优化，在更少投毒样本下实施攻击。该方法基于 Canny 算法提取图像边缘特征并注入 Laplacian 噪声，再经 RGB 通道分解隐藏分布式触发器，同时用嵌入向量对比学习把投毒样本拉向目标类中心。在 CIFAR-10 上，目标 ASR 介于 70% 至 90% 时，FDBA 相比 DBA 减少 37.4%–48.4% 的投毒比例；Non-IID 极端异构下保留 84.7% 的 IID 攻击性能，DBA 降至 73.5%，并能绕过主流防御机制。
- 论文arXiv
TrojanWorld：通过想象引导对世界模型智能体植入后门
研究者提出 TrojanWorld，一种针对世界模型智能体的供应链后门框架，通过引导模型内部想象而非改动决策模块来诱发攻击者指定的行为。攻击以场景中放置的物理物体作为触发器，经智能体原生观测管线激活，无需数字篡改观测流。框架由三项机制组成：Decision-Reflective Induction 利用决策反馈将触发条件下的想象导向目标动作，Clean Behavior Anchoring 保持无触发时的预测与行为保真度，Causal Propagation 在触发器消失后沿后续轨迹延续被诱导的偏好。研究还测试了 Fine-Pruning、SHINE 和 Neural Cleanse 三种防御的适配版本，没有一种能在保持干净效用的同时完全移除攻击。
- 论文arXiv
研究：上游错误消息会让多智能体 LLM 下游覆盖正确答案
研究者在五个基准和五个接收方模型上做受控实验，固定下游任务与证据，比较无消息、上游原始消息和结论相反消息三种条件，以分离多智能体通信的收益与损害。结果显示，当下游本会答错时消息常有帮助；但当下游本可答对时，错误的上游消息最多在 32% 的情况下改变其答案。在人工审核的有害案例中，94% 是下游直接照抄上游的具体错误答案，作者称之为答案替换。移除不可靠消息能恢复部分损失的准确率，说明通信应依据上游可靠性和下游已有证据进行选择性过滤。
- 论文arXiv：后门、投毒与隐私
WPMIA：面向严格黑盒大模型的词级概率成员推断攻击
研究者提出 Word-level Probability MIA（WPMIA），一种面向严格黑盒场景的成员推断攻击，用于判断某段文本是否被纳入大语言模型的训练语料。该方法通过蒙特卡洛采样结合局部核平滑估计词级生成概率，再聚合成序列级似然估计，并构造不同前缀条件下的似然以放大成员与非成员之间的分布差异。在多个开源大语言模型上，WPMIA 一致优于现有黑盒基线；在 GPT-5-Chat、Gemini-2.5-Flash 和 Claude-4.5-Haiku 等闭源模型上，平均 TPR@5%FPR 达到 42.0。论文共 17 页、5 张图、17 张表，代码已公开。
- 论文arXiv：后门、投毒与隐私
SoK 综述：可解释性 AI 如何成为机器学习隐私攻击面
这篇 SoK 系统梳理了 25 项利用模型解释输出实施隐私攻击的研究，涵盖模型窃取、成员推断和模型反演，并将属性推断视为部分反演。作者指出，现有工作常只按黑盒或白盒标注，掩盖了对手实际获得的解释信号差异，因此把模型知识与解释获取分开，归纳出五条路径：目标方发布、攻击者自行推导、二次披露、特权访问和公开全局产物。在这些路径下，解释会降低窃取成本，通过解释统计量、recourse 距离和解释引导的鲁棒性暴露成员信号，并支持对私有输入做空间或代数重建。
- 论文arXiv：后门、投毒与隐私
差分隐私合成文本的子群成员推断审计
针对差分隐私合成文本发布，研究提出子群定向成员推断博弈，将目标池设为显式参数，在四个数据集、三种生成器（DP-SGD 微调、API 提示、激活引导）和五个隐私预算下审计了 32 个代理。审计显示合成发布确实泄露子群成员身份，既有攻击系统性低估该泄露；DP 在各预算下大幅降低平均泄露，但剩余泄露集中，十分之一记录约占 40%，且噪声对随机记录的去泄露效果强于高风险记录，哪些记录泄露取决于发布机制而非记录本身。
- 论文arXiv：后门、投毒与隐私
CGMIA：用成员推理攻击检测代码生成基准的数据泄漏
针对代码生成基准数据泄漏导致评测虚高的问题，研究者提出 CGMIA（Code-Generation-specific Membership Inference Attack），通过在基准样本子集上微调影子模型构建成员与非成员标注数据，并融合 CodeBLEU、编辑距离、测试通过率、困惑度等专家特征与 CodeBERT 嵌入语义特征进行集成学习，判断样本是否进入目标模型训练集。在八个代码生成基准上，CGMIA 多数情况下优于八种现有成员推理方法，并有效检出 StarCoder-7B 训练数据中已知泄漏的 APPS 样本。
- 论文arXiv：后门、投毒与隐私
针对 NLP 文本分类器的成员推理攻击实证评估：SST-2 基线研究
一项在 GLUE SST-2 情感数据集上的受控基准测试比较了 TF-IDF + Logistic Regression 与微调 DistilBERT 在 loss-threshold 成员推理攻击（MIA）下的隐私泄露情况。DistilBERT 开发集准确率 0.9466、macro F1 0.9460，Logistic Regression 为 0.8756 和 0.8727，但两者均泄露成员信号，攻击 AUC 分别为 0.5615 和 0.5800。
- 论文arXiv：后门、投毒与隐私
监督学习中的数据投毒攻击实证评估：标签翻转与后门投毒在 MNIST 和 Fashion-MNIST 上的对比
研究在 MNIST 和 Fashion-MNIST 上评估了标签翻转与后门投毒两类训练时攻击，对比 Logistic Regression、Linear SVM 和 Random Forest 三种基线分类器，投毒率设为 5%、10% 和 20%。标签翻转导致明显性能下降，Logistic Regression 和 Linear SVM 受影响最大，Random Forest 相对稳定；后门投毒在全部数据集和模型上攻击成功率达 0.9667 至 1.0000，且干净测试性能常接近基线。结果表明无差别投毒会体现在常规指标中，而定向后门投毒更具隐蔽性，需采用面向安全的评估方法。
- 论文arXiv：后门、投毒与隐私
用权重谱密度预测隐私泄露：WeightWatcher 谱指标可作为成员推理攻击脆弱性的代理
研究发现，来自重尾自正则化框架的 WeightWatcher 谱指标可替代昂贵的影子模型，用于评估机器学习模型的成员推理攻击（MIA）风险。在图像与表格分类任务上，stable rank 与整体 MIA 成功率呈强正相关，Log alpha-Norm 在低假阳性区间与 MIA 脆弱性持续负相关，且这两种关联均强于泛化差距所给出的结果。这表明神经网络谱中包含过拟合常规指标未能捕捉的隐私泄露信息，为可扩展的隐私审计提供了新方向。
- 论文arXiv：后门、投毒与隐私
PL-MIA：基于成对似然比的成员推理攻击
研究者提出 Pairwise Likelihood MIA（PL-MIA），将高斯似然比（GLR）统计量与总体校准、Cauchy 组合检验结合，用于审计机器学习模型的成员隐私风险。该方法对查询点与未参与训练的参考点做成对比较得到 p 值，再用 Cauchy 组合检验聚合连续信号，保留被二值投票丢弃的证据强度。实验显示，在低假阳性关键区间，PL-MIA 的真阳性率（TPR）较强基线提升超过 25%。
- 论文arXiv：后门、投毒与隐私
CIG-MIA：利用上下文信息增益对 RAG 系统发起成员推断攻击
论文提出 CIG-MIA，一种基于上下文信息增益的成员推断攻击，用于判断某文档是否属于 RAG 系统的知识库，覆盖灰盒与纯文本黑盒两种访问设定。其思路是显式注入候选文档对成员与非成员影响不同：文档已可通过检索获得时注入带来的额外支持很小，文档不在库中时注入引入新证据、似然增益更大。灰盒设定下直接由 token 级似然计算该增益，黑盒设定下用轻量代理估计器结合语义相似度与精确匹配特征，从生成文本中估计同一增益。
- 论文arXiv：后门、投毒与隐私
SALVE：用文本优化还原蒸馏数据中的隐性学习效应
研究者提出 SALVE（Search-Aided Latent Verbalization），通过优化 soft prompt、让同一模型将其转写为文本并用 beam search 提升可靠性，把蒸馏数据中不可读的隐性学习效应还原为可读提示词。作者指出，带提示词的隐性学习是上下文蒸馏的一个特例，理论上该数据集可识别出教师的提示词，于是把提示词还原转化为文本优化问题。在标准隐性学习设定下，SALVE 能稳定还原出点明教师特质的可读提示词，而常见文本优化方法做不到。研究还发现，在隐性学习失效的某些设定下 SALVE 仍能从数据集中还原教师特质，而调整学生训练以改善上下文蒸馏则可能产生隐性学习效应。
- 论文arXiv：后门、投毒与隐私
UBA-ORL：针对离线强化学习的遗忘激活后门攻击
研究者提出 UBA-ORL，一种针对离线强化学习的遗忘激活后门攻击：攻击在正常训练后被大幅抑制，却在合规驱动的数据删除（遗忘）请求后显现。该方法采用双样本机制，同时注入后门轨迹（BD）与伪装轨迹（CM），两者共享同一触发模式，但 CM 保留良性动作并配以同样高的奖励。训练时 BD 与 CM 提供相互竞争的监督信号，当对 CM 子集发起合法删除请求后，残留的 BD 信号重新占据主导，按需重新激活后门。实验显示 UBA-ORL 在评测的离线 RL 配置下实现可控激活，无触发回报的变化因配置而异，暴露出合规驱动离线 RL 平台此前被忽视的安全风险。作者呼吁社区为合规遗忘服务开发遗忘前与遗忘后的联合审计机制。
- 论文arXiv：后门、投毒与隐私
研究者在 FANUC 与 xArm 工业机械臂上实测后门攻击与防御
作者对基于学习的工业机械臂操作开展后门攻击与防御的初步实证研究，实验平台为 FANUC 和 xArm 两台真实商用工业机械臂。研究考察后门能否在正常任务执行时保持隐蔽、仅在特定触发器出现时诱发出语义错误的操作行为。作者随后开发了一套在线防御流程，在运行时检测并中和触发器，并与离线微调防御进行效果对比。研究还评估了该防御流程引入的计算延迟与执行开销，以判断其是否适合高吞吐工业场景。该工作已被 IROS 2026 Workshop on Industrial Applications of Robot Learning 接收。
- 论文arXiv：后门、投毒与隐私
RAMP：逆转对抗扰动以增强针对恶意软件检测器的干净标签后门攻击
针对深度学习恶意软件检测器微调更新流程中的训练时后门攻击，研究者提出 RAMP，用遗传算法在黑盒条件下优化逆转对抗扰动，再通过保持功能的二进制改写注入，使良性程序表征向恶意软件区域偏移，从而在训练中制造更强的特征-标签冲突。实验显示 RAMP 在低投毒比例下显著优于仅用触发器的基线，且不损失干净数据准确率，并可与更先进的触发器设计结合。该工作已被 Inscrypt 2026 接收。
- 论文arXiv
Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作
研究者提出 Cave-Bench，一个包含 365 个智能体任务、685 段分阶段交互的基准，用来测量智能体在收到虚假指控时是否会破坏此前已验证正确的工作。作者把接受虚假指控称为 gaslight sycophancy，把据此改动正确工作称为破坏性过度纠正。每个任务先达到已验证的正确状态，工作区保留支持该状态的依据与历史，而能否定指控的关键事实位于智能体无法访问的外部或运行时状态中，因此正确做法是保留工作并索要缺失证据。在 Claude Code 下评测 14 个最新模型，虚假指控在最高 60.06% 的运行中造成破坏；较弱模型往往先认错再执行，较强模型常在已找回支持证据后仍然破坏工作。项目上下文与权威压力是高危条件，智能体对刚完成的工作比对有存档证据的工作保护更差，同一模型在 OpenCode、Codex 和 Hermes 上表现不同。
- 论文arXiv
TrustFork：显示身份如何劫持 LLM 智能体编排的权限
研究者提出 TrustFork，一个衡量 LLM 智能体编排中操作权限的安全基准，包含 1890 个任务、四种攻击类型和 27826 条有效轨迹，覆盖 16 个智能体系统。每个任务中一个子智能体带有风险目标，另外三个与用户对齐，并可只改变子智能体显示的身份而不改变背后模型。结果显示，即使其他子智能体反驳风险响应，编排器仍在平均 72.0% 的情况下采纳它，在终端危害最低的系统中尤为常见。交换家族标签使编排器获得风险响应的频率接近三倍；84.0% 的任务中存在更安全的响应，但只有 25.0% 决定了最终结果。在三种运行时防御中，隐藏身份线索效果最稳定，而行动前验证只在 harness 返回足够证据时有效。
- 论文arXiv：后门、投毒与隐私
T-Backdoor：利用神经形态数据时间冗余对 SNN 实施保脉冲后门攻击
针对脉冲神经网络（SNN）的后门攻击 T-Backdoor 仅使用 Rate、Latency、Jitter 等纯时间触发器，不引入任何空间扰动，使脉冲分布偏移更难被检测。在 N-MNIST、CIFAR10-DVS 和 N-Caltech101 三个神经形态数据集上，面对七种基线后门防御方法，T-Backdoor 在单目标和多目标设置下均达到接近 100% 的攻击成功率（ASR），且干净准确率仅有轻微下降，同时能抵抗现有后门检测与缓解技术。