跳到正文

#后门/投毒

今天还没有收录新动态
10月1日周四
  1. arXiv:后门、投毒与隐私 ·

    VirusCascade:劫持 LLM 推荐智能体的协同反思机制

    研究者提出 VirusCascade,一种针对 LLM 驱动的智能体推荐系统(LLM-ARS)的黑盒定向推广攻击。该系统把用户和物品实例化为自主智能体,通过协同反思反复精炼语义状态;注入单个智能体的对抗证据会被合理化为偏好叙事并写入记忆,再经交互上下文扩散到其他智能体,作者将局部合理化称为 reflection laundering,将系统级放大称为 collaborative-reflection hijacking。受控脆弱性分析确认了反思持久性与跨智能体传播两个可利用属性,VirusCascade 据此同时塑造语义与结构攻击面。在四个真实数据集和多种 LLM-ARS 架构上,该攻击在评估的隐蔽性约束下取得平均 E@20 为 0.384,比最强基线高出 0.185。

  2. arXiv:后门、投毒与隐私 ·

    BadAction:通过动作引导触发器对交互式视频生成模型实施后门攻击

    研究者提出 BadAction,首次系统研究针对交互式视频生成(IVG)模型交互性的后门攻击。该方法把预定义运动模式植入后门样本的动作序列,并关联一个静态目标视频,触发后模型生成冻结的未来帧、不再响应用户后续动作,同时在正常动作序列上保持正常行为。实验显示,仅用动作触发器时平均攻击成功率为 91.0%,动作、文本、图像联合的多模态触发器为 80.4%。大量防御评估表明 BadAction 能绕过现有后门检测方法,暴露出交互式视频生成流程中的安全缺口。项目页面:https://wsad55.github.io/badaction01/。

  3. arXiv:后门、投毒与隐私 ·

    NDDL:用正常扩散动力学为文生图模型做后门防御

    研究者提出 Normal Diffusion Dynamics Learning(NDDL),一种仅用正常样本训练的文生图扩散模型后门防御框架。该方法观察到正常扩散轨迹在 cross-attention、潜空间和噪声空间中呈现结构化且随 timestep 变化的转移模式,而后门攻击会使其偏离这种正常演化。NDDL 构建紧凑的多空间轨迹表示,训练一个以 timestep 为条件的动力学模型来预测扩散演化,推理时用观测转移与预测转移之间的偏差量化动力学不一致性以检测后门。该框架还能在无需任何后门先验知识的情况下,通过低语义词替换实现触发器定位。多种后门攻击上的实验显示其有效性与泛化性。

9月29日周二
  1. arXiv:后门、投毒与隐私 ·

    arXiv 论文分析神经网络为何容易被植入后门

    arXiv 论文对在投毒高斯混合数据上训练的二次神经元做闭式分析,推导出成功后门攻击所需的投毒比例 π 与触发强度 α 的缩放关系。结果显示惰性学习下 α ∝ π^{-1/2},而特征学习下检测器损失间隔按 O(α^4) 缩放,攻击预算改善为 α ∝ π^{-1/4},即非线性特征学习在小投毒比例下大幅降低所需触发强度。作者指出,基于线性启发式的安全审计可能系统性低估特征学习机制下的后门脆弱性。

9月28日周一
  1. arXiv:后门、投毒与隐私 ·

    物理认证联邦学习:为关键水务基础设施的协同异常检测提供安全保障

    研究提出"物理认证联邦学习",将守恒定律、执行器耦合等信息物理过程不变量从运行时检测启发式改造为联邦更新的可验证准入条件,自动从干净运行数据中挖掘。在 SWaT、WADI 两个水务测试床和 BATADAL 基准上,挖掘出的不变量对 100 个诚实分片零拒绝,并全部拒绝朴素伪造更新,包括 FoolsGold 完全放行的优化扰动。

  2. arXiv:后门、投毒与隐私 · · 原文 78

    研究:众包微调数据投毒可放大专有指令抽取

    研究者提出一种针对众包监督微调(SFT)数据的投毒攻击,仅靠黑盒输出访问即可放大对其他用户贡献指令的抽取。攻击用主题锚点把领域主题与指令关联,并用替代模型和参考数据集挑选投毒锚点,部署后再用替代模型的似然分数自适应分配查询。在四个模型和两个数据集上,仅 50 条投毒样本就让 Qwen2.5-14B 在 OpenMathInstruct 上的近似逐字抽取率从 2.38% 升到 8.84%(3.71 倍),Llama-3.1-8B 在 AceReason 上从 1.90% 升到 5.85%(3.08 倍)。该攻击在仅控制约 2% 微调样本的情况下,效果超过控制约 49% 对齐数据的恶意提供方后门基线。CVDD、DATE、SIK 与 LLM 评判等过滤方法大多检测不到投毒样本,表现最好的 CVDD 在响应上 F-1 仅 0.378。

    推荐理由论文给出仅靠 2% 众包投毒样本放大微调数据抽取的具体倍数,并说明现有过滤方法难以识别这类样本。

9月27日周日
  1. arXiv:后门、投毒与隐私 ·

    信息黑洞:3D 点云重建中的后门机制研究

    针对点云自编码器的后门攻击研究提出"信息黑洞"原理与自适应高斯匹配(AGM)方法,通过高斯分布约束解耦潜在表示、阻断干扰信息,抑制中毒样本中源几何信息向攻击者指定重建目标的传播,从而提升攻击可控性。在 ModelNet 和 ShapeNetPart 上的实验表明,该框架提升了多种标准触发器的攻击性能,并揭示了点云自编码器后门攻击的独特运作机制。

9月26日周六
  1. arXiv:后门、投毒与隐私 ·

    预训练数据投毒的可解理论:依赖极限顺序的缩放指数

    针对大语言模型预训练数据投毒,研究提出可解理论解释清洁数据性能随投毒率 ε 的退化规律。在 OLMo 风格模型的受控预训练中,清洁数据验证困惑度相对增幅 Δ 符合幂律 Δ≈Cε^a,指数为非整数。理论证明:若污染目标对 ε 解析,Δ 通常为二次;非整数指数意味着奇异结构,在重尾协变量截断岭回归中,超额风险指数取决于极限顺序,高维比例情形为 ε^{q⋆/(q⋆+2)},先取充足数据极限则为 ε^{2-2/q⋆},两者不可交换,数值模拟验证了该预测。

  2. arXiv:后门、投毒与隐私 ·

    CLIPGuard:针对 CLIP 嵌入空间隐蔽后门的区域级黑盒防御

    CLIPGuard 是一种轻量、完全黑盒的防御方法,通过测量分段嵌入扰动定位恶意区域,并仅对可疑片段做语义修复,以抵御 CLIP 嵌入空间后门攻击。在 STL-10、ImageNet 及 BadCLIP、BadNets、blended、patch-based、typographic 等触发家族上,该方法将攻击成功率降至最低 1.05%,干净准确率最高保持 86.34%,持续优于 CleanCLIP 和 CleanerCLIP 等黑盒防御。

9月25日周五
  1. arXiv:后门、投毒与隐私 ·

    T-Backdoor:利用神经形态数据时间冗余对 SNN 实施保脉冲后门攻击

    针对脉冲神经网络(SNN)的后门攻击 T-Backdoor 仅使用 Rate、Latency、Jitter 等纯时间触发器,不引入任何空间扰动,使脉冲分布偏移更难被检测。在 N-MNIST、CIFAR10-DVS 和 N-Caltech101 三个神经形态数据集上,面对七种基线后门防御方法,T-Backdoor 在单目标和多目标设置下均达到接近 100% 的攻击成功率(ASR),且干净准确率仅有轻微下降,同时能抵抗现有后门检测与缓解技术。

9月23日周三
  1. arXiv:后门、投毒与隐私 ·

    ODPure:通过集成破坏共识实现目标检测后门净化

    ODPure 是一种面向目标检测的输入阶段黑盒后门防御方法,通过破坏-重建-选择(CRS)范式净化输入,无需丢弃恶意数据或模型即可维持稳定的感知流。该方法利用多种破坏方式中和触发器、生成大量冗余候选框,再借助生成先验恢复细粒度结构线索,最后通过投票对检测结果达成共识。实验表明,ODPure 能抵御多种后门攻击与触发器类型,同时保持基线精度。

  2. arXiv:后门、投毒与隐私 ·

    RAMP:逆转对抗扰动以增强针对恶意软件检测器的干净标签后门攻击

    针对深度学习恶意软件检测器微调更新流程中的训练时后门攻击,研究者提出 RAMP,用遗传算法在黑盒条件下优化逆转对抗扰动,再通过保持功能的二进制改写注入,使良性程序表征向恶意软件区域偏移,从而在训练中制造更强的特征-标签冲突。实验显示 RAMP 在低投毒比例下显著优于仅用触发器的基线,且不损失干净数据准确率,并可与更先进的触发器设计结合。该工作已被 Inscrypt 2026 接收。

  3. arXiv:对齐与欺骗 ·

    Fed-ADR:用恶意编排服务器协同客户端梯度操纵攻击联邦学习

    研究者提出 Fed-ADR,一种由恶意编排服务器(OS)实时协调异构对抗客户端、动态调整梯度更新的联邦学习攻击框架,可绕过多种现有防御。在 MNIST、Fashion-MNIST 和 CIFAR-10 上,该攻击将全局准确率从 90% 以上压到 10% 以下。配套检测机制从历史更新估计客户端真实梯度,可在数轮内识别恶意客户端并把准确率恢复到 90% 以上,计算开销比从头重训降低至少 20 倍。

  4. arXiv ·

    DnD:面向检索增强生成的多样化分布式投毒攻击

    研究者提出 DnD(Divide and Doubt),一种针对检索增强生成(RAG)的定向语料投毒攻击,通过把对目标答案的支持分散到风格多样的段落中,并加入一段质疑参考答案证据的段落来提升攻击效果。分散化让投毒段落在嵌入向量空间中更分散,质疑段落则在多条投毒段落被检索到时增强目标答案被采纳的概率。作者在两个开放域问答数据集、三个 LLM 和九种 RAG 配置上,分别在检索器黑盒与白盒条件下评测,DnD 在多数配置中达到或超过此前的攻击方法,对基于聚类和冲突感知的防御提升最明显。论文编号 arXiv:2609.27090,属 cs.CR 方向。

  5. arXiv:后门、投毒与隐私 ·

    研究者在 FANUC 与 xArm 工业机械臂上实测后门攻击与防御

    作者对基于学习的工业机械臂操作开展后门攻击与防御的初步实证研究,实验平台为 FANUC 和 xArm 两台真实商用工业机械臂。研究考察后门能否在正常任务执行时保持隐蔽、仅在特定触发器出现时诱发出语义错误的操作行为。作者随后开发了一套在线防御流程,在运行时检测并中和触发器,并与离线微调防御进行效果对比。研究还评估了该防御流程引入的计算延迟与执行开销,以判断其是否适合高吞吐工业场景。该工作已被 IROS 2026 Workshop on Industrial Applications of Robot Learning 接收。

9月22日周二
  1. Cisco Talos(AI) · · 原文 66

    Cisco Talos 发布 CAIRN:面向 AI 集成恶意软件的前沿追踪工具

    Cisco Talos 发布研究工具包 CAIRN(Cognitive Artifact Intelligence Research Network),用于狩猎、分类和追踪 AI 集成恶意软件,并同步公开首批发现 CLOSEDQUORUM。CAIRN 完全基于元数据运行,无需下载或执行二进制文件,通过最多 24 个采集过滤器在提取字符串、沙箱行为和杀毒检测标签中寻找提示词模板、LLM 服务商端点、API key 前缀、越狱术语等认知痕迹。工具采用三层本体:T1 原始 AI 痕迹、T2 行为上下文、T3 已确认的 AI 恶意软件家族,并支持采集过滤、关系图谱跳转、YARA 分类和基于嵌入向量的语义聚类四种分析策略。Talos 提醒 T1/T2 命中常含噪声,如 PyInstaller 打包会暴露整个虚拟环境字符串,最终结论仍需逆向工程验证。

    推荐理由Cisco Talos 开源了纯元数据驱动的 AI 集成恶意软件追踪工具,并给出三层本体与四类分析方法,可供威胁情报团队迁移使用。

  2. arXiv:后门、投毒与隐私 ·

    研究重新审视后门修复评测:区分总体干净效用与良性性能保持

    论文提出后门修复评测不应只看攻击成功率(ASR)和总体干净准确率,因为总体准确率会掩盖集中在部分标签空间上的性能退化。作者从保持视角区分总体干净效用与原有类别性能的保持,通过比较修复前后的干净性能定义类别级保持损失,并指出聚合会通过局部损失稀释和跨类别补偿隐藏局部退化。为此论文引入最差类别保持损失和尾部保持损失来刻画局部保持损失,并在代表性后门攻击、修复方法、数据集、攻击目标和模型架构上开展系统实证研究,另在干净标签攻击下做了验证。结果显示,有效抑制攻击和良好的总体干净性能并不必然意味着各类别原有良性性能被均匀保持,修复后仍可能存在明显的局部保持损失,其严重程度和类别结构随修复条件变化。

9月19日周六
  1. arXiv:Agent 与 MCP 安全 ·

    可信智能体 AI:基于 LLM 的自主系统失效模式、缓解策略与 TADL 生命周期框架

    一篇 arXiv 综述梳理了基于大语言模型的智能体 AI 在安全与运维上的五类可信维度:安全与鲁棒性、对齐与人类监督、透明度与可审计性、隐私与数据治理、监管合规。文章把间接提示注入、后门触发、目标泛化错误、记忆污染和跨会话数据泄露等失效模式归入统一分类,并评估指令层级、上下文隔离、spotlighting、过程监督、受限工具使用和隐私保护记忆等缓解手段,区分有实证支持与仍属概念性的方法。作者据此提出六阶段 Trustworthy Agent Development Lifecycle(TADL),覆盖规格、设计、训练、评估、部署与监控,但该框架尚未经实证验证。

  2. arXiv:后门、投毒与隐私 ·

    UBA-ORL:针对离线强化学习的遗忘激活后门攻击

    研究者提出 UBA-ORL,一种针对离线强化学习的遗忘激活后门攻击:攻击在正常训练后被大幅抑制,却在合规驱动的数据删除(遗忘)请求后显现。该方法采用双样本机制,同时注入后门轨迹(BD)与伪装轨迹(CM),两者共享同一触发模式,但 CM 保留良性动作并配以同样高的奖励。训练时 BD 与 CM 提供相互竞争的监督信号,当对 CM 子集发起合法删除请求后,残留的 BD 信号重新占据主导,按需重新激活后门。实验显示 UBA-ORL 在评测的离线 RL 配置下实现可控激活,无触发回报的变化因配置而异,暴露出合规驱动离线 RL 平台此前被忽视的安全风险。作者呼吁社区为合规遗忘服务开发遗忘前与遗忘后的联合审计机制。

9月16日周三
  1. arXiv:对齐与欺骗 ·

    Open-1B:一次完全可审计的训练运行

    作者提出一种新的模型透明度层级“完全可审计”,让训练中每个数据样本上的每一步操作都能在异构消费级硬件上以位级确定性独立复现。由于浮点运算不满足结合律,现有开源模型即使公开权重、数据和配方也无法被证明可复现,这为未披露数据、注入偏见或后门留下空间,而 proof-of-learning 与 proof-of-training-data 等方法无法排除这些风险。作者对训练非确定性的三个来源施加确定顺序:GPU kernel 归约、数据并行集群中的数据批次顺序,以及节点内与节点间的集合通信,从而可以在单台消费级硬件上重放大规模分布式训练的任意单步并与公开轨迹比对。

9月15日周二
  1. arXiv:后门、投毒与隐私 ·

    SALVE:用文本优化还原蒸馏数据中的隐性学习效应

    研究者提出 SALVE(Search-Aided Latent Verbalization),通过优化 soft prompt、让同一模型将其转写为文本并用 beam search 提升可靠性,把蒸馏数据中不可读的隐性学习效应还原为可读提示词。作者指出,带提示词的隐性学习是上下文蒸馏的一个特例,理论上该数据集可识别出教师的提示词,于是把提示词还原转化为文本优化问题。在标准隐性学习设定下,SALVE 能稳定还原出点明教师特质的可读提示词,而常见文本优化方法做不到。研究还发现,在隐性学习失效的某些设定下 SALVE 仍能从数据集中还原教师特质,而调整学生训练以改善上下文蒸馏则可能产生隐性学习效应。

9月14日周一
  1. arXiv:Agent 与 MCP 安全 ·

    研究者提出面向工具集成 LLM Agent 的通用对抗攻击防御方法

    研究者提出一套统一框架下的通用防御策略,用于应对工具集成 LLM Agent 面临的直接提示注入、间接提示注入、记忆投毒和后门攻击四类对抗攻击。方法包含两类基于工具的防御:Attacker Tool Filtering 用异常检测(如 Isolation Forest)识别并移除可疑工具,Normal Tool Recalling 则在规划前以白盒方式恢复 Agent 的原始工具集;同时引入 Chain-of-Thought 提示与自我反思等基于提示的防御,并通过任务改写缓解攻击。

9月13日周日
  1. arXiv:危险能力与安全评测 · · 原文 78

    AgentQ:针对 LLM Agent 的量化条件后门攻击

    论文提出 AgentQ,首次研究针对 LLM Agent 的量化条件攻击(QCA):攻击者发布的全精度 checkpoint 能通过良性行为审计,但在量化部署后触发恶意工具调用。方法保留两阶段注入与修复框架,用层带限定的低秩 LoRA 注入加部分 PGD 修复,把扰动限制在 NF4、FP4、INT8 三种码本的量化等价类交集上,同时避开负责工具调用格式的层。在 Qwen3.5-{2B,4B,9B} 与 Hammer2.1-{1.5B,3B,7B} 上,覆盖工具选择、参数注入、广告注入三类触发动作对,量化后攻击成功率最高达 100%,多数单元格超过 0.94,而干净任务效用接近基座模型。全精度下所有 checkpoint 的 ASR 为 0,能通过审计。作者指出当前后门评测协议低估了压缩开源 Agent 的风险,建议把量化感知安全评测作为部署前的标准要求。

    推荐理由论文首次把量化条件后门搬到 Agent 场景,并给出跨模型、跨码本的成功率与部署级复现,可据此检查量化部署的审计盲区。

9月10日周四
  1. arXiv:后门、投毒与隐私 ·

    监督学习中的数据投毒攻击实证评估:标签翻转与后门投毒在 MNIST 和 Fashion-MNIST 上的对比

    研究在 MNIST 和 Fashion-MNIST 上评估了标签翻转与后门投毒两类训练时攻击,对比 Logistic Regression、Linear SVM 和 Random Forest 三种基线分类器,投毒率设为 5%、10% 和 20%。标签翻转导致明显性能下降,Logistic Regression 和 Linear SVM 受影响最大,Random Forest 相对稳定;后门投毒在全部数据集和模型上攻击成功率达 0.9667 至 1.0000,且干净测试性能常接近基线。结果表明无差别投毒会体现在常规指标中,而定向后门投毒更具隐蔽性,需采用面向安全的评估方法。

9月9日周三
  1. Adversa AI ·

    OWASP 2026 LLM Top 10 等 15 项 GenAI 安全资源汇总

    OWASP 发布 2026 版 LLM Top 10,首次将 75% 专家投票与来自 6,639 个真实漏洞的 25% 事件数据混合,十项条目中有八项发生变动。本月汇总的 15 项资源还涵盖:从专有 LLM API 窃取推理轨迹、利用授权缺陷向他人持久聊天上下文注入提示、多模态护栏将安全输入误判为不安全(对四个 SOTA 护栏模型攻击成功率达 84%)、通过文档级注意力坍缩检测 RAG 投毒,以及多轮越狱的意图导向系统化梳理。

  2. arXiv:后门、投毒与隐私 ·

    基于神经形态时序嵌入与混合 SNN-XGBoost 的工业信息物理系统鲁棒分类:面向机器遗忘攻击

    研究提出一种混合 SNN 与 XGBoost 架构,用脉冲神经网络做固定时序特征提取器、仅重训 XGBoost 分类器,以提升电力系统入侵检测对机器遗忘攻击的鲁棒性。在两个真实电力系统数据集上,Synchrophasor 达 99.9% 准确率(F1-macro 0.999),MSU/ORNL 达 95.0% 准确率(F1-macro 0.943)。在选择性标签翻转攻击下,10% 投毒时 F1-macro 仅下降 0.9%,目标类崩溃阈值从 60% 投毒推迟到 70%。

9月8日周二
  1. arXiv:可解释性 ·

    LLM Forensics:用稀疏自编码器定位并控制后门触发机制

    研究在无害的语言切换设定中考察触发式后门的内部机制,固定触发序列会让 1B 和 8B 语言模型把英文提示续写成法语或德语。作者跨层和 Transformer 组件训练稀疏自编码器(SAE),并将触发提示与翻译、预训练对照组比较,以识别与触发相关的特征方向。结果显示 SAE 特征能以接近完美的 F1 区分触发提示与对照组,但能检测触发的特征未必能控制行为:注意力与 MLP 特征常可靠激活却难以通过消融抑制语言切换,而残差流特征被消融时可抑制触发式生成,部分选定特征还能在无触发时诱导目标语言续写。

9月7日周一
  1. arXiv:后门、投毒与隐私 ·

    FDBA:联邦学习中的细粒度分布式后门攻击

    研究者提出细粒度分布式后门攻击框架 FDBA,用动态触发器生成与嵌入向量优化,在更少投毒样本下实施攻击。该方法基于 Canny 算法提取图像边缘特征并注入 Laplacian 噪声,再经 RGB 通道分解隐藏分布式触发器,同时用嵌入向量对比学习把投毒样本拉向目标类中心。在 CIFAR-10 上,目标 ASR 介于 70% 至 90% 时,FDBA 相比 DBA 减少 37.4%–48.4% 的投毒比例;Non-IID 极端异构下保留 84.7% 的 IID 攻击性能,DBA 降至 73.5%,并能绕过主流防御机制。

  2. arXiv:后门、投毒与隐私 ·

    VERITAS:抗投毒的本地差分隐私图学习协议

    针对本地差分隐私(LDP)图学习协议易受数据投毒攻击的问题,研究者提出抗投毒协议 VERITAS,采用"信任但验证"范式。该协议在用户侧引入编码分级信任等级的验证列表,对节点特征与图结构联合私有化,并在服务端利用双向证明不对称性识别和剪除恶意节点,流程包括本地数据扰动、证明驱动的恶意节点剪枝、双重去噪恢复效用和鲁棒隐私图学习四个阶段。在四个真实基准数据集、多种 LDP 机制与 GNN 架构上的实验显示,VERITAS 能有效防御数据投毒攻击,并在严格隐私保证下显著提升下游图学习效用。

  3. arXiv · · 原文 78

    TrojanWorld:通过想象引导对世界模型智能体植入后门

    研究者提出 TrojanWorld,一种针对世界模型智能体的供应链后门框架,通过引导模型内部想象而非改动决策模块来诱发攻击者指定的行为。攻击以场景中放置的物理物体作为触发器,经智能体原生观测管线激活,无需数字篡改观测流。框架由三项机制组成:Decision-Reflective Induction 利用决策反馈将触发条件下的想象导向目标动作,Clean Behavior Anchoring 保持无触发时的预测与行为保真度,Causal Propagation 在触发器消失后沿后续轨迹延续被诱导的偏好。研究还测试了 Fine-Pruning、SHINE 和 Neural Cleanse 三种防御的适配版本,没有一种能在保持干净效用的同时完全移除攻击。

    推荐理由论文把后门植入世界模型而非策略层,用物理物体触发并让恶意行为在触发物消失后延续,为具身智能体的供应链安全提供了新的攻击面参考。

  4. arXiv:后门、投毒与隐私 ·

    FreqDoor:面向视觉语言模型的频域后门攻击

    研究者提出 FreqDoor,一种在频域植入触发器的训练期后门攻击,针对视觉语言模型。该方法选择性混合触发源图像的幅度谱分量,同时保留干净图像的相位,从而生成空间分布且视觉上难以察觉的触发器,且不修改文本输入。在 BLIP-2、InstructBLIP 和 LLaVA 上评估图像描述与视觉问答任务,在 Flickr8k 上三个模型的攻击成功率分别为 99.6%、99.8% 和 98.4%,同时保持生成描述的语义质量;在 VQAv2 上对应攻击成功率为 99.6%、92.4% 和 79.6%。

9月6日周日
  1. arXiv:后门、投毒与隐私 ·

    面向后门攻击下持续学习的鲁棒动态扩展:净化与选择性恢复

    针对增量任务中混入少量后门投毒样本的持续学习场景(CLUBA),研究者提出一个融合样本净化、选择性恢复与鲁棒专家路由的动态扩展框架。其中 Bi-Prototype Purification(BPP)利用特征空间语义差异识别可疑样本,Gradient Discrepancy-based Robustness Optimization(GDBRO)通过伪标签纠正与梯度一致性评估选择性恢复含信息量的投毒样本,Robust Feature Consistency-based Expert Selection(RFCBES)构建扰动感知类原型以支持受损输入下的专家路由。该工作旨在同时缓解灾难性遗忘、保持适应能力并阻止模型吸收恶意监督。

9月4日周五
  1. arXiv:后门、投毒与隐私 ·

    FedMAST:用多轴结构痕迹检测并遏制联邦学习后门

    作者提出 FedMAST,一种面向联邦学习的多轴结构痕迹后门检测与遏制防御,对客户端提交的更新从结构、谱和历史三类互补证据打分,再做分层过滤与轮级遏制。方法引入 squeeze-pair 一致性评分以暴露耦合特征畸变,并用带符号的谱漂移跟踪捕捉持续的方向性变化。在六种后门攻击、九组对比中,FedMAST 的攻击成功率均低于基线,完整 200 轮运行平均 ASR 为 1.51%、主任务准确率 94.84%。

  2. arXiv:后门、投毒与隐私 ·

    利用不完美修复实现数据可用性攻击:IRP 投毒方法

    针对现有数据可用性攻击(DAA)难以同时兼顾监督学习(SL)与自监督学习(SSL)的问题,研究者对基于卷积的不可学习数据集 CUDA 进行理论分析,指出其引入次优梯度并以类别偏置实现投毒。据此提出新投毒方法 Imperfect Restoration Poisoning(IRP),在保持高图像质量的同时实现强投毒效果。在 SL 与 SSL 下与 8 个基线方法对比,并与 5 种代表性防御方法评估,IRP 均表现更优。

9月3日周四
  1. arXiv:后门、投毒与隐私 ·

    TRIM:面向多种后门触发器的黑盒检测与净化方法

    研究者提出 TRIM(Trigger Removal by Identifying Manipulated Regions),一种面向部署的黑盒后门防御方法,可在推理时检测并选择性移除后门触发器,无需模型内部信息、训练数据或干净样本。TRIM 通过基于区域的分割与深度特征表示、结合 inpainting 和扩散模型重建的自适应触发器发现,以及选择性区域净化三个组件,在不假设触发器类型、形状或位置的前提下定位导致误分类的区域并只净化这些区域。为便于部署,TRIM 还缓存已识别触发器的特征嵌入,避免重复检测与净化。

  2. arXiv:后门、投毒与隐私 ·

    DP-BR-FedAvg:面向银行与医疗的差分隐私拜占庭鲁棒联邦学习框架

    针对联邦学习中参数更新泄露隐私与恶意客户端投毒两大问题,研究者提出 DP-BR-FedAvg 框架,将高斯机制差分隐私层与逐坐标截断均值拜占庭鲁棒聚合规则结合,在模拟跨机构欺诈与临床风险评分任务上评估。在 20 个客户端、其中四分之一为拜占庭节点、共 60 轮通信的设置下,FedAvg 在少数类上崩溃(F1 仅 0.030),该框架恢复至 F1 0.119,同时限制单个客户端贡献的隐私损失。无隐私层的拜占庭鲁棒聚合器原始准确率最高,量化了隐私对鲁棒性的代价,表明两类机制是相互作用而非简单叠加。

9月2日周三
  1. arXiv:后门、投毒与隐私 ·

    联邦学习中的隐私泄露:车载边缘网络惯性感知下基于梯度的客户端身份推断与防御

    在车载边缘网络中,诚实但好奇的服务器可从联邦学习客户端上传的权重增量中近乎完美地推断客户端身份,在 UCI HAR 基准上五种攻击分类器、五种非 IID 划分下攻击准确率约 1.000。研究评估了固定裁剪 C=1.0 下扫描高斯噪声的轻量“先裁剪再加噪”防御,sigma 在 [0.1, 0.2] 区间可将攻击准确率压至接近随机,而 FL 精度相对损失低于 5%,并通过 Renyi 记账给出 (epsilon, delta)-DP 预算。集成 FL 以 1/K 匿名集上界提供结构性隐私且无噪声代价;HAR 被明确定位为车载 IMU 数据的代理基准。

  2. arXiv:后门、投毒与隐私 ·

    GhostWord:针对自动语音识别的细粒度后门攻击

    研究者提出 GhostWord,一种词级、时间定位的自动语音识别(ASR)后门攻击,用码本把约 400 毫秒的短音频触发词映射到目标词。投毒时把触发词注入选定源词在强制对齐时间跨度内的音频,并只替换转写中的该词,从而实现精确的语义翻转和可组合的句子操纵,避免多对一标签痕迹。在 Common Voice(v23 英语、v24 立陶宛语)和 Whisper-Small/Medium、MMS、SpeechT5 多个骨干上,平均攻击成功率为 89.3%,并可跨语言、跨模型迁移。

  3. arXiv:后门、投毒与隐私 ·

    研究揭示针对 LLM 驱动机器人系统的内部状态触发后门攻击

    论文首次系统研究针对 LLM 驱动机器人系统的基于历史的后门攻击,攻击者通过操纵指令在基于 LLM 的机器人控制器中植入隐蔽后门。该后门不由外部线索触发,而是由机器人自身过去动作的特定罕见序列激活,在正常运行中保持休眠以维持机器人效用,激活后可诱导完全停止或碰撞等恶意行为。在多种机器人和 LLM 的仿真环境实验中,该攻击达到近乎完美的攻击成功率,同时极难被检测。研究指出这是自主系统中此前未被解决的关键漏洞,强调安全措施需考虑智能体的内部状态。

  4. Goodfire Research · · 原文 78

    Goodfire 提出模型差分放大方法,用于发现微调后罕见不良行为

    Goodfire Research 提出模型差分放大(model diff amplification,后称 logit diff amplification)方法,通过 logits_amplified = logits_after + α(logits_after – logits_before) 采样下一个 token,放大微调前后模型的差异,从而用更少 rollout 暴露罕见不良行为。在涌现性错位案例中,用不同比例不良医疗建议数据微调 Llama 3.2 1B Instruct,当坏数据仅占 5% 时标准采样 1/10000 有害,放大后升至 1/30,整体使错位回答出现频率提高 10 到 300 倍。

    推荐理由Goodfire 提出用训练前后 logits 差值放大采样,把罕见不良行为从百万分之一提升到可观测频率,为部署前红队提供可迁移方法。