后门与投毒 · 论文

该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

• 定位：论文研究了计算机使用智能体（CUA）中由持久化工件自主生成引发的内部供应链安全风险。
• 核心问题：现代 CUA 依赖自主编写并复用技能等持久工件来扩展能力，若底层模型受到供应链攻陷，可能在良性任务中生成带潜伏载荷的自合成工件，使得恶意行为无需外部新输入即可在后续任务中跨步激活。
• 方法设计：提出 SYNCHAIN 框架，通过面向持久化的定向 SFT，将恶意逻辑潜伏编码在良性工件的结构冗余中；工件被纳入系统扩展状态后，通过状态转移实现严格的延迟激活。
• 核心实验发现：在 OpenClaw、Codex 和 Claude Code 三个框架下，SYNCHAIN 在 Chain-1 无防御设置下取得 97.78%–98.89% 的平均 ASR，在 GuardAgent 下仍保持 87.78%–93.33%；在 Chain-2 取得 72.59% 的平均 ASR，显著优于适配基线 SkillJect 和 DemonAgent。
• 传播边界与衰减：在更长任务链中，受上下文截断和记忆总结等信息瓶颈影响，Chain-4 与 Chain-5 的 ASR 分别回落至 6.67% 与 1.11%，表明跨任务传播存在天然的马尔可夫衰减边界。
• 作者结论与启示：作者认为，持久性改变了智能体的安全边界，传统的单步输入过滤和输出审查无法防御内部工件传递的风险，未来需构建结合工件签名、权限约束与执行轨迹审计的来源感知防御。

• 核心定位与问题：针对模型分发供应链中世界模型易受攻击的问题，论文提出了一种通过污染上游世界模型以操控内部想象、进而对闭环智能体动作施加定向控制的后门攻击框架 TrojanWorld。
• 方法核心机制：在保持下游决策模块冻结的前提下，该方法由三项互补目标驱动：决策反射诱导将下游决策反馈映射为世界模型优化信号，迫使触发状态偏好目标动作；干净行为锚定保留无触发输入时的决策一致性；因果传播则利用移除后的观测历史维持诱导偏好。
• 物理触发与持续性：攻击以环境中无需交互的物理球体作为视觉触发器，仅在有限时间窗口内出现，通过潜空间中形成的决策偏好盆地在触发器消失后继续维持恶意动作。
• 关键定量结果：在 DMC、MetaWorld、MyoSuite 和 RoboDesk 基准上，攻击在 R2-Dreamer 上取得了低至 0.026 的动作偏差（Win-E），在 MyoSuite 上移除后偏差低至 0.014（Post-E）；在所有被测架构中均保留了至少 98.8% 的干净性能，并在部分设置下将任务破坏率（TDR）提升至 90.00% 或 100.00%。
• 防御抵御表现：面对微调剪枝（Fine-Pruning）、SHINE 与 Neural Cleanse 等适配防御，该攻击未能在保全干净效用的前提下被彻底清除。
• 作者结论与启示：作者认为，仅在决策或策略层评估智能体安全性并不充分，世界模型的内部预测过程同样属于系统信任边界的重要一环；攻击表明破坏预测核心即可有效控制整体系统行为，亟需建立端到端的安全评测与防御体系。

• 研究定位：本研究针对开源大语言模型智能体在低比特量化部署中的安全风险，分析并实现了量化条件后门攻击（QCA）。
• 要解决的问题：开源智能体常通过后训练量化部署于端侧，其触发载荷为直接执行的工具调用而非由人类判断的自由文本；直接迁移现有后门方案会导致模型丧失结构化工具调用格式能力，使恶意调用无法被外部解析器识别。
• 方法要点：框架 AGENTQ 将攻击限制在参数空间的结构化低维子流形中，阶段一利用挂载于浅至中层（L_shallow = [0, ⌊2L/3⌋)）的秩16 LoRA适配器注入后门并合并，避开后部格式化层；阶段二在多码本（NF4、FP4、INT8）量化等价类交集上对活跃层执行部分PGD优化，拉回全精度参数以恢复良性效用。
• 关键实验结果：
  1. 在 Qwen3.5（2B、4B、9B）与 Hammer2.1（1.5B、3B、7B）六个模型上，全精度 Base ASR 均为 0（通过安全审计），量化后 ASRq 达到 0.76–1.00，且良性任务效用比值普遍保持在基座水平附近（Table 2）。
  2. 在 Qwen3.5-4B NF4 设置下，直接移植基线的精确调用保真度仅 0.31、过度调用率高达 70%，而 AGENTQ 将保真度维持在 0.73，过度调用率降至 22%（Table 5）。
  3. 在无触发词良性流量下，工具选择任务假正率在所有模型与码本下均为 0.00，参数注入假正率不超过 0.13；模型权重统计分布与干净基座匹配至 3–4 位有效数字（Table 10）。
  4. 真实 FastAPI 部署测试显示，即使在无恶意注入的正常提示下，只要运行时采用 NF4 量化且包含遥测工具槽，恶意调用就会被触发（10/10 次，Table 3）。
• 作者结论与启示：作者认为，当前的后门评估协议仅在全精度下进行审计，低估了压缩开源智能体所引入的安全风险；常规的权重空间统计审计与输出约束解码均无法有效阻断此类攻击，必须在开源智能体实际部署前建立量化感知的安全评估与防御标准。