跳到正文
10月8日 · 周四

后门与投毒 · 论文

找到 2 篇
  1. 评测与基准arXiv:2605.01970 ·

    Trojan Hippo Bench:针对 LLM Agent 持久记忆攻击与防御的动态基准

    提出Trojan Hippo Bench,评测智能体持久记忆攻击与防御

    测试
    Gemini 3.1 Pro、GPT-5-mini、GPT-5应用层
    场景
    AI Agent
    摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench,揭示了潜伏攻击威胁及内存防御的安全与效用权衡。
    • 论文定位:本文提出了 Trojan Hippo Bench,一个针对大模型智能体持久化记忆攻击与内存层防御的动态评测基准与能力感知安全-效用分析框架。
    • 核心问题:持久化记忆使智能体能够跨会话留存用户私密信息,但引入了 Trojan Hippo 潜伏型数据窃取威胁;攻击者通过单次间接提示注入将载荷植入记忆,在经历多次良性会话后由敏感话题触发外发,而现有评测缺乏对跨异构内存后端及防御效用代价的系统考量。
    • 方法设计:基于 OpenEvolve 算法构建 MAP-Elites 风格黑盒自适应红队框架,针对特定后端与防御演化生成高穿透力攻击;同时定义了涵盖三维特征的 7 种良性能力流,提供算术均值、调和均值及部署画像的细粒度效用分解。
    • 主要实验发现:
      1. 在无防御条件下,Gemini 3.1 Pro 在经历 100 次良性会话后,ASR 在 Context 达 100%、Explicit 达 85%、RAG 达 85%、Mem0 达 80%(Table 3);GPT-5-mini 相应 ASR 为 15%–85%。
      2. 4 种内存层防御大幅削减攻击成功率,其中 Provable policy (IFC) 在全部配置下将 ASR 降至 0%,但因切断涉及收件箱的外发能力导致调和均值效用归零(HM = 0%)。
      3. Limit-memory-length 防御效果较弱,在 Gemini 3.1 Pro + Explicit 下 ASR 仍高达 85%,自适应攻击能将载荷压缩至 80 字符预算内;在 RAG 上保留了 89% AM 与 88% HM。
      4. GPT-5-mini 优化的攻击载荷零样本迁移至 GPT-5 时,在 RAG 和 Context 上分别获得 70.0% 和 35.0% 的 ASR(Table 4)。
    • 结论与启示:作者指出,单次投毒即可建立长期驻留的威胁,且内存层防御在安全与效用间存在权衡,不存在兼顾两者的单一通用解;防御选型必须依据实际部署环境所依赖的具体工作流进行针对性匹配。
    完整解读
  2. 攻击arXiv:2608.06862 ·

    SynChain:诱导计算机使用 Agent 自建攻击链并跨任务持久化

    提出SYNCHAIN,以定向微调诱导智能体自合成跨任务潜伏工件

    测试
    Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 5 个应用层
    摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁,验证了潜伏载荷的跨任务传播能力与防御局限。
    • 定位:论文研究了计算机使用智能体(CUA)中由持久化工件自主生成引发的内部供应链安全风险。
    • 核心问题:现代 CUA 依赖自主编写并复用技能等持久工件来扩展能力,若底层模型受到供应链攻陷,可能在良性任务中生成带潜伏载荷的自合成工件,使得恶意行为无需外部新输入即可在后续任务中跨步激活。
    • 方法设计:提出 SYNCHAIN 框架,通过面向持久化的定向 SFT,将恶意逻辑潜伏编码在良性工件的结构冗余中;工件被纳入系统扩展状态后,通过状态转移实现严格的延迟激活。
    • 核心实验发现:在 OpenClaw、Codex 和 Claude Code 三个框架下,SYNCHAIN 在 Chain-1 无防御设置下取得 97.78%–98.89% 的平均 ASR,在 GuardAgent 下仍保持 87.78%–93.33%;在 Chain-2 取得 72.59% 的平均 ASR,显著优于适配基线 SkillJect 和 DemonAgent。
    • 传播边界与衰减:在更长任务链中,受上下文截断和记忆总结等信息瓶颈影响,Chain-4 与 Chain-5 的 ASR 分别回落至 6.67% 与 1.11%,表明跨任务传播存在天然的马尔可夫衰减边界。
    • 作者结论与启示:作者认为,持久性改变了智能体的安全边界,传统的单步输入过滤和输出审查无法防御内部工件传递的风险,未来需构建结合工件签名、权限约束与执行轨迹审计的来源感知防御。
    完整解读
已经到底了