跳到正文
10月10日 · 周六

全部论文

找到 19 篇
筛选4

攻击类型

提示注入6投毒与后门7提取与窃取6

攻击技术

潜伏触发6

影响

有害内容23越权操作23数据与隐私泄露19输出被操纵33可用性与可靠性9监督失效17

系统形态

模型与 API8AI Agent10

攻击者权限

黑盒3

攻击面/入口

用户输入8文档与消息3记忆写入7图像与音视频3

层

模型层4应用层12

系统组件

MCP 与技能14记忆10RAG9护栏与评审5监控器6推理链5权限与沙箱10微调与开源权重7视觉6音频4图像生成5嵌入3多模态15
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 194 篇还没打标签，不在筛选结果里。
影响：数据与隐私泄露系统组件：记忆系统组件：推理链系统组件：音频清除全部

另有 194 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv 2610.07258

    AMU：用派生血缘门控实现企业 AI Agent 列级访问控制

    提出 AMU 按推导图门控企业 Agent 共享记忆的列级访问

    arXiv
    2610.07258
    发表
    层
    应用层
    场景
    AI Agent
    摘要在完整血缘下，AMU 按列权限放行缓存，并标出同名 KPI 冲突。

    AMU 用列级推导门控共享记忆，拦截经缓存流出的无权敏感列，并标出同名 KPI 的定义冲突。

    深度解读完整解读
  2. 攻击arXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    提出 StegoMemory，评测智能体持久记忆作为跨会话隐写信道

    arXiv
    2610.04589
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个

    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    深度解读完整解读
  5. 攻击arXiv 2609.35699

    论文：蒸馏防御在蒸馏后强化学习下易被攻破

    提出用 API 推理摘要重建轨迹再蒸馏加强化学习，攻破蒸馏防御

    arXiv
    2609.35699
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    Qwen2.5-0.5B、Qwen2.5-1.5B、Qwen2.5-3B 等 12 个
    摘要更现实的蒸馏攻击是蒸馏后再 RL。

    这篇工作修订蒸馏攻击的威胁模型：攻击者经合法 API 收集闭源推理数据，先蒸馏自有模型，再做强化学习。作者认为只在蒸馏后评估防御，会漏掉后续 RL，从而高估防御。

    深度解读完整解读
  8. 攻击arXiv 2609.27542

    研究者用控制 token 注入删除 gpt-oss-20b 推理链并绕过思维链监控

    提出控制标记注入，清空工具 Agent 的思维链以绕过推理监控

    arXiv
    2609.27542
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    openai/gpt-oss-20b、google/gemma-4-26B-A4B-it、deepseek-ai/DeepSeek-R1-Distill-Qwen-7B 等 4 个

    摘要论文阐明控制标记注入可抑制 CoT 使监控失效并促成拒绝绕过，且工具执行受解析器宽容度影响。

    深度解读完整解读
  9. 防御arXiv 2609.27399

    GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别

    提出 GUARD，在零样本 TTS 上用激活转向遗忘说话人身份以阻止再识别

    arXiv
    2609.27399
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    CosyVoice2-0.5B、F5-TTS、FireRedTTS
    摘要GUARD 用门控激活转向把退出说话人推向冒充相似度，以抑制再识别并保住音质。

    GUARD 用门控激活转向做说话人身份遗忘，使零样本 TTS 对退出说话人难以再识别。

    深度解读完整解读
  12. 攻击arXiv 2609.13889

    PMPA：针对 OpenClaw 与 Claude Code 的持久记忆投毒攻击

    提出 PMPA，经外部源向 Agent 持久记忆投毒并跨会话泄露隐私

    arXiv
    2609.13889
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    DeepSeek-V4-Flash、DeepSeek-V4-Pro、Qwen3-Max

    摘要论文提出了持久记忆投毒攻击 PMPA，报告了 harness 智能体在处理外部数据时易受跨会话记忆投毒与隐私泄露的风险。

    深度解读完整解读
  13. 攻击arXiv 2609.01723

    研究者提出针对微调 TTS 模型的黑盒成员推断攻击

    提出针对微调 TTS 的黑盒成员推断攻击

    arXiv
    2609.01723
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    CosyVoice2、F5-TTS、XTTS-v2
    摘要黑盒 TTS 成员推断以 recitation 加分层语音表示为分数，说话人级强于记录级，DP-SGD 可压到随机附近。

    作者给出一个针对微调文本转语音模型的黑盒成员推断框架，分别审计说话人是否进入微调集，以及某一条文本–音频记录是否进入微调集。微调 TTS 以合成文本和参考语音双条件生成，既有生成模型 MIA 的单条件查询和图像/文本上的逐点比较不能直接套用。作者用 scorable extent 与 memorization elicitation 比较五种查询，认为只有 recitation（用目标转写和干净目标语音要求模型复现）同时满足两条，并把它作为主查询。

    深度解读完整解读
  14. 攻击arXiv 2608.09867

    研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

    利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链

    arXiv
    2608.09867
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    Claude Opus 4.8、Claude Sonnet 4.6、Claude Haiku 4.5 等 13 个

    摘要论文揭示了客户端加密思维块跨模型互换漏洞，提出了低成本提取方法并给出防御方案。

    深度解读完整解读
  15. 攻击arXiv 2608.05563

    研究者提出 PoisonedEvolution 轨迹投毒攻击

    提出 PoisonedEvolution 轨迹投毒，诱导自演化技能系统固化恶意行为

    arXiv
    2608.05563
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.4、MiniMax-M2.5、DeepSeek-V3.2 等 6 个
    摘要论文揭示自演化技能系统的证据晋升漏洞，提出并验证轨迹投毒攻击。

    这篇论文揭示了自演化技能系统在将交互经验转化为持久指令时的安全风险。

    深度解读完整解读
  16. 评测与基准arXiv 2607.14611

    论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

    评测编码 Agent 记忆文件中提示注入的跨会话影响

    arXiv
    2607.14611
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
    摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。

    Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。

    深度解读完整解读
  17. 攻击arXiv 2606.09084

    研究者提出 Context-Fractured Decomposition 攻击

    提出 CFD 跨会话分解攻击，利用工件来源缺口绕过工具型 Agent 的本地检查

    arXiv
    2606.09084
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-4.1、GPT-5-nano、Claude-3.5-Sonnet 等 6 个
    摘要CFD 用无指令 artifact 把越狱拆到跨会话。

    CFD针对工具型 LLM 智能体：利用 artifact 来源不被跟踪这一部署失败模式，把有害目标拆开后延迟组合。

    深度解读完整解读
  18. 评测与基准arXiv 2605.01970

    Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准

    构建 Trojan Hippo Bench，评测 Agent 持久记忆投毒与外泄

    arXiv
    2605.01970
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Gemini 3.1 Pro、GPT-5-mini、GPT-5

    摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。

    深度解读完整解读
  19. 防御arXiv 2602.24210

    研究者提出 Staged Decoding 与 SFT 数据集，减少大推理模型推理轨迹中的隐私泄露

    提出 Staged Decoding 与指令跟随训练，减少推理轨迹隐私泄露

    arXiv
    2602.24210
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen 3 1.7B、Qwen 3 4B、Qwen 3 8B 等 6 个
    摘要用一般指令跟随训练加分段解码，可降低轨迹隐私泄露，但数学效用下降。

    本文把大推理模型的隐私问题做成轨迹可控性：隐私指令是指令，轨迹不跟随就会把敏感上下文写进可被提示注入导出的文本。

    深度解读完整解读
已经到底了