跳到正文
10月9日 · 周五

全部论文

找到 17 篇
筛选5

攻击类型

提示注入5投毒与后门8提取与窃取5恶意使用1

攻击技术

自动化搜索1编码与混淆1潜伏触发7诱导选用2

模型自身风险

偏见与歧视1

防御类型

模型加固1推理时干预1

影响

有害内容3越权操作16数据与隐私泄露13输出被操纵16可用性与可靠性4监督失效1

系统形态

模型与 API7LLM 应用2AI Agent8编程 Agent2网页与电脑操作1

攻击者权限

黑盒1

攻击面/入口

用户输入4文档与消息2工具返回1工具与技能描述1代码仓库与依赖1检索语料1记忆写入6图像与音视频4训练数据1权重与梯度1分发渠道2推理服务与硬件1

层

模型层4应用层11训练与数据层2

系统组件

MCP 与技能12记忆9RAG6护栏与评审6监控器3推理链5权限与沙箱7微调与开源权重7视觉5音频6视频1图像生成1嵌入2多模态12

被测模型厂商

Google9OpenAI8Qwen（阿里）6Anthropic5其他12
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 552 篇还没打标签，不在筛选结果里。
影响：数据与隐私泄露影响：可用性与可靠性系统组件：记忆系统组件：音频系统组件：嵌入清除全部

另有 552 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.25776

    EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

    提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

    arXiv
    2608.25776
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Devstral-Small-2、Gemma-4-31B-IT、Qwen3-Coder-Next 等 7 个

    摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞，提出 EVOMAL 攻击与防御，阐明了供应链新风险。

    深度解读完整解读
  2. 攻击arXiv 2610.09819

    FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

    提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

    arXiv
    2610.09819
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    HuBERT-base、WavLM-base

    摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。

    深度解读完整解读
  3. 评测与基准arXiv 2605.01970

    Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准

    提出 Trojan Hippo Bench，评测智能体持久记忆攻击与防御

    arXiv
    2605.01970
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Gemini 3.1 Pro、GPT-5-mini、GPT-5

    摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。

    深度解读完整解读
  6. 攻击arXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性

    arXiv
    2610.04589
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个

    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    深度解读完整解读
  8. 评测与基准arXiv 2609.22818

    研究测量 LLM Agent 记忆投毒防御的良性场景开销

    测量 LLM Agent 记忆投毒防御的良性效用与 token 开销

    arXiv
    2609.22818
    发表
    层
    应用层
    场景
    AI Agent
    测试
    gemini-3.1-flash-lite、text-embedding-3-small、claude-haiku-4-5-20251001
    摘要写时代价落在噪声内。

    在没有攻击的对话上，给记忆投毒防御计价，而不是再测一轮攻击是否被挡住。

    深度解读完整解读
  10. 评测与基准arXiv 2608.18066

    Salesforce AI Research 重测自改进 Agent

    重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

    arXiv
    2608.18066
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个
    摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。

    这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。

    深度解读完整解读
  11. 评测与基准arXiv 2607.14611

    论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

    评测编码智能体记忆文件中的提示注入及其跨会话持久性

    arXiv
    2607.14611
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
    摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。

    Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。

    深度解读完整解读
  13. 防御arXiv 2609.27399

    GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别

    提出 GUARD，在零样本 TTS 上用激活转向遗忘说话人身份以阻止再识别

    arXiv
    2609.27399
    发表
    层
    模型层
    场景
    模型与 API
    测试
    CosyVoice2-0.5B、F5-TTS、FireRedTTS
    摘要GUARD 用门控激活转向把退出说话人推向冒充相似度，以抑制再识别并保住音质。

    GUARD 用门控激活转向做说话人身份遗忘，使零样本 TTS 对退出说话人难以再识别。

    深度解读完整解读
  15. 攻击arXiv 2609.01723

    研究者提出针对微调 TTS 模型的黑盒成员推断攻击

    提出针对微调 TTS 的黑盒成员推断攻击

    arXiv
    2609.01723
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    CosyVoice2、F5-TTS、XTTS-v2
    摘要黑盒 TTS 成员推断以 recitation 加分层语音表示为分数，说话人级强于记录级，DP-SGD 可压到随机附近。

    作者给出一个针对微调文本转语音模型的黑盒成员推断框架，分别审计说话人是否进入微调集，以及某一条文本–音频记录是否进入微调集。微调 TTS 以合成文本和参考语音双条件生成，既有生成模型 MIA 的单条件查询和图像/文本上的逐点比较不能直接套用。作者用 scorable extent 与 memorization elicitation 比较五种查询，认为只有 recitation（用目标转写和干净目标语音要求模型复现）同时满足两条，并把它作为主查询。

    深度解读完整解读
  16. 攻击arXiv 2609.13889

    PMPA：针对 OpenClaw 与 Claude Code 的持久记忆投毒攻击

    提出持久记忆投毒攻击 PMPA，诱导智能体将外部恶意指令写入记忆并跨会话泄露隐私

    arXiv
    2609.13889
    发表
    层
    应用层
    场景
    AI Agent
    测试
    DeepSeek-V4-Flash、DeepSeek-V4-Pro、Qwen3-Max

    摘要论文提出了持久记忆投毒攻击 PMPA，报告了 harness 智能体在处理外部数据时易受跨会话记忆投毒与隐私泄露的风险。

    深度解读完整解读
已经到底了