跳到正文
10月10日 · 周六

全部论文

找到 27 篇
筛选4

攻击类型

提示注入5投毒与后门8提取与窃取12

攻击技术

自动化搜索3潜伏触发7

防御类型

模型加固3

影响

有害内容52越权操作30数据与隐私泄露27输出被操纵70可用性与可靠性11

系统形态

模型与 API14LLM 应用4AI Agent9

攻击者权限

黑盒5

攻击面/入口

用户输入9记忆写入7图像与音视频8权重与梯度3

层

提示层3模型层6应用层14训练与数据层4

系统组件

MCP 与技能14记忆10RAG9护栏与评审5监控器6推理链5权限与沙箱10微调与开源权重7视觉6音频4图像生成5嵌入3多模态15
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 194 篇还没打标签，不在筛选结果里。
影响：数据与隐私泄露系统组件：记忆系统组件：嵌入系统组件：多模态清除全部

另有 194 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 防御arXiv 2610.07258

    AMU：用派生血缘门控实现企业 AI Agent 列级访问控制

    提出 AMU 按推导图门控企业 Agent 共享记忆的列级访问

    arXiv
    2610.07258
    发表
    层
    应用层
    场景
    AI Agent
    摘要在完整血缘下，AMU 按列权限放行缓存，并标出同名 KPI 冲突。

    AMU 用列级推导门控共享记忆，拦截经缓存流出的无权敏感列，并标出同名 KPI 的定义冲突。

    深度解读完整解读
  3. 攻击arXiv 2610.05601

    Tracer 框架可从遗忘后的扩散模型中识别被擦除概念

    提出 TRACER，从权重差识别扩散模型被擦除概念

    arXiv
    2610.05601
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    白盒
    被测模型
    Stable Diffusion v1.5、Stable Diffusion 3、FLUX.1 等 5 个
    摘要TRACER 用权重足迹识别未披露擦除概念并估计个数，作者称数秒内完成且准确率高于对照。

    TRACER 针对的是遗忘扩散模型上的目标识别：提供者从公开基座 W 用已发表方法擦掉未知集合 S⋆，只发布 W′。攻击者还有假定包含这些概念的词表，但不知擦了谁、擦了几个、用了什么算法。

    深度解读完整解读
  4. 攻击arXiv 2610.05453

    研究者提出 Privacy-Leaking Watermarks，可在本地多模态模型中泄露对话隐私

    提出 PLW，用微调把先前对话敏感触发编码进后续生成图像

    arXiv
    2610.05453
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    OmniGen2、BAGEL-7B

    摘要PLW 把先前对话线索写成后续图像中的隐水印，检出随触发、模型和间隔变化。

    深度解读完整解读
  5. 攻击arXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    提出 StegoMemory，评测智能体持久记忆作为跨会话隐写信道

    arXiv
    2610.04589
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个

    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    深度解读完整解读
  11. 评测与基准arXiv 2609.33481

    IDUnlearn-Bench：面向视觉语言模型的个体级遗忘基准

    提出 IDUnlearn-Bench，评测 VLM 个体级遗忘后的身份残留

    arXiv
    2609.33481
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen3-VL-2B、Qwen3-VL-4B、Qwen3-VL-8B 等 6 个
    摘要IDUnlearn-Bench 用四族探针显示：压低直接属性访问后，身份仍常能被反向查出、绑定或重构。

    IDUnlearn-Bench 评测 VLM 是否忘掉一个可跨模态识别的人，而不只是答不出某条监督事实。

    深度解读完整解读
  12. 防御arXiv 2609.27399

    GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别

    提出 GUARD，在零样本 TTS 上用激活转向遗忘说话人身份以阻止再识别

    arXiv
    2609.27399
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    CosyVoice2-0.5B、F5-TTS、FireRedTTS
    摘要GUARD 用门控激活转向把退出说话人推向冒充相似度，以抑制再识别并保住音质。

    GUARD 用门控激活转向做说话人身份遗忘，使零样本 TTS 对退出说话人难以再识别。

    深度解读完整解读
  16. 防御arXiv 2609.15671

    QPriv-VL：面向视觉语言模型的问题引导 token 裁剪隐私防御

    提出 QPriv-VL，用问题引导剪枝降低分布式视觉问答的隐私泄露

    arXiv
    2609.15671
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    LLaVA-1.5-7B、Llama-2
    摘要QPriv-VL 在切层前按问题相关度与 DINOv2 敏感度剪视觉 token，作者称能在约四成 token 下兼顾准确率与四类攻击。

    QPriv-VL 把问题引导的视觉 token 剪枝做成分布式 VQA 的客户端隐私防御，而不是只做集中式推理加速。

    深度解读完整解读
  17. 攻击arXiv 2609.13889

    PMPA：针对 OpenClaw 与 Claude Code 的持久记忆投毒攻击

    提出 PMPA，经外部源向 Agent 持久记忆投毒并跨会话泄露隐私

    arXiv
    2609.13889
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    DeepSeek-V4-Flash、DeepSeek-V4-Pro、Qwen3-Max

    摘要论文提出了持久记忆投毒攻击 PMPA，报告了 harness 智能体在处理外部数据时易受跨会话记忆投毒与隐私泄露的风险。

    深度解读完整解读
  19. 攻击arXiv 2609.01723

    研究者提出针对微调 TTS 模型的黑盒成员推断攻击

    提出针对微调 TTS 的黑盒成员推断攻击

    arXiv
    2609.01723
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    CosyVoice2、F5-TTS、XTTS-v2
    摘要黑盒 TTS 成员推断以 recitation 加分层语音表示为分数，说话人级强于记录级，DP-SGD 可压到随机附近。

    作者给出一个针对微调文本转语音模型的黑盒成员推断框架，分别审计说话人是否进入微调集，以及某一条文本–音频记录是否进入微调集。微调 TTS 以合成文本和参考语音双条件生成，既有生成模型 MIA 的单条件查询和图像/文本上的逐点比较不能直接套用。作者用 scorable extent 与 memorization elicitation 比较五种查询，认为只有 recitation（用目标转写和干净目标语音要求模型复现）同时满足两条，并把它作为主查询。

    深度解读完整解读
  20. 攻击arXiv 2608.05563

    研究者提出 PoisonedEvolution 轨迹投毒攻击

    提出 PoisonedEvolution 轨迹投毒，诱导自演化技能系统固化恶意行为

    arXiv
    2608.05563
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.4、MiniMax-M2.5、DeepSeek-V3.2 等 6 个
    摘要论文揭示自演化技能系统的证据晋升漏洞，提出并验证轨迹投毒攻击。

    这篇论文揭示了自演化技能系统在将交互经验转化为持久指令时的安全风险。

    深度解读完整解读
加载更多