跳到正文
10月10日 · 周六

全部论文

找到 18 篇
筛选4

攻击类型

提示注入8投毒与后门7提取与窃取6

攻击技术

潜伏触发6

防御类型

模型加固3

影响

有害内容20越权操作42数据与隐私泄露18输出被操纵44可用性与可靠性10

系统形态

模型与 API7AI Agent11

攻击面/入口

用户输入50网页与界面3文档与消息8工具返回7工具与技能描述9代码仓库与依赖3记忆写入8Agent 间消息5图像与音视频9训练数据7权重与梯度12分发渠道8推理服务与硬件3

层

应用层11训练与数据层5

系统组件

记忆7微调与开源权重3
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 201 篇还没打标签，不在筛选结果里。
影响：数据与隐私泄露攻击面/入口：网页与界面攻击面/入口：记忆写入攻击面/入口：训练数据清除全部

另有 201 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 防御arXiv 2610.06636

    差分隐私混合公共数据集提升隐私学习效果

    提出 DP-MixMin，私有学习公开数据混合并做差分隐私微调

    arXiv
    2610.06636
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    ResNet-18、GPT-2 Medium
    摘要DP-MixMin 私下学公开混合再 DP 微调，胸片 macro AUC 与邮件困惑度优于均匀混合。

    DP-MixMin 是一条端到端的差分隐私训练流程：先私下决定多个公开数据集的预训练混合，再预训练并在敏感数据上 DP 微调。作者称这是首个这样的流程。

    深度解读完整解读
  3. 攻击arXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    提出 StegoMemory，评测智能体持久记忆作为跨会话隐写信道

    arXiv
    2610.04589
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个

    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    深度解读完整解读
  4. 防御arXiv 2610.04426

    UnAct：无需梯度的定向激活干预实现类别遗忘

    提出 UnAct，仅以前向激活干预从分类器中遗忘指定类别

    arXiv
    2610.04426
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    ResNet-18、ViT-B/16
    摘要UnAct 用前向激活做类别遗忘。

    UnAct 是一种事后类别遗忘：删除请求可以只有少量该类图像，且没有标签和保留数据。它不用梯度，只对遗忘图像做前向。编辑对象是分类器所读的后期单元。

    深度解读完整解读
  6. 攻击arXiv 2610.01365

    ReGap：无需真实隐私数据即可通过微调重新提取模型隐私关联

    提出 ReGap，用自生成伪监督微调恢复模型中的隐私关联

    arXiv
    2610.01365
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒、灰盒
    被测模型
    GPT-2 Small、GPT-2 Medium、GPT-2 Large 等 6 个

    摘要提出无真实私有监督的恢复攻击 ReGap，实验显示微调可通过自生成数据唤醒模型潜在隐私关联，突显后适应隐私风险。

    深度解读完整解读
  7. 防御arXiv 2610.00371

    FlowReview：以授权配对评测控制多智能体组合信息流

    提出 FlowReview，用授权配对与确定性提交门控控制多智能体组合信息流

    arXiv
    2610.00371
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Sonnet 4.5、Haiku 4.5、Qwen3-32B 等 5 个
    摘要配对标准要求拒绝禁止使用并完成授权使用，FlowReview 把三项审查接到执行。

    这篇工作把多智能体安全写成一件必须同时成立的事：拦住组合信息所启用的禁止使用，并完成同一场景里任务所需的授权使用。

    深度解读完整解读
  8. 防御arXiv 2609.37858

    存储不等于策略：面向 LLM 遗忘的状态条件支持控制

    提出 Intervention Score 与 DIR-R，按干预效果选择并修订遗忘参数支持

    arXiv
    2609.37858
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Llama 3 8B、Gemma 2 2B、Qwen2.5-7B 等 4 个
    摘要作者把局部化遗忘拆成初始干预选择和检查点修订，并在三个设置里分别给证据和边界。

    Storage Is Not Strategy 研究局部化 LLM 遗忘里两个常被混在一起的决定：一开始该更新哪些参数，以及优化改变模型之后这个选择要不要改。

    深度解读完整解读
  11. 攻击arXiv 2609.33985

    研究：众包微调数据投毒可放大专有指令抽取

    提出主题锚点投毒，放大众包微调后的专有指令提取

    arXiv
    2609.33985
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct、Llama-3.1-8B-Instruct 等 4 个

    摘要论文提出基于主题锚点的数据中毒攻击，证明低比例的中毒样本可在黑盒条件下隐蔽放大微调指令泄漏。

    深度解读完整解读
  13. 攻击arXiv 2608.05563

    研究者提出 PoisonedEvolution 轨迹投毒攻击

    提出 PoisonedEvolution 轨迹投毒，诱导自演化技能系统固化恶意行为

    arXiv
    2608.05563
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.4、MiniMax-M2.5、DeepSeek-V3.2 等 6 个
    摘要论文揭示自演化技能系统的证据晋升漏洞，提出并验证轨迹投毒攻击。

    这篇论文揭示了自演化技能系统在将交互经验转化为持久指令时的安全风险。

    深度解读完整解读
  14. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，以网页弹窗诱导 Web Agent 提交敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    web agent
    被测模型
    GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  15. 评测与基准arXiv 2607.14611

    论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

    评测编码 Agent 记忆文件中提示注入的跨会话影响

    arXiv
    2607.14611
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
    摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。

    Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。

    深度解读完整解读
  16. 防御arXiv 2607.13336

    TC-UAP：针对图像转视频与微调定制的通用视频保护方法

    提出 TC-UAP，用身份级多帧扰动保护视频免被定制复现身份

    arXiv
    2607.13336
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    LTX-2.3、Wan2.2-5B
    摘要TC-UAP 以可复用的时间一致扰动干扰两类定制共用的 VAE 隐空间。

    作者要解决的是：发布前如何给视频加不可见扰动，使片段既不能被拿去微调视频扩散模型，也不能被抽帧做 image-to-video。

    深度解读完整解读
  17. 攻击arXiv 2606.09084

    研究者提出 Context-Fractured Decomposition 攻击

    提出 CFD 跨会话分解攻击，利用工件来源缺口绕过工具型 Agent 的本地检查

    arXiv
    2606.09084
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-4.1、GPT-5-nano、Claude-3.5-Sonnet 等 6 个
    摘要CFD 用无指令 artifact 把越狱拆到跨会话。

    CFD针对工具型 LLM 智能体：利用 artifact 来源不被跟踪这一部署失败模式，把有害目标拆开后延迟组合。

    深度解读完整解读
  18. 评测与基准arXiv 2605.01970

    Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准

    构建 Trojan Hippo Bench，评测 Agent 持久记忆投毒与外泄

    arXiv
    2605.01970
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Gemini 3.1 Pro、GPT-5-mini、GPT-5

    摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。

    深度解读完整解读
已经到底了