跳到正文
10月8日 · 周四

后门与投毒 · 论文

精选论文 18 篇
后门与投毒

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
  1. 评测/基准arXiv:2605.01970 · 59

    Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准

    论文提出 Trojan Hippo Bench，未防御时 Gemini 3.1 Pro 在 N=100 触发会话下 ASR 达 100%。

    • 100%Gemini 3.1 Pro、Context 后端、未防御、N=100 会话 ASR（Table 3）
    • 85%GPT-5-mini、Mem0 后端、未防御、N=100 会话 ASR（Table 3）
    • 0%Gemini 3.1 Pro、Provable policy (IFC)、全部后端 N=100 ASR（Table 3）
    6 问速览针对智能体持久化记忆面临的潜伏型间接提示注入攻击，现有研究缺乏跨异构内存架构与考虑防御效用代价的动态评测基准。

    1. 这篇论文试图解决什么问题？

      针对智能体持久化记忆面临的潜伏型间接提示注入攻击，现有研究缺乏跨异构内存架构与考虑防御效用代价的动态评测基准。

    2. 有哪些相关研究？

      论文梳理了间接提示注入与数据窃取、智能体内存投毒与并发研究，以及攻击防御机制与动态评测三类相关工作。

    3. 论文如何解决这个问题？

      提出 Trojan Hippo Bench，结合 OpenEvolve 自适应红队搜索演化攻击载荷，并在 4 种内存后端评估 4 种内存层防御与 7 种能力流。

    4. 论文做了哪些实验？

      在 Gemini 3.1 Pro、GPT-5-mini 和 GPT-5 上评估了不同内存后端的持久潜伏 ASR、4 种防御效果、效用权衡及跨模型迁移。

    5. 有什么可以进一步探索的点？

      作者指出了 IFC 污点洗白与隐蔽信道、GPT-5 红队成本及多智能体扩展等局限，实验覆盖 3 个模型与 4 种内存后端。

    6. 总结一下论文的主要内容

      论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。

    完整解读
  2. 评测/基准arXiv:2610.08540 · 55

    论文提出按风险类别测量的对齐缩放定律框架

    论文提出分风险对齐标度律，测得Pythia防御算力指数为0.60，Qwen2.5真实性与倾向纠错指数为-0.05与0.48。

    • 0.60Pythia分类器Spam任务GCG防御算力指数α(95%区间0.42–0.78)
    • -0.05Qwen2.5在0.5B–72B上真实性纠错算力指数α(95%区间-0.39至0.22)
    • 0.48Qwen2.5在0.5B–72B上陈述倾向纠错算力指数α(95%区间0.36至0.60)
    6 问速览论文试图解决对齐难度是否随模型规模增大而变化的问题，提出分风险对齐标度律框架与测量协议。

    1. 这篇论文试图解决什么问题？

      论文试图解决对齐难度是否随模型规模增大而变化的问题，提出分风险对齐标度律框架与测量协议。

    2. 有哪些相关研究？

      梳理了标度律与对齐税、过度优化与监督、潜伏非对齐等领域研究，指出尚无直接测量对齐负担标度律的工作。

    3. 论文如何解决这个问题？

      提出分风险对齐标度律定义与三种负担操作化，建立裕度与审计玩具模型，并制定预注册测量协议。

    4. 论文做了哪些实验？

      重分析与微调实验测得防御算力指数为0.35至0.60，可见风险呈现标度有益，但盲后门在多数尺寸存活。

    5. 有什么可以进一步探索的点？

      作者指出了玩具模型假设简化、未计入评估开销及二选一格式等局限，实验仅覆盖至72B密集模型与QLoRA微调。

    6. 总结一下论文的主要内容

      论文提出了分风险对齐标度律框架，测得真实性与倾向纠错呈标度有益，但盲后门仍存活，揭示隐藏风险的长期挑战。

    完整解读
  3. 评测/基准arXiv:2609.31342 · 55

    研究揭示过期文档投毒：RAG 检索可让模型放弃原本正确的答案

    研究者评测发现，陈旧证据检索会推翻模型正确回答，4个开源模型在医学的中毒率为66%–91%（Table 5）。

    • 90.6%Llama-3.1-70B在医学指令检索下的中毒率（58/64，Table 5）
    • 0.89GPT-5.5在医学子集单篇陈旧文档下的中毒率（74/83，Appendix O）
    • 1.00Qwen-72B在表格边界下的时间适用性差距（50/50次转换，Table 7）
    6 问速览论文研究陈旧检索文档推翻模型原本正确回答的陈旧文档中毒问题。

    1. 这篇论文试图解决什么问题？

      论文研究陈旧检索文档推翻模型原本正确回答的陈旧文档中毒问题。

    2. 有哪些相关研究？

      论文梳理了时序演变、知识冲突、可解释性与顺从性四类相关工作。

    3. 论文如何解决这个问题？

      论文构建多领域知识逆转基准，通过控制实验、因果修补与重排序进行分析与缓解。

    4. 论文做了哪些实验？

      论文在12个模型上完成基准评测，并开展了适用性控制、因果修补与防御实验。

    5. 有什么可以进一步探索的点？

      作者指出了逆转难度分离、因果评估场景与头部特异性等局限与后续方向。

    6. 总结一下论文的主要内容

      论文评测了陈旧检索推翻正确知识的中毒现象，并分析了其内部机制与防御局限。

    完整解读
已经到底了