跳到正文
10月9日 · 周五

全部论文

找到 22 篇
筛选7

攻击类型

提示注入9投毒与后门9提取与窃取2检测规避1

攻击技术

自动化搜索1编码与混淆1潜伏触发6诱导选用1

模型自身风险

失准与价值偏离2

防御类型

检测与过滤1指令与数据隔离1权限与审批2

影响

越权操作7数据与隐私泄露5输出被操纵4可用性与可靠性1监督失效1

系统形态

模型与 API5LLM 应用2AI Agent45编程 Agent6网页与电脑操作4多智能体7具身与机器人1

攻击者权限

白盒1

攻击面/入口

网页与界面2文档与消息3工具与技能描述2代码仓库与依赖2检索语料2记忆写入9Agent 间消息1图像与音视频1权重与梯度1分发渠道2推理服务与硬件1

层

模型层5应用层17

系统组件

MCP 与技能24记忆17RAG19护栏与评审73监控器45推理链40权限与沙箱16微调与开源权重42视觉55音频16视频4图像生成28嵌入5多模态98

被测模型厂商

OpenAI13Google11Qwen（阿里）11Anthropic7DeepSeek6其他16
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 432 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：LLM 应用系统形态：编程 Agent系统形态：网页与电脑操作系统形态：多智能体系统组件：记忆系统组件：嵌入清除全部

另有 432 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.25776

    EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

    提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

    arXiv
    2608.25776
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Devstral-Small-2、Gemma-4-31B-IT、Qwen3-Coder-Next 等 7 个

    摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞，提出 EVOMAL 攻击与防御，阐明了供应链新风险。

    深度解读完整解读
  2. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  4. 评测与基准arXiv 2608.04830

    ContextWeave：面向长周期办公工作流的智能体记忆基准

    提出办公工作流记忆基准 ContextWeave ，衡量历史召回对后续任务的增益

    arXiv
    2608.04830
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    DeepSeek-V4-Pro、GPT-5.5、GLM-5.1 等 5 个
    摘要ContextWeave 用真实办公任务流检验记忆是否改善工作区质量与偏好对齐。

    ContextWeave 是面向语言智能体记忆的纵向基准，用来看召回先前经验能否让后续办公任务做得更好。

    深度解读完整解读
  5. 攻击arXiv 2609.35576

    研究提出跨 LLM 助手的记忆跳跃攻击

    提出跨独立助手的工件介导记忆跳跃自传播攻击

    arXiv
    2609.35576
    发表
    层
    应用层
    场景
    多智能体
    测试
    GPT-5.6 Luna、Kimi-K2.6、GPT-OSS-120B 等 6 个
    摘要论文证实持久工件与内存可形成跨智能体传播链，揭示了将共享工件纳入安全防线的重要意义。

    该论文系统研究并量化了通过共享持久工件在具有独立私有内存的 LLM 智能体之间发生自传播的“工件介导传播”攻击风险。

    深度解读完整解读
  7. 评测与基准arXiv 2608.18066

    Salesforce AI Research 重测自改进 Agent

    重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

    arXiv
    2608.18066
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个
    摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。

    这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。

    深度解读完整解读
  9. 防御arXiv 2607.14737

    GeoDetect：面向视觉语言预训练模型的几何对抗检测方法

    提出 GeoDetect 以几何分数检测视觉语言预训练模型的对抗样本

    arXiv
    2607.14737
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    白盒
    测试
    CLIPViT (ViT-B/16)、CLIPCNN (ResNet-50)、ALBEF 等 4 个
    摘要GeoDetect 用几何分数检测 VLP 对抗样本。

    GeoDetect 是面向视觉-语言预训练模型的对抗样本检测方法，用嵌入几何而不是任务 logits 区分干净样本与对抗样本。

    深度解读完整解读
  11. 评测与基准arXiv 2607.14611

    论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

    评测编码智能体记忆文件中的提示注入及其跨会话持久性

    arXiv
    2607.14611
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
    摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。

    Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。

    深度解读完整解读
  13. 其他arXiv 2609.10144

    AIOS 的内核管理共享内存：面向系统级个性化的新抽象

    AI 导读研究提出"内核管理共享内存"，由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。

    arXiv
    2609.10144
    发表
    层
    应用层
    场景
    多智能体
    测试
    GPT-4o、Llama-3.1:8B、Qwen-2.5:7B
    摘要作者称内核集中管理记忆，能拿到无约束上下文的大部分个性化收益，并降低延迟。

    kernel-managed shared memory 把多智能体的检索、隐私和注入收进 agent-system kernel，并在 AIOS 上与三种替代方案比较。

    深度解读完整解读
  15. 可解释性arXiv 2609.06968

    通过稀疏自编码器特征追踪查询扩展效果

    用 SAE 追踪稠密检索查询扩展的潜变量并用激活转向验证

    arXiv
    2609.06968
    发表
    层
    模型层
    场景
    LLM 应用
    测试
    Qwen3-Embedding-0.6B（Qwen-Embed）、SimLM
    摘要SAE 追踪稠密检索 QE 的潜变量，转向在四基准上比文本扩展更稳。

    作者用稀疏自编码器分析稠密检索里的查询扩展：现成检索器不微调时，拼接扩展文本往往增益有限甚至变差，而最终指标和嵌入整体偏移不足以说明内部发生了什么。

    深度解读完整解读
  16. 可解释性arXiv 2609.09575

    MonoTM：用可解释单义特征做主题建模，超越关键词表示

    提出 MonoTM，用 SAE 单义特征估计文档主题混合并生成主题描述

    arXiv
    2609.09575
    发表
    层
    模型层
    场景
    模型与 API
    测试
    llama-embed-nemotron-8b、Gemma-3-27B-IT、Gemma-3-12B-IT
    摘要MonoTM 分开估计混合与解释主题，三套基准上二者偏好的 SAE 配置不同。

    MonoTM 是建在文档嵌入 SAE 上的可解释主题模型：混合估计用全部 SAE 特征，主题描述只用另一套配置里通过验证的语义特征。

    深度解读完整解读
  18. 评测与基准arXiv 2609.39473

    FAME：用反事实推理评测自主智能体的虚假记忆

    提出 FAME，用反事实概念漂移评测智能体虚假记忆

    arXiv
    2609.39473
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3B
    摘要FAME 用反事实引起的隐状态概念漂移，在出答案前区分忠实记忆与虚假记忆。

    FAME 是一个免训练的评测框架，用来判断自主智能体的记忆在虚假相关、环境偏移或知识冲突下是否已变成虚假记忆。。

    深度解读完整解读
  19. 攻击arXiv 2608.06862

    SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化

    提出 SYNCHAIN，诱导计算机使用 Agent 自合成潜伏技能并跨任务触发

    arXiv
    2608.06862
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 5 个

    摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁，验证了潜伏载荷的跨任务传播能力与防御局限。

    深度解读完整解读
  20. 评测与基准arXiv 2609.17320

    Emergence World：对长时程多智能体系统开展对抗压力测试

    构建 Emergence World，评测长时程多智能体对抗韧性与群体失效

    arXiv
    2609.17320
    发表
    层
    应用层
    场景
    多智能体
    测试
    Claude Opus 4.8、DeepSeek v4 Pro、Gemini 3.5 Flash 等 9 个

    摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。

    深度解读完整解读
加载更多