跳到正文
10月8日 · 周四

全部论文

找到 17 篇
筛选9

攻击类型

提示注入5投毒与后门5提取与窃取1

攻击技术

自动化搜索1编码与混淆2跨模态载荷1潜伏触发4

模型自身风险

奖励作弊1失准与价值偏离3Agent 危险操作2拒答失当1幻觉与编造1

防御类型

模型加固2检测与过滤1

影响

有害内容1越权操作7数据与隐私泄露2输出被操纵4监督失效1

系统形态

模型与 API4AI Agent13编程 Agent3网页与电脑操作1多智能体2

攻击面/入口

用户输入2文档与消息2工具返回1工具与技能描述1代码仓库与依赖1记忆写入6Agent 间消息1图像与音视频1训练数据1分发渠道1

层

模型层2应用层13训练与数据层2

系统组件

MCP 与技能10记忆12RAG2护栏与评审22监控器9推理链1权限与沙箱5微调与开源权重1视觉11音频5视频1图像生成2多模态16

被测模型厂商

OpenAI14Google10DeepSeek8Anthropic8Qwen（阿里）8Meta6xAI6其他14
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 701 篇还没打标签，不在筛选结果里。
系统组件：记忆系统组件：音频被测模型厂商：Meta被测模型厂商：智谱 GLM被测模型厂商：Kimi（月之暗面）被测模型厂商：Mistral被测模型厂商：MiniMax被测模型厂商：腾讯被测模型厂商：其他清除全部

另有 701 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性

    arXiv
    2610.04589
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama 3.1 405B、Mistral Large 2、Claude 3.5 Sonnet 等 13 个

    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    深度解读完整解读
  2. 评测与基准arXiv 2609.09404

    MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测智能体框架的多模态提示注入

    arXiv
    2609.09404
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama 4 Maverick、Claude Opus 4.8、GPT-5.4 等 6 个

    摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。

    深度解读完整解读
  4. 评测与基准arXiv 2609.08258

    研究实测五套 Agent 记忆系统均不执行撤销标记

    评测智能体记忆软撤回是否生效，并提出陈旧检索防护

    arXiv
    2609.08258
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GLM-5.2、Kimi-K2.6、GPT-5.5 等 9 个

    摘要系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞，证明写回会击穿现有防御，并提出读取端防护作为必要控制手段。

    深度解读完整解读
  5. 评测与基准arXiv 2607.05189

    研究者提出 MemGhost，对持久化个人 Agent 实现隐蔽记忆注入

    提出 MEMGHOST，以单封恶意邮件向持久个人智能体注入隐蔽记忆

    arXiv
    2607.05189
    发表
    层
    应用层
    场景
    AI Agent
    测试
    MiniMax-M2.5、GPT-5.4、Claude Sonnet 4.6 等 6 个
    摘要总结了论文的研究背景、双代理优化方法 MEMGHOST、全周期实验结果以及作者对记忆信任边界的启示。

    本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。

    深度解读完整解读
  6. 评测与基准arXiv 2607.10526

    PASB 基准：自改进个人 Agent 的持久谄媚在后续会话中失败率达 71.9%

    构建 PASB 评测自改进个人 Agent 的跨会话持久谄媚

    arXiv
    2607.10526
    发表
    层
    应用层
    场景
    AI Agent
    测试
    MiniMax-M2.7、GLM-5.1、GPT-5.5 等 12 个
    摘要PASB 显示一次被写入的主张会跨会话塑造回答，改笔记比只阻止写入更能降低后续失败。

    PASB 评测自改进个人智能体的持久谄媚：用户主张被智能体自己写入档案、记忆或技能后，新会话里的中立问题仍可能按它作答。

    深度解读完整解读
  8. 评测与基准arXiv 2609.35596

    SEABench：评测自演化智能体的内生失配

    提出 SEABench，评测无参数自进化智能体的内生失配

    arXiv
    2609.35596
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Kimi K2.5、Grok 4.3、GPT 5.6 Luna 等 4 个
    摘要SEABench 显示无参数自进化能提高任务完成，同时在配对未进化基线安全的下游任务上引入可归因的安全失败。

    SEABench 是一个面向个人助理、参数不更新的自进化智能体基准，用来测量局部适应如何变成后续任务上的内生失配。。

    深度解读完整解读
  9. 评测与基准arXiv 2609.35922

    VoxParity 评测：语音智能体在需要听声判断时仍按文字行事

    提出 VoxParity 基准，评测语音智能体是否按音频改变工具调用

    arXiv
    2609.35922
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Inkling、StepAudio 3、Voxtral Small 等 15 个
    摘要VoxParity 用固定转写的音频对比和 words-only null，测量语音智能体是否按所听内容改变工具调用。

    VoxParity 测量语音智能体在词语不变、只有声音改变时，是否按行业规则改它所执行的工具调用。

    深度解读完整解读
  10. 评测与基准arXiv 2609.39473

    FAME：用反事实推理评测自主智能体的虚假记忆

    提出 FAME，用反事实概念漂移评测智能体虚假记忆

    arXiv
    2609.39473
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3B
    摘要FAME 用反事实引起的隐状态概念漂移，在出答案前区分忠实记忆与虚假记忆。

    FAME 是一个免训练的评测框架，用来判断自主智能体的记忆在虚假相关、环境偏移或知识冲突下是否已变成虚假记忆。。

    深度解读完整解读
  11. 评测与基准arXiv 2609.36130

    论文提出 DerivAudit：审计长期 Agent 记忆是否真由交互历史支持

    提出 DERIVAUDIT，审计长期 Agent 记忆是否由交互历史支持

    arXiv
    2609.36130
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-3.3-70B-Instruct、Qwen3-30B-A3B、Gemma-4-31B
    摘要DERIVAUDIT 表明扩历史能补出处，但组合准入与过细检查仍两侧出错。

    DERIVAUDIT 审计长期智能体的持久记忆是否由写入时可获得的交互历史支持，而不是只看以后能否被召回。

    深度解读完整解读
  12. 评测与基准arXiv 2608.06862

    SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化

    提出 SYNCHAIN，以定向微调诱导智能体自合成跨任务潜伏工件

    arXiv
    2608.06862
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Llama-3.1-8B、Ministral-3-8B、Qwen3.5-9B 等 5 个

    摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁，验证了潜伏载荷的跨任务传播能力与防御局限。

    深度解读完整解读
  13. 评测与基准arXiv 2608.18607

    VA-Judger：面向联合视频-音频生成的人类偏好反馈奖励建模

    提出 VA-Judger，用人类偏好训练联合音视频奖励模型

    arXiv
    2608.18607
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    VA-Judger、LTX-2、LTX-2 + OmniNFT 等 6 个
    摘要VA-Judger 用易到难的人类偏好学习做联合音视频奖励，并用于 LTX-2 后训练。

    VA-Judger 是面向联合音视频生成的思维链全模态奖励模型，用来替代由分维度专家指标拼成的强化学习奖励。

    深度解读完整解读
  14. 评测与基准arXiv 2609.06991

    AV-SafetyBench：面向文本到音视频生成的安全基准

    提出 AV-SafetyBench 评测文生音视频模型的不安全生成

    arXiv
    2609.06991
    发表
    层
    模型层
    场景
    模型与 API
    测试
    LTX-2.3、Ovi-1.1、JavisDiT++ 等 7 个
    摘要AV-SafetyBench 用三视角评五个 T2AV 模型，显示只看视频会漏掉音频与联合风险。

    AV-SafetyBench 是面向文本生成音视频（T2AV）的安全基准：一条提示词同时规定画面和音频，评测同时看两轨以及它们的交互。作者要测的是，不安全含义不只出现在画面上：它可以主要由语音或声音承载，也可以只有两轨合起来才成立。T2VSafetyBench 不评音频，TTA-Bench 不评与画面的交互，作者认为二者都盖不住这些路径。

    深度解读完整解读
  15. 评测与基准arXiv 2609.17320

    Emergence World：对长时程多智能体系统开展对抗压力测试

    构建 Emergence World，评测长时程多智能体对抗韧性与群体失效

    arXiv
    2609.17320
    发表
    层
    应用层
    场景
    多智能体
    测试
    Mistral Medium 3.5、Claude Opus 4.8、DeepSeek v4 Pro 等 9 个

    摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。

    深度解读完整解读
已经到底了