跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 25 篇
筛选3

攻击类型

越狱1提示注入16投毒与后门4恶意使用2

攻击技术

自动化搜索3编码与混淆1潜伏触发6诱导选用1

模型自身风险

欺骗与谋划2奖励作弊2失准与价值偏离2Agent 危险操作1

防御类型

检测与过滤1指令与数据隔离1权限与审批1监控与审计1

影响

越权操作14数据与隐私泄露6输出被操纵2监督失效3

系统形态

LLM 应用1AI Agent24编程 Agent13网页与电脑操作2多智能体8

攻击者权限

黑盒1

攻击面/入口

用户输入42网页与界面25文档与消息28工具返回50工具与技能描述32代码仓库与依赖16检索语料8记忆写入23Agent 间消息10图像与音视频6训练数据1权重与梯度1分发渠道18推理服务与硬件1

层

应用层25

系统组件

MCP 与技能5记忆4RAG1护栏与评审2监控器3权限与沙箱8

被测模型厂商

OpenAI17Anthropic15Qwen（阿里）13DeepSeek9智谱 GLM9Meta6Kimi（月之暗面）6Google5其他10
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 307 篇还没打标签，不在筛选结果里。
攻击面/入口：代码仓库与依赖攻击面/入口：Agent 间消息层：应用层话题：Agent 安全清除全部

另有 307 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 攻击arXiv 2605.12673

    UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷

    提出 BENCHJACK，自动审计智能体基准的奖励作弊缺陷

    arXiv
    2605.12673
    发表
    层
    应用层
    场景
    编程 Agent、网页与电脑操作
    测试
    Claude Code、OpenAI Codex
    摘要论文系统揭示了智能体基准的奖励作弊隐患，提出自动化红队审计与迭代修补系统 BENCHJACK。

    论文系统研究了主流 AI 智能体基准评测中的奖励作弊问题，提出了首个针对基准缺陷的自动化红队审计与生成对抗式迭代修补系统 BENCHJACK。

    深度解读完整解读
  5. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出 PAA 路径对齐归因，审计编程智能体边界动作前的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  6. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  7. 评测与基准arXiv 2610.03153

    EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

    提出 EvoRiskBench，评测工作区智能体的运行时安全风险

    arXiv
    2610.03153
    发表
    层
    应用层
    场景
    编程 Agent、多智能体
    测试
    GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5

    摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。

    深度解读完整解读
  8. 评测与基准arXiv 2608.09476

    ActBench：面向协作智能体行为安全的自演化基准

    构建 ActBench 评测协作智能体多步执行中的操作级行为安全

    arXiv
    2608.09476
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude-Opus-4.8、Claude-Sonnet-4.6、GPT-5.5 等 15 个

    摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。

    深度解读完整解读
  13. 评测与基准arXiv 2607.14611

    论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

    评测编码智能体记忆文件中的提示注入及其跨会话持久性

    arXiv
    2607.14611
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
    摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。

    Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。

    深度解读完整解读
  14. 攻击arXiv 2609.02774

    CodePoisonRAG：针对检索增强代码生成的知识投毒攻击

    提出 CodePoisonRAG，对检索增强代码生成的知识库投毒以植入漏洞

    arXiv
    2609.02774
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    Qwen 3.5 9B、Code Llama 13B、DeepSeek-Coder-V2 16B 等 4 个

    摘要CodePoisonRAG 展示了 RACG 外部知识库的新攻击面，在较低投毒率下可定向诱发指定漏洞并部分抵御防御。

    深度解读完整解读
  15. 攻击arXiv 2610.00392

    A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型

    提出 A2A-TIBA 间接提示注入，诱导智能体部署常驻回调并外传数据

    arXiv
    2610.00392
    发表
    层
    应用层
    场景
    多智能体、编程 Agent
    测试
    MiniMax-M3、deepseek-v4-pro、glm-5.3 等 8 个
    摘要A2A-TIBA 一次植入后绕过智能体，GDA 用四类结果定位防线，ELA-ITL 把信封标注列为第三层。

    A2A-TIBA 把间接提示注入和绕过放进 A2A：gray-box 攻击者已能投递任务，诱导目标部署常驻回调程序后，下令和外传不再经过智能体。

    深度解读完整解读
  16. 攻击arXiv 2609.28900

    Codetta：面向独立部署 LLM 智能体的高容量无密钥隐蔽串谋协议

    提出 CODETTA 隐写框架，使多智能体在审计下隐蔽传载荷

    arXiv
    2609.28900
    发表
    层
    应用层
    场景
    多智能体
    测试
    Qwen2.5-7B、Llama-3.1-8B、Ministral-3-8B 等 8 个

    摘要提出非对称免密钥隐写框架 CODETTA，实现高容量不可区分通信，指出被动审计面临失效风险。

    深度解读完整解读
  17. 防御arXiv 2609.39297

    MiniRep：面向多智能体辩论的鲁棒声誉聚合方法

    提出 MiniRep，按当前质量、风险与历史声誉聚合多智能体辩论

    arXiv
    2609.39297
    发表
    层
    应用层
    场景
    多智能体
    测试
    七个 API 可访问 LLM 组成的十智能体池（论文按数据集单独排名为 strong/weak，正文未列出模型名）、1.5B semantic verifier
    摘要MiniRep 用当前提案证据校准历史声誉并限制克隆组，MATH 上平均准确率高于基线，其他任务有反例。

    MiniRep 是面向恶意智能体的 MAD 声誉聚合，只作用在 Decide 阶段。

    深度解读完整解读
  19. 评测与基准arXiv 2609.32616

    Cave-Bench：虚假指控下 LLM 智能体最高 60.06% 的运行会破坏正确工作

    提出 CAVE-BENCH，评测智能体遭虚假指责后是否破坏已正确的工作

    arXiv
    2609.32616
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude-Sonnet-5、Claude-Opus-5、GPT-5.6-Sol 等 14 个

    摘要论文提出了评估智能体在虚假指责下破坏已有正确成果的 CAVE-BENCH，发现强模型易推翻已知证据，提出了门控缓解方案。

    深度解读完整解读
  20. 评测与基准arXiv 2609.32635

    TrustFork：显示身份如何劫持 LLM 智能体编排的权限

    提出 TRUSTFORK，评测展示身份如何劫持多智能体编排的操作权限

    arXiv
    2609.32635
    发表
    层
    应用层
    场景
    多智能体
    测试
    GPT-5.6-Sol、GPT-5.6-Luna、Kimi-K3 等 8 个

    摘要论文提出了多智能体安全基准 TRUSTFORK，揭示展示身份如何劫持操作权威，并证明事后验证无法弥补已发生的执行破坏。

    深度解读完整解读
加载更多