跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 158 篇
筛选2

攻击类型

越狱11提示注入68投毒与后门30提取与窃取3检测规避1恶意使用5

攻击技术

梯度与表征优化2自动化搜索13多轮渐进1编码与混淆7对话结构操控1推理链操控1跨模态载荷5针对防御3潜伏触发20诱导选用7

模型自身风险

欺骗与谋划14奖励作弊11失准与价值偏离10Agent 危险操作18危险能力5拒答失当2幻觉与编造2

防御类型

模型加固6推理时干预1检测与过滤9指令与数据隔离13权限与审批19监控与审计11水印与溯源1

影响

有害内容2越权操作67数据与隐私泄露26输出被操纵22可用性与可靠性6监督失效18滥用能力提升1

系统形态

模型与 API1LLM 应用7AI Agent150编程 Agent55网页与电脑操作14多智能体18

攻击者权限

黑盒5白盒1

攻击面/入口

用户输入31网页与界面20文档与消息17工具返回34工具与技能描述27代码仓库与依赖15检索语料3记忆写入17Agent 间消息6图像与音视频7训练数据1分发渠道14推理服务与硬件1

层

提示层1模型层7应用层157训练与数据层6基础设施层1

系统组件

MCP 与技能33记忆21RAG5护栏与评审8监控器20推理链2权限与沙箱29视觉7音频1多模态7

被测模型厂商

OpenAI120Qwen（阿里）87Anthropic86Google66DeepSeek63Meta47智谱 GLM44Kimi（月之暗面）44xAI21Mistral17MiniMax15Microsoft10字节跳动5其他39
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 389 篇还没打标签，不在筛选结果里。
层：应用层层：基础设施层话题：Agent 安全清除全部

另有 389 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv 2610.05532

    DelegationBench

    提出 DelegationBench，评测智能体该请示用户时是否实际询问

    arXiv
    2610.05532
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna 等 10 个
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    深度解读完整解读
  3. 防御arXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出基于 MonPoly 的时序逻辑监控，离线检出工具智能体危险动作链

    arXiv
    2610.09793
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-4o、Sonnet-3.5
    摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    深度解读完整解读
  6. 防御arXiv 2609.11757

    研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

    提出 A-VIP，将购物意图绑定到支付授权以阻断商户文本操控

    arXiv
    2609.11757
    发表
    层
    应用层
    场景
    AI Agent
    测试
    gemini-2.5-flash-lite、gemini-3.1-flash-lite、gemini-3-flash-preview 等 15 个

    摘要论文揭示了 AP2 协议决策层受操纵的风险，提出结构化与权能绑定防御 A-VIP，并发布评测基准。

    深度解读完整解读
  7. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  8. 评测与基准arXiv 2605.01970

    Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准

    提出 Trojan Hippo Bench，评测智能体持久记忆攻击与防御

    arXiv
    2605.01970
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Gemini 3.1 Pro、GPT-5-mini、GPT-5

    摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。

    深度解读完整解读
  9. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  10. 风险行为arXiv 2609.32701

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    揭示前沿智能体在禁止泄露时自发建立隐蔽信道传递机密

    arXiv
    2609.32701
    发表
    层
    应用层
    场景
    多智能体
    测试
    GPT-5.6 Sol、Terra、Luna 等 6 个
    摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。

    论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。

    深度解读完整解读
  11. 攻击arXiv 2610.09027

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

    arXiv
    2610.09027
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B 等 4 个

    摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。

    深度解读完整解读
  13. 攻击arXiv 2605.12673

    UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷

    提出 BENCHJACK，自动审计智能体基准的奖励作弊缺陷

    arXiv
    2605.12673
    发表
    层
    应用层
    场景
    编程 Agent、网页与电脑操作
    测试
    Claude Code、OpenAI Codex
    摘要论文系统揭示了智能体基准的奖励作弊隐患，提出自动化红队审计与迭代修补系统 BENCHJACK。

    论文系统研究了主流 AI 智能体基准评测中的奖励作弊问题，提出了首个针对基准缺陷的自动化红队审计与生成对抗式迭代修补系统 BENCHJACK。

    深度解读完整解读
  14. 评测与基准arXiv 2605.16626

    Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

    提出 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

    arXiv
    2605.16626
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个

    摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。

    深度解读完整解读
  15. 分析与理论arXiv 2610.04375

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 协议与 IntAct，定位并修复工具调用执行路径的静默篡改

    arXiv
    2610.04375
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等 4 个

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    深度解读完整解读
  18. 评测与基准arXiv 2610.07359

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 指标，测量智能体动作门禁堆叠的错误相关性与等效层数

    arXiv
    2610.07359
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-5.5 (gpt55)、claude-haiku-4-5-20251001、claude-sonnet-5 等 6 个
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    深度解读完整解读
  20. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
加载更多