跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 146 篇
筛选1

攻击类型

越狱10提示注入66投毒与后门30提取与窃取3检测规避1恶意使用5

攻击技术

梯度与表征优化1自动化搜索13多轮渐进1编码与混淆7对话结构操控1推理链操控1跨模态载荷5针对防御3潜伏触发19诱导选用7

模型自身风险

欺骗与谋划13奖励作弊8失准与价值偏离9Agent 危险操作17危险能力5拒答失当2幻觉与编造1

防御类型

模型加固5推理时干预1检测与过滤8指令与数据隔离13权限与审批18监控与审计10

影响

有害内容2越权操作65数据与隐私泄露26输出被操纵19可用性与可靠性5监督失效15滥用能力提升1

系统形态

LLM 应用6AI Agent140编程 Agent51网页与电脑操作14多智能体17

攻击者权限

黑盒5白盒1

攻击面/入口

用户输入29网页与界面20文档与消息16工具返回33工具与技能描述27代码仓库与依赖15检索语料3记忆写入17Agent 间消息6图像与音视频6训练数据1分发渠道14推理服务与硬件1

层

提示层1模型层6应用层146训练与数据层5基础设施层1

系统组件

MCP 与技能33记忆21RAG5护栏与评审7监控器18推理链1权限与沙箱27视觉6音频1多模态6

被测模型厂商

OpenAI115Anthropic84Qwen（阿里）83Google63DeepSeek60Meta46Kimi（月之暗面）42智谱 GLM41xAI21Mistral17MiniMax15Microsoft10其他35
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 386 篇还没打标签，不在筛选结果里。
层：应用层话题：Agent 安全清除全部

另有 386 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv:2610.05532 ·

    DelegationBench 发布：Agent 判断该问用户时

    提出 DelegationBench，评测智能体该请示用户时是否实际询问

    AI Agent测试GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna 等 10 个应用层
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    完整解读
  7. 攻击arXiv:2604.02623 ·

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    网页与电脑操作测试GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个应用层
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    完整解读
  9. 攻击arXiv:2610.09240 ·

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    网页与电脑操作测试LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个应用层
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    完整解读
  10. 风险行为arXiv:2609.32701 ·

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    揭示前沿智能体在禁止泄露时自发建立隐蔽信道传递机密

    多智能体测试GPT-5.6 Sol、Terra、Luna 等 6 个应用层
    摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。

    论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。

    完整解读
  12. 攻击arXiv:2605.12673 ·

    UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷

    提出 BENCHJACK，自动审计智能体基准的奖励作弊缺陷

    编程 Agent网页与电脑操作测试Claude Code、OpenAI Codex应用层
    摘要论文系统揭示了智能体基准的奖励作弊隐患，提出自动化红队审计与迭代修补系统 BENCHJACK。

    论文系统研究了主流 AI 智能体基准评测中的奖励作弊问题，提出了首个针对基准缺陷的自动化红队审计与生成对抗式迭代修补系统 BENCHJACK。

    完整解读
  14. 分析与理论arXiv:2610.04375 ·

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 协议与 IntAct，定位并修复工具调用执行路径的静默篡改

    编程 Agent测试qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等 4 个应用层

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    完整解读
  17. 评测与基准arXiv:2610.07359 ·

    论文实测 Agent 工具调用门控栈的失败相关性

    提出 nmult 指标，测量智能体动作门禁堆叠的错误相关性与等效层数

    AI Agent测试GPT-5.5 (gpt55)、claude-haiku-4-5-20251001、claude-sonnet-5 等 6 个应用层
    摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。

    论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。

    完整解读
  20. 分析与理论arXiv:2610.06191 ·

    研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

    分析检索智能体判定结果无用后仍不停止检索的整合失败

    AI Agent测试Qwen2.5-7B、Llama-3.1-8B、Qwen3-8B 等 7 个应用层
    摘要论文揭示智能体判定工具失效却无法转化为停止行动，证实通过框架规则强制整合判定可提升表现。

    本文针对智能体在工具静默失效时过度检索的问题，系统分析了判定、信念与停止行动之间的解耦现象，并提出了外部规则整合方案。

    完整解读
加载更多