跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 95 篇
筛选1

攻击类型

越狱9提示注入44投毒与后门18检测规避1恶意使用4

攻击技术

梯度与表征优化2自动化搜索6多轮渐进1编码与混淆7对话结构操控1推理链操控1跨模态载荷4针对防御3潜伏触发13诱导选用4

模型自身风险

欺骗与谋划10奖励作弊4失准与价值偏离9Agent 危险操作10危险能力2拒答失当3幻觉与编造1

防御类型

模型加固6推理时干预1检测与过滤4指令与数据隔离6权限与审批6监控与审计7

影响

有害内容4越权操作41数据与隐私泄露14输出被操纵15可用性与可靠性5监督失效10

系统形态

模型与 API4LLM 应用5AI Agent86编程 Agent27网页与电脑操作11多智能体12

攻击者权限

黑盒2白盒1

攻击面/入口

用户输入20网页与界面12文档与消息9工具返回20工具与技能描述15代码仓库与依赖9检索语料2记忆写入9Agent 间消息3图像与音视频6训练数据2权重与梯度2分发渠道9推理服务与硬件1

层

模型层5应用层85训练与数据层4基础设施层1

系统组件

MCP 与技能16记忆9RAG4护栏与评审6监控器13推理链2权限与沙箱10微调与开源权重3视觉8多模态8

被测模型厂商

OpenAI123Qwen（阿里）95Anthropic89Google73DeepSeek64Meta52智谱 GLM46Kimi（月之暗面）44xAI22Mistral19MiniMax16Microsoft11字节跳动7其他47
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 378 篇还没打标签，不在筛选结果里。
被测模型厂商：Qwen（阿里）话题：Agent 安全清除全部

另有 378 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv:2610.05532 ·

    DelegationBench 发布：Agent 判断该问用户时

    提出 DelegationBench，评测智能体该请示用户时是否实际询问

    AI Agent测试Qwen 3.6 27B、GPT-5.6 Sol、GPT-5.6 Terra 等 10 个应用层
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    完整解读
  5. 攻击arXiv:2604.02623 ·

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    网页与电脑操作测试Qwen2.5-VL-72B、Qwen3-VL-32B、Qwen3.5-122B-A10B 等 7 个应用层
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    完整解读
  6. 攻击arXiv:2610.09240 ·

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    网页与电脑操作测试Qwen2-VL-7B、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个应用层
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    完整解读
  8. 分析与理论arXiv:2610.04375 ·

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 协议与 IntAct，定位并修复工具调用执行路径的静默篡改

    编程 Agent测试qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等 4 个应用层

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    完整解读
  10. 分析与理论arXiv:2610.06191 ·

    研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

    分析检索智能体判定结果无用后仍不停止检索的整合失败

    AI Agent测试Qwen2.5-7B、Qwen3-8B、Qwen3-32B 等 7 个应用层
    摘要论文揭示智能体判定工具失效却无法转化为停止行动，证实通过框架规则强制整合判定可提升表现。

    本文针对智能体在工具静默失效时过度检索的问题，系统分析了判定、信念与停止行动之间的解耦现象，并提出了外部规则整合方案。

    完整解读
  11. 攻击arXiv:2610.07645 ·

    SkillPoison：用成功经验投毒自进化 Agent 的技能形成

    提出 SkillPoison，用局部有效的成功经验投毒自进化智能体的技能形成

    AI Agent测试Qwen V3.8 Flash、deepseek-v4-flash、GPT-5.5应用层
    摘要SkillPoison 通过局部有效且验证成功的经验诱导技能过度泛化，在多个评测基准上实现了持久的下游攻击影响。

    SkillPoison 提出了一种针对自进化智能体经验到技能形成过程的攻击范式，通过组织已验证的成功经验诱导技能过度泛化。

    完整解读
  15. 评测与基准arXiv:2610.04575 ·

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控从探针分数到告警策略的有效性

    AI Agent测试Qwen2.5-7B-Instruct、Qwen2.5-7B、Qwen-14B 等 4 个应用层
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    完整解读
  16. 攻击arXiv:2610.05793 ·

    研究者训练出按多智能体拓扑触发的代码后门模型

    微调植入拓扑条件后门，使代码模型在推断多智能体部署时插入隐蔽漏洞

    编程 Agent测试Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct训练与数据层

    摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。

    完整解读
  17. 防御arXiv:2610.05163 ·

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出 PAA 路径对齐归因，审计编程智能体边界动作前的分段提示注入

    编程 Agent测试Unified-Qwen3.5-4B (AgentDoG-1.5)、Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5) 等 7 个应用层
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    完整解读
  19. 可解释性arXiv:2610.04125 ·

    研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制

    揭示风险自述与实际行为由近正交表征分别控制

    模型与 API测试Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、OLMo-3-7B-Instruct 等 4 个模型层
    摘要论文证明大模型自述与行为脱节根植于表征近正交性，自述无法作为行为审计依据。

    这篇论文从内部表征与因果干预视角，系统研究了大语言模型在风险承担（Risk-Taking）场景下自我报告与实际决策脱节的根本机制。

    完整解读
  20. 防御arXiv:2610.05637 ·

    研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点

    提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口

    模型与 API测试Qwen3-VL-8B、Claude Sonnet 4.6、Gemini 3.5 Flash 等 5 个训练与数据层

    摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层，提出三成分微调方案有效弥合差距并保留定位能力，表征分析揭示了对齐机制。

    完整解读
加载更多