跳到正文
10月8日 · 周四

Agent 安全 · 论文

找到 20 篇
筛选1

攻击类型

越狱1提示注入15投毒与后门1

攻击技术

梯度与表征优化1自动化搜索1跨模态载荷2潜伏触发2

模型自身风险

奖励作弊1Agent 危险操作1

防御类型

模型加固3检测与过滤1指令与数据隔离7权限与审批7

影响

越权操作13数据与隐私泄露2输出被操纵4监督失效1

系统形态

AI Agent20编程 Agent1网页与电脑操作10多智能体1

攻击面/入口

用户输入31网页与界面20文档与消息16工具返回33工具与技能描述27代码仓库与依赖15检索语料3记忆写入17Agent 间消息6图像与音视频7训练数据2权重与梯度3分发渠道16推理服务与硬件1

层

应用层20

系统组件

MCP 与技能3记忆1护栏与评审2监控器1权限与沙箱6视觉2多模态2

被测模型厂商

OpenAI14Qwen（阿里）12Anthropic8Google7Meta6其他10
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 386 篇还没打标签，不在筛选结果里。
攻击面/入口：网页与界面话题：Agent 安全清除全部

另有 386 篇论文还没打上分类标签，暂不在筛选结果里。

  4. 攻击arXiv:2604.02623 ·

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    网页与电脑操作测试GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个应用层
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    完整解读
  5. 攻击arXiv:2610.09240 ·

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    网页与电脑操作测试LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个应用层
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    完整解读
  6. 攻击arXiv:2605.12673 ·

    UC Berkeley 提出 BenchJack，自动审计 10 个 Agent 基准并发现 219 处奖励作弊缺陷

    提出 BENCHJACK，自动审计智能体基准的奖励作弊缺陷

    编程 Agent网页与电脑操作测试Claude Code、OpenAI Codex应用层
    摘要论文系统揭示了智能体基准的奖励作弊隐患，提出自动化红队审计与迭代修补系统 BENCHJACK。

    论文系统研究了主流 AI 智能体基准评测中的奖励作弊问题，提出了首个针对基准缺陷的自动化红队审计与生成对抗式迭代修补系统 BENCHJACK。

    完整解读
  13. 防御arXiv:2609.02786 ·

    SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架

    提出 SafeEvolve，用轨迹证据协同演化安全 harness 与策略

    AI Agent测试Qwen3.5-4B、Qwen3-4B-Instruct-2507、Qwen3.5-1.7B 等 4 个应用层
    摘要SafeEvolve 用轨迹证据协同更新安全 harness 和策略，在两个 4B 模型的智能体安全基准上改变安全与效用。

    SafeEvolve 把已完成的 on-policy 轨迹变成安全 harness 的有界更新，并用两阶段 SFT-RL 把这些更新内化进工具使用策略。

    完整解读
  17. 防御arXiv:2610.01349 ·

    PACE：面向工具调用 LLM Agent 的来源感知能力强制执行

    提出 PACE，在工具调用前对 Agent 做路径隔离与效果授权

    AI Agent测试gpt-5.6-luna、DeepSeek-V4-Flash、Qwen-3.8-27B应用层
    摘要PACE 在工具边界做路径割与效果核验。

    PACE 是面向工具调用型 LLM 智能体的运行时调解：当准入证据无法区分会改变行为的规格时，不在出口站点上撤销调解，而在最后一次工具调用前同时检查表示出的影响路径和请求权限。

    完整解读
  19. 攻击arXiv:2609.22510 ·

    特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

    提出爆炸提示词，用条件触发的间接注入延迟诱发恶意工具调用

    AI Agent测试Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct 等 14 个应用层
    摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。

    论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。

    完整解读
  20. 攻击arXiv:2609.33628 ·

    用课程强化学习对前沿模型做提示注入红队测试

    提出跨目标课程强化学习，生成间接提示注入以劫持智能体

    AI Agent测试Qwen3-4B-Instruct-2507、GPT-4o-mini、GPT-5-nano 等 14 个应用层
    摘要提出跨目标模型课程强化学习，攻破前沿模型冷启动瓶颈并实现跨模型迁移。

    该研究针对强化学习自动化提示注入红队在攻击前沿大模型时的冷启动问题，提出了一种基于目标模型鲁棒性递进的课程强化学习方法。

    完整解读
已经到底了