跳到正文
10月8日 · 周四

红队 · 论文

找到 18 篇
筛选3

攻击类型

越狱3提示注入12投毒与后门2检测规避1恶意使用1

攻击技术

梯度与表征优化2自动化搜索6编码与混淆1跨模态载荷6潜伏触发1

防御类型

检测与过滤2监控与审计1

影响

有害内容2越权操作12数据与隐私泄露3监督失效1

系统形态

模型与 API2LLM 应用1AI Agent15编程 Agent7网页与电脑操作3多智能体1具身与机器人1

攻击者权限

黑盒4

攻击面/入口

用户输入31网页与界面8文档与消息6工具返回14工具与技能描述13代码仓库与依赖8检索语料1记忆写入5Agent 间消息3图像与音视频6训练数据3权重与梯度2分发渠道6

层

提示层3应用层15

系统组件

MCP 与技能3记忆1护栏与评审2监控器1权限与沙箱1视觉5音频1视频1多模态6

被测模型厂商

OpenAI14Anthropic11Qwen（阿里）11智谱 GLM6DeepSeek5Google5其他10
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 84 篇还没打标签，不在筛选结果里。
攻击面/入口：文档与消息攻击面/入口：代码仓库与依赖攻击面/入口：图像与音视频话题：红队清除全部

另有 84 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  4. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出 PAA 路径对齐归因，审计编程智能体边界动作前的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  5. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  6. 评测与基准arXiv 2610.03153

    EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

    提出 EvoRiskBench，评测工作区智能体的运行时安全风险

    arXiv
    2610.03153
    发表
    层
    应用层
    场景
    编程 Agent、多智能体
    测试
    GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5

    摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。

    深度解读完整解读
  7. 评测与基准arXiv 2609.09404

    MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测智能体框架的多模态提示注入

    arXiv
    2609.09404
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等 6 个

    摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。

    深度解读完整解读
  8. 评测与基准arXiv 2608.09476

    ActBench：面向协作智能体行为安全的自演化基准

    构建 ActBench 评测协作智能体多步执行中的操作级行为安全

    arXiv
    2608.09476
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude-Opus-4.8、Claude-Sonnet-4.6、GPT-5.5 等 15 个

    摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。

    深度解读完整解读
  9. 防御arXiv 2608.06422

    CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用

    提出分片监督，将评判标准拆至独立调用以改善一致性并抵御展示攻击

    arXiv
    2608.06422
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    测试
    Claude Opus 4.8、Claude Sonnet 4.6、Claude Opus 4.6 等 5 个
    摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。

    本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。

    深度解读完整解读
  12. 攻击arXiv 2608.10393

    DURA：用扩散模型生成自然对抗补丁攻击 VLA 机器人模型

    提出 DURA，沿扩散潜空间生成自然对抗补丁以劫持 VLA 机器人动作

    arXiv
    2608.10393
    发表
    层
    提示层
    场景
    具身与机器人
    测试
    OpenVLA-7B、π0-FAST、openvla-7B
    摘要DURA 用扩散潜空间轨迹生成自然补丁，白盒与黑盒都能把 VLA 导向指定动作。

    DURA 是针对 VLA 的扩散式、补丁内容不受限的机器人攻击，同时支持白盒梯度和只看动作输出的黑盒。

    深度解读完整解读
  16. 攻击arXiv 2609.22510

    特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent

    提出爆炸提示词，用条件触发的间接注入延迟诱发恶意工具调用

    arXiv
    2609.22510
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct 等 14 个
    摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。

    论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。

    深度解读完整解读
  18. 评测与基准arXiv 2609.35912

    MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

    构建多模态技能图像攻击基准 MMSkillRisk 并设计 NCVA

    arXiv
    2609.35912
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-5.6-sol、Kimi-K2.6、Kimi-K3 等 6 个

    摘要论文提出 MMSkillRisk 基准与 NCVA 攻击，揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。

    深度解读完整解读
已经到底了