跳到正文
10月8日 · 周四

红队 · 论文

找到 33 篇
筛选3

攻击类型

越狱2提示注入16投毒与后门8检测规避2恶意使用2

攻击技术

梯度与表征优化1自动化搜索5多轮渐进2编码与混淆3角色扮演与说服1跨模态载荷2针对防御4潜伏触发4

模型自身风险

欺骗与谋划3失准与价值偏离1Agent 危险操作1危险能力4

防御类型

模型加固1检测与过滤3指令与数据隔离1权限与审批1监控与审计2

影响

有害内容1越权操作15数据与隐私泄露8输出被操纵2监督失效3滥用能力提升4

系统形态

模型与 API21LLM 应用2AI Agent55编程 Agent26网页与电脑操作6多智能体4具身与机器人2

攻击者权限

黑盒4白盒1

攻击面/入口

用户输入5网页与界面5文档与消息2工具返回5工具与技能描述11代码仓库与依赖6记忆写入3Agent 间消息2图像与音视频2训练数据2权重与梯度1分发渠道5

层

应用层32训练与数据层1

系统组件

MCP 与技能12记忆3护栏与评审5监控器4权限与沙箱3微调与开源权重1视觉2多模态2

被测模型厂商

OpenAI25Anthropic25Qwen（阿里）22DeepSeek17智谱 GLM13Kimi（月之暗面）12Google10MiniMax7其他15
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 84 篇还没打标签，不在筛选结果里。
系统形态：LLM 应用系统形态：编程 Agent系统形态：网页与电脑操作话题：红队清除全部

另有 84 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  3. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  6. 分析与理论arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测编程智能体并检测技能注入攻击

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
  7. 攻击arXiv 2610.05793

    研究者训练出按多智能体拓扑触发的代码后门模型

    微调植入拓扑条件后门，使代码模型在推断多智能体部署时插入隐蔽漏洞

    arXiv
    2610.05793
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct

    摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。

    深度解读完整解读
  8. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出 PAA 路径对齐归因，审计编程智能体边界动作前的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  9. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  10. 评测与基准arXiv 2610.03153

    EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

    提出 EvoRiskBench，评测工作区智能体的运行时安全风险

    arXiv
    2610.03153
    发表
    层
    应用层
    场景
    编程 Agent、多智能体
    测试
    GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5

    摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。

    深度解读完整解读
  11. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA 双 LLM 架构，防御计算机使用智能体的分支转向攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
  12. 攻击arXiv 2609.18217

    研究：跨通道碎片化攻击可绕过 MCP 单通道防御

    提出跨通道分段攻击，借 MCP 多通道隐式信任外发敏感数据

    arXiv
    2609.18217
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-4o、GPT-4o-mini、GPT-5.4 等 15 个

    摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。

    深度解读完整解读
  13. 攻击arXiv 2609.39607

    Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器

    提出 PRETEXT，迭代改写技能文本以绕过扫描并执行木马行为

    arXiv
    2609.39607
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    白盒
    测试
    glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507)、gpt-oss (openai/gpt-oss-120b) 等 4 个
    摘要论文提出了针对多阶段技能检测器的白盒攻击，揭示了单纯依赖大模型自适应检测的局限。

    PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。

    深度解读完整解读
  14. 评测与基准arXiv 2608.09476

    ActBench：面向协作智能体行为安全的自演化基准

    构建 ActBench 评测协作智能体多步执行中的操作级行为安全

    arXiv
    2608.09476
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude-Opus-4.8、Claude-Sonnet-4.6、GPT-5.5 等 15 个

    摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。

    深度解读完整解读
  15. 防御arXiv 2608.06422

    CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用

    提出分片监督，将评判标准拆至独立调用以改善一致性并抵御展示攻击

    arXiv
    2608.06422
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    测试
    Claude Opus 4.8、Claude Sonnet 4.6、Claude Opus 4.6 等 5 个
    摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。

    本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。

    深度解读完整解读
  17. 评测与基准arXiv 2609.19892

    ClashBench：研究者发现 Agent 为抢占资源破坏既有任务

    提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务

    arXiv
    2609.19892
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude-Sonnet-5、DeepSeek-V4-Flash-0731、GLM-4.7 等 15 个

    摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。

    深度解读完整解读
  19. 攻击arXiv 2607.11698

    AHA 用自动研究循环发现生产 Agent 漏洞概念

    提出 AHA 自动科研循环，发现生产级智能体的可复用漏洞概念

    arXiv
    2607.11698
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    Minimax-M2.7、Kimi-K2.6、Deepseek-V4-Pro 等 5 个
    摘要论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。

    AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。

    深度解读完整解读
加载更多