跳到正文
10月8日 · 周四

红队 · 论文

找到 20 篇
筛选3

攻击类型

越狱3提示注入7投毒与后门2检测规避1恶意使用1

攻击技术

自动化搜索4多轮渐进1编码与混淆1针对防御1潜伏触发2

模型自身风险

欺骗与谋划4危险能力4

防御类型

检测与过滤2监控与审计2

影响

有害内容28越权操作32数据与隐私泄露11输出被操纵8可用性与可靠性2监督失效5滥用能力提升4

系统形态

模型与 API2LLM 应用2AI Agent16编程 Agent11网页与电脑操作2多智能体1

攻击者权限

黑盒4

攻击面/入口

用户输入4网页与界面2文档与消息2工具返回3工具与技能描述2代码仓库与依赖2Agent 间消息1训练数据1权重与梯度1分发渠道1

层

提示层2应用层17训练与数据层1

系统组件

MCP 与技能4护栏与评审4监控器3权限与沙箱1微调与开源权重1

被测模型厂商

OpenAI16Anthropic13Qwen（阿里）9DeepSeek8智谱 GLM7Google6其他13
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 69 篇还没打标签，不在筛选结果里。
影响：数据与隐私泄露影响：监督失效影响：滥用能力提升话题：红队清除全部

另有 69 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  4. 分析与理论arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测编程智能体并检测技能注入攻击

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
  5. 攻击arXiv 2610.05793

    研究者训练出按多智能体拓扑触发的代码后门模型

    微调植入拓扑条件后门，使代码模型在推断多智能体部署时插入隐蔽漏洞

    arXiv
    2610.05793
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct

    摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。

    深度解读完整解读
  6. 攻击arXiv 2609.18217

    研究：跨通道碎片化攻击可绕过 MCP 单通道防御

    提出跨通道分段攻击，借 MCP 多通道隐式信任外发敏感数据

    arXiv
    2609.18217
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-4o、GPT-4o-mini、GPT-5.4 等 15 个

    摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。

    深度解读完整解读
  7. 防御arXiv 2608.06422

    CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用

    提出分片监督，将评判标准拆至独立调用以改善一致性并抵御展示攻击

    arXiv
    2608.06422
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    测试
    Claude Opus 4.8、Claude Sonnet 4.6、Claude Opus 4.6 等 5 个
    摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。

    本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。

    深度解读完整解读
  10. 攻击arXiv 2607.11698

    AHA 用自动研究循环发现生产 Agent 漏洞概念

    提出 AHA 自动科研循环，发现生产级智能体的可复用漏洞概念

    arXiv
    2607.11698
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    Minimax-M2.7、Kimi-K2.6、Deepseek-V4-Pro 等 5 个
    摘要论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。

    AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。

    深度解读完整解读
  12. 攻击arXiv 2610.00392

    A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型

    提出 A2A-TIBA 间接提示注入，诱导智能体部署常驻回调并外传数据

    arXiv
    2610.00392
    发表
    层
    应用层
    场景
    多智能体、编程 Agent
    测试
    MiniMax-M3、deepseek-v4-pro、glm-5.3 等 8 个
    摘要A2A-TIBA 一次植入后绕过智能体，GDA 用四类结果定位防线，ELA-ITL 把信封标注列为第三层。

    A2A-TIBA 把间接提示注入和绕过放进 A2A：gray-box 攻击者已能投递任务，诱导目标部署常驻回调程序后，下令和外传不再经过智能体。

    深度解读完整解读
  13. 评测与基准arXiv 2609.10594

    研究系统比较六种越狱评测器的可靠性

    比较多种越狱评审器与人工标签的一致性

    arXiv
    2609.10594
    发表
    层
    提示层
    场景
    模型与 API
    测试
    orcarouter/Qwen3.8-27B-Uncensored、Llama 2 13B、Vicuna 13B 等 7 个
    摘要共享骨干下六种评审器与人标的一致程度不同，JADES 的 F1 最高。

    这项测量比较的是越狱成功怎样被自动判定，不提出新的攻击。。

    深度解读完整解读
  14. 评测与基准arXiv 2609.08256

    ACEA：面向红蓝队对抗的 LLM 协同演化测试平台

    提出红蓝对抗评测平台 ACEA，分开计量攻击强度与防御效果

    arXiv
    2609.08256
    发表
    层
    提示层
    场景
    模型与 API
    测试
    openai/gpt-4o、google/gemini-2.5-pro、google/gemma-3-27b-it 等 5 个
    摘要ACEA 用 ASAP 让红蓝对同一目标对打。

    ACEA 是让可插拔红队和蓝队共享一个目标 LLM 的对打场地，把攻击强度和防御效果分开记分。作者要补三处空缺：双方只能对着固定对手分开练。LLM judge 分不清真实泄露和幻觉，拦截后又看不到攻击有多强。

    深度解读完整解读
  15. 攻击arXiv 2609.15383

    微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力

    arXiv
    2609.15383
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    GPT-5.5、Claude Opus 4.8、Grok-4.3 等 7 个

    摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。

    深度解读完整解读
  16. 评测与基准arXiv 2609.16541

    自主网络事件响应智能体的网络靶场评估

    评测仿真训练的网络事件响应智能体在靶场中阻止红队扩大访问的综合代价

    arXiv
    2609.16541
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Vejde、Vejde w/ Noise、Heuristic 等 4 个
    摘要靶场评测显示带噪声的仿真 RL 策略平均回报最高，但作者称离实用仍远。

    作者在给人训练用的靶场 Crate 里，评测仿真训练的自主网络入侵响应智能体。。

    深度解读完整解读
  17. 评测与基准arXiv 2609.19587

    红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器

    红队评估编码智能体的阻断监视器，并提出 Auto Mode++加固

    arXiv
    2609.19587
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Opus 5、Opus 4.8、Opus 4.7 等 8 个

    摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。

    深度解读完整解读
  19. 其他arXiv 2609.18120

    PentestChain：面向免费层 LLM 的成本感知 MCP 编排自动化渗透测试框架

    提出成本感知的 MCP 编排框架，用确定性利用图与免费层模型做自动化渗透测试

    arXiv
    2609.18120
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    qwen2.5:7b (Ollama, local)、OpenRouter (free-tier)、Cerebras (free-tier)
    摘要确定性利用图加免费层级联在十次自建运行上测得付费成本为零。

    PentestChain 是一个十阶段、经 MCP 暴露的自动渗透框架，用确定性利用图把 7B 本地模型挡在利用关键路径之外，并把每次交战的美元成本当作实测指标。。

    深度解读完整解读
已经到底了