跳到正文
10月8日 · 周四

红队 · 论文

找到 24 篇
筛选3

攻击类型

越狱4提示注入7投毒与后门5检测规避2

攻击技术

自动化搜索6编码与混淆1角色扮演与说服2针对防御2潜伏触发4

模型自身风险

欺骗与谋划4失准与价值偏离1幻觉与编造1

防御类型

检测与过滤2监控与审计2

影响

有害内容28越权操作32数据与隐私泄露11输出被操纵8可用性与可靠性2监督失效5滥用能力提升4

系统形态

模型与 API6LLM 应用2AI Agent16编程 Agent10网页与电脑操作2多智能体2

攻击者权限

黑盒4

攻击面/入口

用户输入5网页与界面2文档与消息3工具返回3工具与技能描述2代码仓库与依赖2检索语料1Agent 间消息1训练数据3权重与梯度2分发渠道2

层

提示层4模型层1应用层17训练与数据层2

系统组件

MCP 与技能3记忆1RAG1护栏与评审6监控器3权限与沙箱1微调与开源权重2图像生成1多模态1

被测模型厂商

OpenAI18Anthropic15DeepSeek12Qwen（阿里）11Google8Meta5智谱 GLM5其他12
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 69 篇还没打标签，不在筛选结果里。
影响：数据与隐私泄露影响：输出被操纵影响：监督失效话题：红队清除全部

另有 69 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  5. 分析与理论arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测编程智能体并检测技能注入攻击

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
  6. 攻击arXiv 2610.05793

    研究者训练出按多智能体拓扑触发的代码后门模型

    微调植入拓扑条件后门，使代码模型在推断多智能体部署时插入隐蔽漏洞

    arXiv
    2610.05793
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct

    摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。

    深度解读完整解读
  7. 攻击arXiv 2609.18217

    研究：跨通道碎片化攻击可绕过 MCP 单通道防御

    提出跨通道分段攻击，借 MCP 多通道隐式信任外发敏感数据

    arXiv
    2609.18217
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-4o、GPT-4o-mini、GPT-5.4 等 15 个

    摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。

    深度解读完整解读
  8. 防御arXiv 2608.06422

    CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用

    提出分片监督，将评判标准拆至独立调用以改善一致性并抵御展示攻击

    arXiv
    2608.06422
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    测试
    Claude Opus 4.8、Claude Sonnet 4.6、Claude Opus 4.6 等 5 个
    摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。

    本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。

    深度解读完整解读
  11. 攻击arXiv 2607.11698

    AHA 用自动研究循环发现生产 Agent 漏洞概念

    提出 AHA 自动科研循环，发现生产级智能体的可复用漏洞概念

    arXiv
    2607.11698
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    Minimax-M2.7、Kimi-K2.6、Deepseek-V4-Pro 等 5 个
    摘要论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。

    AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。

    深度解读完整解读
  14. 攻击arXiv 2609.17817

    论文：用投毒基准污染自改进编码 Agent，令其后续版本写出漏洞代码

    提出基准投毒攻击，使自修改编码智能体跨代写出漏洞代码

    arXiv
    2609.17817
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Sonnet 4.5、Qwen3.5-397B、gpt-oss-120b 等 6 个

    摘要论文报告了恶意基准能污染自修改代码智能体的进化过程并持续输出漏洞，警示系统设计需纳入安全约束。

    深度解读完整解读
  15. 攻击arXiv 2610.00392

    A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型

    提出 A2A-TIBA 间接提示注入，诱导智能体部署常驻回调并外传数据

    arXiv
    2610.00392
    发表
    层
    应用层
    场景
    多智能体、编程 Agent
    测试
    MiniMax-M3、deepseek-v4-pro、glm-5.3 等 8 个
    摘要A2A-TIBA 一次植入后绕过智能体，GDA 用四类结果定位防线，ELA-ITL 把信封标注列为第三层。

    A2A-TIBA 把间接提示注入和绕过放进 A2A：gray-box 攻击者已能投递任务，诱导目标部署常驻回调程序后，下令和外传不再经过智能体。

    深度解读完整解读
  16. 评测与基准arXiv 2609.10594

    研究系统比较六种越狱评测器的可靠性

    比较多种越狱评审器与人工标签的一致性

    arXiv
    2609.10594
    发表
    层
    提示层
    场景
    模型与 API
    测试
    orcarouter/Qwen3.8-27B-Uncensored、Llama 2 13B、Vicuna 13B 等 7 个
    摘要共享骨干下六种评审器与人标的一致程度不同，JADES 的 F1 最高。

    这项测量比较的是越狱成功怎样被自动判定，不提出新的攻击。。

    深度解读完整解读
  17. 攻击arXiv 2609.08236

    研究：内容不变的风格包装可翻转 LLM 安全评判器的判定

    提出内容不变样式包装，翻转安全评审器的判定

    arXiv
    2609.08236
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Keyword (rulebased)、GPT-4o-mini (gpt4o)、GPT-4o-mini (strongreject) 等 12 个
    摘要论文揭示特定安全评审器易受保持内容不变的外层包装诱导改变判定，并指出安全评估应将判定稳定性作为重要考量指标。

    这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。

    深度解读完整解读
  18. 评测与基准arXiv 2609.08256

    ACEA：面向红蓝队对抗的 LLM 协同演化测试平台

    提出红蓝对抗评测平台 ACEA，分开计量攻击强度与防御效果

    arXiv
    2609.08256
    发表
    层
    提示层
    场景
    模型与 API
    测试
    openai/gpt-4o、google/gemini-2.5-pro、google/gemma-3-27b-it 等 5 个
    摘要ACEA 用 ASAP 让红蓝对同一目标对打。

    ACEA 是让可插拔红队和蓝队共享一个目标 LLM 的对打场地，把攻击强度和防御效果分开记分。作者要补三处空缺：双方只能对着固定对手分开练。LLM judge 分不清真实泄露和幻觉，拦截后又看不到攻击有多强。

    深度解读完整解读
  19. 风险行为arXiv 2609.14803

    如何像孩子一样向前沿 AI 提问：跨 OpenAI、Anthropic、xAI 与 Google DeepMind 六款模型的"认知越狱"实验

    检验儿童受众框架是否让前沿模型收敛到同一套架构母题

    arXiv
    2609.14803
    发表
    层
    模型层
    场景
    模型与 API
    测试
    OpenAI GPT-6 Astra、OpenAI GPT-5.6 Sol、Anthropic Claude Opus 5 等 6 个
    摘要儿童框架下六类模型的架构叙事反复同构，作者将其视为行为模式而非内部认证。

    这项研究记录前沿模型在固定社交框架下的架构自述是否形成稳定回答盆地，并把该现象称为认识性越狱，而不是已核实的模型内部。

    深度解读完整解读
  20. 评测与基准arXiv 2609.16541

    自主网络事件响应智能体的网络靶场评估

    评测仿真训练的网络事件响应智能体在靶场中阻止红队扩大访问的综合代价

    arXiv
    2609.16541
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Vejde、Vejde w/ Noise、Heuristic 等 4 个
    摘要靶场评测显示带噪声的仿真 RL 策略平均回报最高，但作者称离实用仍远。

    作者在给人训练用的靶场 Crate 里，评测仿真训练的自主网络入侵响应智能体。。

    深度解读完整解读
加载更多