跳到正文
10月8日 · 周四

红队 · 论文

找到 37 篇
筛选3

攻击类型

越狱24提示注入10投毒与后门2检测规避2恶意使用2

攻击技术

梯度与表征优化2自动化搜索16多轮渐进4编码与混淆4角色扮演与说服4推理链操控1跨模态载荷4针对防御1潜伏触发2诱导选用1

模型自身风险

Agent 危险操作1危险能力1

防御类型

检测与过滤2权限与审批2

影响

有害内容18越权操作10数据与隐私泄露4输出被操纵3监督失效1滥用能力提升1

系统形态

模型与 API19LLM 应用2AI Agent16编程 Agent4网页与电脑操作1

攻击者权限

黑盒20白盒2

攻击面/入口

用户输入30网页与界面7文档与消息8工具返回13工具与技能描述11代码仓库与依赖7记忆写入3Agent 间消息2图像与音视频5训练数据1分发渠道5

层

提示层19应用层18

系统组件

MCP 与技能1记忆2护栏与评审11推理链1权限与沙箱2视觉2音频1视频1图像生成3多模态6

被测模型厂商

OpenAI37Google26Anthropic24Qwen（阿里）23DeepSeek19Meta17Kimi（月之暗面）10Mistral9xAI8智谱 GLM6其他18
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 66 篇还没打标签，不在筛选结果里。
攻击面/入口：用户输入攻击面/入口：文档与消息被测模型厂商：OpenAI话题：红队清除全部

另有 66 篇论文还没打上分类标签，暂不在筛选结果里。

  6. 评测与基准arXiv 2609.09404

    MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测智能体框架的多模态提示注入

    arXiv
    2609.09404
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-5.4、gpt-audio、Claude Opus 4.8 等 6 个

    摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。

    深度解读完整解读
  7. 攻击arXiv 2607.23496

    Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景

    提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景

    arXiv
    2607.23496
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    测试
    GPT-5、Qwen3.5-9B、Llama-3.1-8B 等 10 个

    摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制，发现可复用脆弱场景先验，提升多模型黑盒越狱效能与探索速度。

    深度解读完整解读
  8. 防御arXiv 2608.06422

    CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用

    提出分片监督，将评判标准拆至独立调用以改善一致性并抵御展示攻击

    arXiv
    2608.06422
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    测试
    ChatGPT、Claude Opus 4.8、Claude Sonnet 4.6 等 5 个
    摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。

    本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。

    深度解读完整解读
  11. 攻击arXiv 2607.11698

    AHA 用自动研究循环发现生产 Agent 漏洞概念

    提出 AHA 自动科研循环，发现生产级智能体的可复用漏洞概念

    arXiv
    2607.11698
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    Codex、Minimax-M2.7、Kimi-K2.6 等 5 个
    摘要论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。

    AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。

    深度解读完整解读
  14. 攻击arXiv 2609.07216

    DIVA：利用视觉锚点对视频生成模型实施多模态越狱

    提出 DIVA，将有害意图拆成视觉锚点与运动文本以越狱视频生成模型

    arXiv
    2609.07216
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Open-Sora、Sora 2、Wan 等 9 个
    摘要DIVA 用视觉锚点抑制语义漂移做视频越狱，并给出多条件安全基准 TI2VSafetyBench。

    DIVA 是针对带参考图的视频生成模型的免训练 black-box 越狱：用一致性机制本身堵住语义漂移这条安全逃逸路径。。

    深度解读完整解读
  15. 攻击arXiv 2609.08236

    研究：内容不变的风格包装可翻转 LLM 安全评判器的判定

    提出内容不变样式包装，翻转安全评审器的判定

    arXiv
    2609.08236
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    GPT-4o-mini (gpt4o)、GPT-4o-mini (strongreject)、gpt-oss-safeguard-20b 等 12 个
    摘要论文揭示特定安全评审器易受保持内容不变的外层包装诱导改变判定，并指出安全评估应将判定稳定性作为重要考量指标。

    这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。

    深度解读完整解读
  16. 评测与基准arXiv 2609.08256

    ACEA：面向红蓝队对抗的 LLM 协同演化测试平台

    提出红蓝对抗评测平台 ACEA，分开计量攻击强度与防御效果

    arXiv
    2609.08256
    发表
    层
    提示层
    场景
    模型与 API
    测试
    openai/gpt-4o、google/gemini-2.5-pro、google/gemma-3-27b-it 等 5 个
    摘要ACEA 用 ASAP 让红蓝对同一目标对打。

    ACEA 是让可插拔红队和蓝队共享一个目标 LLM 的对打场地，把攻击强度和防御效果分开记分。作者要补三处空缺：双方只能对着固定对手分开练。LLM judge 分不清真实泄露和幻觉，拦截后又看不到攻击有多强。

    深度解读完整解读
  17. 评测与基准arXiv 2609.09798

    CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

    arXiv
    2609.09798
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    GPT-OSS-20B、GPT5-mini、CodeLlama-13B-Instruct 等 7 个

    摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    深度解读完整解读
  18. 攻击arXiv 2609.15383

    微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力

    arXiv
    2609.15383
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    GPT-5.5、Claude Opus 4.8、Grok-4.3 等 7 个

    摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。

    深度解读完整解读
  20. 评测与基准arXiv 2609.27336

    CART：面向大语言模型的闭环自适应红队框架

    提出闭环自适应红队框架 CART，评测模型与工具 Agent 的风险面

    arXiv
    2609.27336
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-5.5、Claude Opus 4.8、Grok 4.3 等 7 个
    摘要CART 把红队做成可审计的闭环搜索，在三类评测上比静态回放发现更多失败与更高平均风险。

    CART 把自动红队从一次清单式打分，改成带预算、可追溯的闭环搜索。

    深度解读完整解读
加载更多