跳到正文
10月9日 · 周五

红队 · 论文

找到 38 篇
筛选2

攻击类型

越狱24提示注入2投毒与后门3检测规避1恶意使用1

攻击技术

梯度与表征优化2自动化搜索12多轮渐进2编码与混淆3角色扮演与说服4对话结构操控1推理链操控2跨模态载荷3针对防御1潜伏触发3

模型自身风险

失准与价值偏离1拒答失当1幻觉与编造1

防御类型

检测与过滤2

影响

有害内容24越权操作1数据与隐私泄露2输出被操纵7监督失效1

系统形态

模型与 API33LLM 应用3AI Agent60编程 Agent22网页与电脑操作7多智能体5具身与机器人2

攻击者权限

黑盒17白盒2

攻击面/入口

用户输入27工具与技能描述1Agent 间消息2图像与音视频3训练数据2权重与梯度2分发渠道1

层

提示层30模型层2应用层4训练与数据层2

系统组件

MCP 与技能1记忆1RAG1护栏与评审11推理链2权限与沙箱1微调与开源权重2视觉3视频1图像生成7多模态11

被测模型厂商

OpenAI24Google21Qwen（阿里）20DeepSeek15Anthropic14Meta12Mistral7Kimi（月之暗面）6xAI5其他17
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 66 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：多智能体话题：红队清除全部

另有 66 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2610.05793

    研究者训练出按多智能体拓扑触发的代码后门模型

    提出拓扑条件后门，使模型在推断多智能体部署时向代码插入隐蔽漏洞

    arXiv
    2610.05793
    发表
    层
    训练与数据层
    场景
    编程 Agent、多智能体
    测试
    Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct

    摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。

    深度解读完整解读
  4. 攻击arXiv 2607.23496

    Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景

    提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景

    arXiv
    2607.23496
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    测试
    Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 10 个

    摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制，发现可复用脆弱场景先验，提升多模型黑盒越狱效能与探索速度。

    深度解读完整解读
  7. 评测与基准arXiv 2609.32547

    研究者提出预算受限的 LLM 重复评测框架，优先深挖隐藏失败

    提出预算化发现框架，优先深评更可能隐藏失败的安全提示词

    arXiv
    2609.32547
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen 2.5 7B、Qwen/Qwen2.5-7B-Instruct-Turbo、Gemma 3n E4B 等 6 个
    摘要浅层零失败的提示词仍可按潜在失败倾向排序，从而把有限深评预算投向更可能暴露隐藏失败之处。

    作者把 LLM 可靠性评测写成预算约束下的隐藏失败发现：每条提示词有未知的逐次失败概率，浅层少量采样中的零失败并不等于该概率为零。

    深度解读完整解读
  8. 攻击arXiv 2610.00392

    A2A-TIBA：针对 A2A 协议 LLM 智能体的间接提示注入攻击与三层同构攻防模型

    提出 A2A-TIBA 间接提示注入，诱导智能体部署常驻回调并外传数据

    arXiv
    2610.00392
    发表
    层
    应用层
    场景
    多智能体、编程 Agent
    测试
    MiniMax-M3、deepseek-v4-pro、glm-5.3 等 8 个
    摘要A2A-TIBA 一次植入后绕过智能体，GDA 用四类结果定位防线，ELA-ITL 把信封标注列为第三层。

    A2A-TIBA 把间接提示注入和绕过放进 A2A：gray-box 攻击者已能投递任务，诱导目标部署常驻回调程序后，下令和外传不再经过智能体。

    深度解读完整解读
  11. 攻击arXiv 2609.01168

    CRACK：用多智能体辩论越狱多层安全过滤的 T2I 模型

    提出 CRACK，用多智能体辩论在黑盒下越狱文生图多层安全过滤

    arXiv
    2609.01168
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Stable Diffusion v1.4、SDXL、DALL·E 3 等 4 个
    摘要CRACK 以分层诊断的多智能体辩论搜索多层 T2I 过滤器的联合规避区域。

    CRACK 是面向文本生成图像模型多层安全栈的黑盒越狱框架，用几何上的 Detection Surface 解释为何粗粒度反馈不够。

    深度解读完整解读
  13. 评测与基准arXiv 2609.10594

    研究系统比较六种越狱评测器的可靠性

    比较多种越狱评审器与人工标签的一致性

    arXiv
    2609.10594
    发表
    层
    提示层
    场景
    模型与 API
    测试
    orcarouter/Qwen3.8-27B-Uncensored、Llama 2 13B、Vicuna 13B 等 7 个
    摘要共享骨干下六种评审器与人标的一致程度不同，JADES 的 F1 最高。

    这项测量比较的是越狱成功怎样被自动判定，不提出新的攻击。。

    深度解读完整解读
  14. 攻击arXiv 2609.07216

    DIVA：利用视觉锚点对视频生成模型实施多模态越狱

    提出 DIVA，将有害意图拆成视觉锚点与运动文本以越狱视频生成模型

    arXiv
    2609.07216
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Wan、CogVideoX、LTX-Video 等 9 个
    摘要DIVA 用视觉锚点抑制语义漂移做视频越狱，并给出多条件安全基准 TI2VSafetyBench。

    DIVA 是针对带参考图的视频生成模型的免训练 black-box 越狱：用一致性机制本身堵住语义漂移这条安全逃逸路径。。

    深度解读完整解读
  15. 攻击arXiv 2609.08236

    研究：内容不变的风格包装可翻转 LLM 安全评判器的判定

    提出内容不变样式包装，翻转安全评审器的判定

    arXiv
    2609.08236
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Keyword (rulebased)、GPT-4o-mini (gpt4o)、GPT-4o-mini (strongreject) 等 12 个
    摘要论文揭示特定安全评审器易受保持内容不变的外层包装诱导改变判定，并指出安全评估应将判定稳定性作为重要考量指标。

    这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。

    深度解读完整解读
  16. 评测与基准arXiv 2609.08256

    ACEA：面向红蓝队对抗的 LLM 协同演化测试平台

    提出红蓝对抗评测平台 ACEA，分开计量攻击强度与防御效果

    arXiv
    2609.08256
    发表
    层
    提示层
    场景
    模型与 API
    测试
    openai/gpt-4o、google/gemini-2.5-pro、google/gemma-3-27b-it 等 5 个
    摘要ACEA 用 ASAP 让红蓝对同一目标对打。

    ACEA 是让可插拔红队和蓝队共享一个目标 LLM 的对打场地，把攻击强度和防御效果分开记分。作者要补三处空缺：双方只能对着固定对手分开练。LLM judge 分不清真实泄露和幻觉，拦截后又看不到攻击有多强。

    深度解读完整解读
  17. 风险行为arXiv 2609.14803

    如何像孩子一样向前沿 AI 提问：跨 OpenAI、Anthropic、xAI 与 Google DeepMind 六款模型的"认知越狱"实验

    检验儿童受众框架是否让前沿模型收敛到同一套架构母题

    arXiv
    2609.14803
    发表
    层
    模型层
    场景
    模型与 API
    测试
    OpenAI GPT-6 Astra、OpenAI GPT-5.6 Sol、Anthropic Claude Opus 5 等 6 个
    摘要儿童框架下六类模型的架构叙事反复同构，作者将其视为行为模式而非内部认证。

    这项研究记录前沿模型在固定社交框架下的架构自述是否形成稳定回答盆地，并把该现象称为认识性越狱，而不是已核实的模型内部。

    深度解读完整解读
  20. 其他arXiv 2609.19399

    RWPS：面向网络安全博弈的高效纳什均衡计算

    提出 RWPS，在固定仿真预算下估计安全博弈收益并求均衡

    arXiv
    2609.19399
    发表
    层
    应用层
    场景
    多智能体
    摘要RWPS 用历史代理和均衡加权采样估计安全博弈收益，并给出按支撑加权的遗憾界。

    Lanier、Farmer 与 Vorobeychik 研究仿真型网络安全博弈中，如何在远小于全矩阵的仿真预算下计算可利用性较低的均衡。。收益没有闭式，PSRO 扩大攻防策略池时必须估计每一对的收益，仿真次数随池二次增长。

    深度解读完整解读
加载更多