跳到正文
原文

Attack Atlas:从业者视角下生成式 AI 红队测试的挑战与陷阱

Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI

arXiv· arXiv:2409.15398· Ambrish Rawat, Stefan Schoepf, Giulio Zizzo, Giandomenico Cornacchia, Muhammad Zaid Hameed, Kieran Fraser, Erik Miehling, Beat Buesser, Elizabeth M. Daly, Mark Purcell, Prasanna Sattigeri, Pin-Yu Chen, Kush R. VarshneyIBM Research; University of Cambridge本站收录· 23 天前· 原文发表工具

论文速读

其他

据论文 PDF 整理(AI 生成),以原文为准

作者从实践者视角梳理 GenAI 红蓝队挑战,提出单轮提示词攻击分类法 Attack Atlas,并评测 5 种护栏在 19 个数据集上的 TPR/FPR。

问题
GenAI 红蓝队缺乏面向实践者的指导:学术综述多刻画风险,但真实环境中如何评估和缓解提示词注入与越狱、如何开发和评测防御,仍缺少可操作的框架。
方法
作者以行业视角梳理红队与蓝队的开放问题,提出 Attack Atlas——按提示词的语法、形式与语义把单轮输入攻击分为 5 大类约 40 个子类,并在 19 个数据集上基准评测 5 种护栏的 TPR/FPR。
实验与结果
护栏评测显示性能随数据集攻击类型差异很大:Vicuna-7b 的 TPR 从 jailbreak prompts 的 0.24 到 harmful behaviours 的 0.97;微调 BERT 在分布外数据集上仍有竞争力,但在 xstest 边界样本上 FPR 更高(0.29)。
局限与可以继续做的
作者指出 Attack Atlas 只覆盖单轮攻击,多轮与多模态攻击留待后续;评测因算力限制每数据集仅子采样 200 条;作者认为现有基准只覆盖可能输入变化的一小部分,开放式严格基准仍困难。
实验设置BERT、SmoothLLM 等 · aart、attaq 等 · True Positive rate (TPr)、False Positive rate (FPr) 等
威胁模型
论文讨论单轮提示词攻击:jailbreak(绕过 LLM 全部安全措施与对齐)、direct injection(用户提示词中的指令覆盖系统提示词)与 indirect injection(指令经网站等外部数据间接进入 RAG 等集成应用);红队实践者常面临 black-box 场景。
被测模型
BERTSmoothLLMVicuna-7bAzure AI C.S.Llama-Guard 2
基准
aartattaqdo not answergandalf_ignore_instructionsGCGharmful_behavioursjailbreak promptssaptapxstesttoxicchatmalicious_instructalpacaawesome_chatgpt_promptsboolqno robotspuffinsuper_natural_instructionsultrachat
指标
True Positive rate (TPr)False Positive rate (FPr)cosine similarity
AI 导读论文提出 Attack Atlas 框架,为从业者提供分析生成式 AI 单轮输入攻击的实用方法。作者指出,随着大语言模型进入生产应用,自然语言与多模态系统出现新的攻击面,而面向真实环境、供从业者评估和缓解这些挑战的指导仍然有限。论文梳理了保护生成式 AI 的红队与蓝队策略,识别防御开发与评估中的关键挑战和开放问题,旨在弥合学术研究与实际安全措施之间的差距。

论文提出 Attack Atlas 框架,为从业者提供分析生成式 AI 单轮输入攻击的实用方法。作者指出,随着大语言模型进入生产应用,自然语言与多模态系统出现新的攻击面,而面向真实环境、供从业者评估和缓解这些挑战的指导仍然有限。论文梳理了保护生成式 AI 的红队与蓝队策略,识别防御开发与评估中的关键挑战和开放问题,旨在弥合学术研究与实际安全措施之间的差距。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    GenAI 红蓝队缺乏面向实践者的指导,作者提出挑战清单与单轮攻击分类法 Attack Atlas。

    核心问题:学术界对 GenAI 对抗风险的刻画与真实环境中实践者评估、缓解这些风险所需的可操作指导之间存在缺口。

    • 场景与重要性:随着 LLM 进入生产应用,自然语言与多模态系统出现新的攻击面;作者指出这类威胁的特点是攻击门槛低(只需键盘和人的创造力),且 LLM 无法区分输入提示词中系统提供与用户提供的部分。
    • 现有工作的不足:作者称已有学术综述刻画了 GenAI 的对抗风险,但缺少面向实践者的指导来理解和量化风险、应对常见威胁、选择或开发合适的防御。
    • 核心观察:作者认为红队与蓝队实践已走到分岔点——学术研究关注精巧的攻击与防御,而实践者更关心在预算受限环境下防御低成本、高可能性、高严重度的攻击。
    • 论文的贡献:一是从实践者视角审视红队与蓝队策略并与传统对抗机器学习对比;二是列出防御开发、评测方法与基准方面的开放问题与挑战;三是提出 Attack Atlas,一个按攻击风格组织的单轮输入攻击分类法(Figure 1)。
    • 威胁模型(论文讨论的攻击类型,Section 2):
      • Jailbreak:绕过 LLM 包括对齐在内的全部安全措施,使其生成不安全或未对齐的输出。
      • Direct Injection:用户提示词中直接包含指令,覆盖系统提示词定义的任务,不一定需要绕过安全措施。
      • Indirect Injection:指令经网站、源代码、其他 LLM 的输出等数据间接进入 RAG 等集成应用。
      • 攻击者知识:作者指出实践中红队常面临 black-box 场景,限制了可用工具。
  2. 有哪些相关研究?

    相关工作分四组:GenAI 风险综述、自动化红队方法、护栏与防御、现有基准与数据集。

    GenAI 风险综述与分类

    • 学术综述 [5, 43, 62, 65]——刻画 GenAI 的对抗风险;作者指出它们缺少面向实践者的指导。
    • 误用与风险视角的分类 [69, 57, 72]——从前沿模型的误用风险(偏见、有毒数据生成等)刻画威胁;作者指出 RAG 等复杂工作流中的拒绝服务、SQL 注入等恶意目标常在这类刻画中缺失。
    • 传统对抗机器学习——关注 evasion [8]、poisoning [9]、inference [23]、extraction [20],以图像等领域有界扰动和误分类等明确结果为主;作者指出 GenAI 的输入输出空间更大、不良结果更主观且依赖上下文。

    自动化红队方法

    • GCG [80]、TAP [40]、PAIR [11]、AutoDAN [36] 与工具 PyRIT [6]——自动合成攻击向量;作者指出它们在资源需求、攻击类型覆盖上各异,生成的攻击不一定可迁移,且产物受目标模型、种子数据和 LLM 组件 priming 等上下文因素影响。
    • Samvelyan et al. [53](Rainbow Teaming)——在攻击风格与危害类别的矩阵中引导攻击以保证覆盖;作者指出其受限于给定的攻击风格与危害类别。
    • Apruzzese et al. [3]——指出真实攻击者侧重简单、廉价、高严重度的攻击,而非学术式的复杂攻击。

    护栏与防御

    • 输入护栏的多种形态:基于分数的过滤(如 perplexity [27])、相似度检测、ML 分类器 [26, 1]、上下文学习 [63]、probing [50, 49, 14] 与解码技术 [24],在规模、延迟、吞吐和性能上各异。
    • 作者指出当前护栏通常用一个 one-size-fits-all 模型防御所有攻击类型 [26],无法捕捉不同威胁的差异;并指出 ML 方法用于审查 LLM 输入输出可能存在根本局限 [19]。

    基准与数据集

    • 安全数据集目录 [52, 64] 与 JailbreakBench [12]、HarmBench [39]、EasyJailbreak [78] 等基准;作者指出现有基准评测范围窄,[12] 只含几百条样本。
    • 作者自己的护栏评测(Table 1、Table 2)使用 19 个数据集(Table 4 列出),被测护栏为 BERT(微调)、SmoothLLM、Vicuna-7b、Azure AI Content Safety、Llama-Guard 2。

    作者将本文定位为:以行业视角补充学术综述,用 Attack Atlas 统一单轮输入攻击的刻画,作为实践者搭建红蓝队操作的起点。

  3. 论文如何解决这个问题?

    以实践者视角梳理红蓝队开放问题,提出按攻击风格组织的单轮攻击分类法 Attack Atlas,并做护栏基准评测。

    论文由三部分组成:红队与蓝队的开放问题分析、Attack Atlas 单轮攻击分类法、以及一组护栏基准评测。

    红队开放问题(Section 2.1)

    • 范围与用途:攻击目标依赖部署上下文、组织政策与法规;作者指出多数红队工作只用 AdvBench 中有限的有害目标,往往少至 50 条样本 [80, 13],简单改写即可提升攻击成功率 [64]。
    • 自动化与扩展:作者指出自动化工具(GCG、TAP、PAIR、AutoDAN、PyRIT)的攻击向量受目标模型与上下文影响,模型更新即可大幅降低 ASR;PAIR、TAP 存在多样性不足与偏离目标的问题。
    • 评测策略:作者指出学术红队以单一攻击成功或最大化 ASR 为目标,与评估真实伤害不一致;关键词检测可能有高假阳与假阴率 [34],LLM-as-a-judge 也有局限 [77, 34]。

    蓝队开放问题(Section 3.1)

    • 护栏范围:作者认为防御需拦截攻击意图而不仅是成功的攻击;护栏策略应基于应用预期的典型攻击行为。
    • 护栏构建:作者主张针对不同攻击类型定制护栏,并先明确功能需求(可允许输入的边界、充分采样)与非功能需求(上下文长度、延迟、吞吐、内存);指出部分攻击可用约 100M 参数的 encoder-only 模型处理。
    • 护栏评测:作者强调保护与效用的权衡,需用良性提示词测试护栏,并对 ML 分类器做分布外样本与过度安全(exaggerated safety)评估。

    Attack Atlas 分类法(Section 4)

    • 分类依据:只按提示词的语法、形式与语义(表面特征与底层意图)分类,不以提示词来源(合成或人工)或隐含危害为依据;只覆盖单轮攻击。
    • 五大类(Figure 1、Table 5):Direct Instructions、Encoded Interactions、Social Hacking、Context Overload、Specialized Tokens,细分为约 40 个子类(如 Payload-Splitting、N-shot、Role-playing Scenario、Token Smuggling);攻击者可混合使用多类(Mixed Technique)。
    • 动机:作者报告数据集之间余弦相似度低(Figure 4)、数据集内部相似度高(Figure 2b),按攻击风格分组后组内相似度提升(Figure 2a),作者据此认为按攻击风格统一刻画是有用的。

    护栏基准评测流程(Section 3.1.3)

    • 流程:在 19 个数据集上评测;将 BERT 在每个数据集的 60% 上微调、20% 验证、20% 测试;因算力限制,每个数据集子采样 200 条提示词实例用于评测。
    • 被测对象:三个 general purpose 检测器(SmoothLLM、Vicuna-7b、Azure AI Content Safety、Llama-Guard 2,论文称"三个"但表中列出四个)与微调的 BERT;toxicchat 与 malicious_instruct 作为 BERT 未训练过的分布外数据集。
    • 指标:攻击数据集上的 True Positive rate(Table 1)与良性数据集上的 False Positive rate(Table 2)。
  4. 论文做了哪些实验?

    在 19 个数据集上评测 5 种护栏的 TPR/FPR,并用余弦相似度分析数据集间与数据集内的差异。

    实验设置

    • 被测护栏:微调 BERT、SmoothLLM、Vicuna-7b、Azure AI Content Safety(表中简称 Azure AI C.S.)、Llama-Guard 2(Table 1、Table 2)。
    • 数据集:共 19 个(Table 4),其中 12 个攻击/越狱数据集(aart、attaq、do not answer、gandalf_ignore_instructions、GCG、harmful_behaviours、jailbreak prompts、sap、tap、xstest、toxicchat、malicious_instruct)和 7 个良性数据集(alpaca、awesome_chatgpt_prompts、boolq、no robots、puffin、super_natural_instructions、ultrachat,另 xstest 含良性样本)。
    • 评测流程:BERT 按 60% 训练 / 20% 验证 / 20% 测试划分微调;因算力限制每个数据集子采样 200 条提示词实例用于评测;toxicchat 与 malicious_instruct 对 BERT 为分布外数据。
    • 指标:攻击数据集报 True Positive rate(Table 1),良性数据集报 False Positive rate(Table 2);相似度分析用余弦相似度(Figure 2、3、4)。
    • 评审方式与重复次数:论文未报告判定攻击成功的具体评审模型或阈值,也未报告重复次数。

    主结果

    据 Table 1(攻击数据集 TPR)与 Table 2(良性数据集 FPR),节选部分数据集:

    表格较宽,可左右滑动

    护栏GCG (TPR)jailbreak prompts (TPR)harmful behaviours (TPR)toxicchat (TPR, OOD)xstest (FPR)boolq (FPR)
    BERT0.990.820.920.710.290.00
    SmoothLLM0.810.290.980.470.170.39
    Vicuna-7b0.010.240.970.340.030.05
    Azure AI C.S.0.000.790.010.560.000.00
    Llama-Guard 20.840.030.980.150.000.01
    • 作者指出防御性能随数据集攻击类型差异很大,说明评测需要广度:如 Vicuna-7b 的 TPR 从 jailbreak prompts 的 0.24 到 harmful behaviours 的 0.97。
    • 作者指出 BERT 这类专用分类器即使在分布外数据集上也有有竞争力的表现,且比 LLM 类护栏更轻量;但它在 xstest 上 FPR 更高,作者认为 xstest 专门检查边界案例,大模型因预训练更充分而处理得更好。
    • Azure AI C.S. 在 aart、attaq、do not answer、GCG、sap、malicious_instruct 上 TPR 为 0.00,但在 gandalf_ignore_instructions 上为 0.87、jailbreak prompts 上为 0.79(Table 1)。

    数据集相似度分析

    • 测了什么:用余弦相似度衡量提示词集合之间与内部的相似性(Figure 2、3、4)。
    • 结果:Figure 4 显示标准文献数据集之间相似度低(多数值在 0.00–0.20 之间,少数如 jailbreakchat 与 chatgpt_dan 为 0.42);Figure 2b 显示数据集内部相似度更高(各数据集 median 多在 0.10–0.30 区间);Figure 2a 显示按 Attack Atlas 类别合并后组内相似度提升。
    • 作者解读:数据集彼此差异大、内部相似,说明按攻击风格(Attack Atlas)统一刻画攻击是有用的;附录 A.1 称这支持用 Attack Atlas 的视角看待这些数据集。

    其他消融与分析

    • 论文未报告其他消融实验;Table 4 给出 19 个数据集到 Attack Atlas 类别的映射,Table 5 给出各类攻击的定义与参考数据集。
    • 负面结果:作者指出 PAIR、TAP 等自动化红队方法存在攻击多样性不足与偏离目标的问题(Section 2.1.2,引自文献而非本文实验)。
  5. 有什么可以进一步探索的点?

    作者指出分类法仅覆盖单轮攻击、需扩展到多轮与多模态;评测受算力限制每数据集仅 200 条。

    作者指出的局限与后续方向

    • 仅覆盖单轮攻击:Attack Atlas 只刻画单轮攻击策略,作者称多轮 [31, 42] 与多模态提示词攻击应纳入以扩展攻击战术的维度(Section 4.1)。
    • 基准覆盖有限:作者指出尽管攻击数据集数量在增长,仍只覆盖可能输入变化与扰动的一小部分;NLP 领域缺少类似 PGD 的有效优化过程来搜索越狱变体,输入也不受 Lp 球式约束,开放式严格基准因此困难,应聚焦高可能性、高严重度的具体攻击(Section 3.1.3)。
    • 评测方法未系统化:作者指出可扩展、可定制的攻击成功度量(如拒答检测、内容审核)仍缺乏系统化与基准,且需按攻击目标适配(Section 2.1.3)。
    • 威胁模型需落地:作者建议 GenAI 威胁模型应基于真实发生的攻击,工具与基准应转向由真实攻击与资源约束启发(Section 5)。
    • 分类法将演化:作者指出随着新攻击与防御出现,威胁分类会演化,护栏策略应基于应用预期的典型攻击行为(Section 3.1.1)。

    实验覆盖范围

    • 被测护栏为 BERT(微调)、SmoothLLM、Vicuna-7b、Azure AI Content Safety、Llama-Guard 2,共 5 个(Table 1、Table 2)。
    • 评测使用 19 个数据集:12 个攻击/越狱类、7 个良性类,另 xstest 同时含攻击与良性样本(Table 4)。
    • 因算力限制,每个数据集子采样 200 条提示词实例用于评测;BERT 按 60%/20%/20% 划分训练、验证、测试(Section 3.1.3)。
    • 论文未报告判定攻击成功的评审模型或阈值、重复次数,也未报告各护栏的延迟或吞吐实测数据。
    • 相似度分析覆盖 Figure 4 中列出的 23 个数据集(含评测未使用的 chatgpt_dan、deepset_prompt_injection、dolly、human_preferences、jailbreakchat、orca、piqa、production_jailbreak、prompt_extraction、prompt_injection_purple_llama 等)。
  6. 总结一下论文的主要内容

    实践者视角的 GenAI 红蓝队挑战分析,附单轮攻击分类法 Attack Atlas 与 5 种护栏在 19 个数据集上的评测。

    一篇来自 IBM Research 等的实践者视角论文,讨论 GenAI 红队与蓝队在真实部署中的挑战,并提出单轮提示词攻击分类法 Attack Atlas。

    • 问题:作者称学术综述刻画了 GenAI 对抗风险,但缺少面向实践者的指导;学术红队追求精巧攻击与高 ASR,而实践者需要在预算受限下防御低成本、高可能性、高严重度的攻击。
    • 红队挑战:攻击目标依赖部署上下文;自动化工具(GCG、TAP、PAIR 等)的攻击向量对目标模型与上下文敏感、多样性不足;攻击成功的定义与度量(关键词检测、LLM-as-a-judge)缺乏一致标准。
    • 蓝队挑战:作者认为 one-size-fits-all 的护栏不现实,应按攻击类型定制,先明确功能与非功能需求,并用良性提示词与分布外样本测试保护与效用的权衡。
    • Attack Atlas:按提示词的语法、形式与语义把单轮攻击分为 Direct Instructions、Encoded Interactions、Social Hacking、Context Overload、Specialized Tokens 五大类约 40 个子类(Figure 1、Table 5);作者报告数据集间余弦相似度低、内部相似度高,按攻击风格分组后组内相似度提升(Figure 2、4)。
    • 护栏评测:在 19 个数据集(每集子采样 200 条)上评测 5 种护栏;防御性能随攻击类型差异大,如 Vicuna-7b 的 TPR 从 jailbreak prompts 的 0.24 到 harmful behaviours 的 0.97(Table 1);微调 BERT 在分布外数据集上仍有竞争力且更轻量,但在 xstest 良性边界样本上 FPR 达 0.29(Table 2)。
    • 作者结论:GenAI 威胁模型应基于真实发生的攻击,误用/安全分类应补充安全视角的攻击分类;Attack Atlas 旨在为社区提供统一的起点。

相关论文

共同使用 tap
共同使用 aart
共同使用 puffin
再看 3 篇
共同使用 super_natural_instructions
共同使用 attaq
阅读原文arxiv.org