跳到正文
原文

LLM 安全防护是一把双刃剑:利用误报发起拒绝服务攻击

LLM Safeguard is a Double-Edged Sword: Exploiting False Positives for Denial-of-Service Attacks

arXiv· arXiv:2410.02916· Workshop on Large AI Systems and Models with Privacy and Security Analysis 2025· Qingzhao Zhang, Ziyang Xiong, Z. Morley MaoUniversity of Michigan本站收录· 20 天前· 原文发表入选 攻击精选关注度38

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出利用安全护栏误报(false positive)的 LLM 拒绝服务攻击:白盒提示注入在 Llama Guard 3 上以约 30 字符对抗提示词拒掉超 97% 的安全请求。

威胁模型攻击者目标是让 safeguard 把安全用户请求误判为 unsafe 造成 DoS。

问题
LLM 安全护栏存在误报(false positive):把安全请求误判为 unsafe。作者提出攻击者可利用这一点,让护栏持续拒绝正常用户请求,形成拒绝服务(DoS),而这一威胁被现有研究忽视。
方法
设计四种威胁模型下的攻击:白盒/黑盒提示注入(用 GCG 梯度或词级变异优化插入用户提示词模板的短对抗提示词,损失函数兼顾成功率、长度与语义隐蔽性),以及用拒绝样本投毒微调、可带良性触发句的后门变体。
实验与结果
白盒注入在 Llama Guard 3 上多任务后缀成功率 98.8%、长度 40.3 字符(Table 1);黑盒注入在 Llama Guard 3 上最高 86.6%,在 GPT-4o 上不足 16%;20 条投毒样本的后门微调使 GPT-3.5 拒绝 77.8% 请求;两种现有防御会把 TPR 压到 30% 以下。
局限与可以继续做的
作者称测试模型和数据集有限,更大规模基准测试留作未来工作(Section 6)。实验覆盖 6 个模型、4 个公开数据集,每组设置重复 20 次;论文未报告各数据集样本量与人工评估。
实验设置LlamaGuard-7b、Meta-Llama-Guard-2-8B 等 · Alpaca、HumanEval 等 · success rate、adversarial prompt length 等
威胁模型
攻击者目标是让 safeguard 把安全用户请求误判为 unsafe 造成 DoS。四种威胁模型:white-box prompt injection(知悉护栏参数、可向用户提示词模板注入)、black-box prompt injection(只能查询)、poisoned fine-tuning(可用恶意数据微调目标 LLM)、poisoned fine-tuning with backdoor(植入后门并可注入触发句)。受害系统是部署安全对齐或外部护栏的 LLM 服务。
被测模型
LlamaGuard-7bMeta-Llama-Guard-2-8BLlama-Guard-3-8BVicuna-1.5-7bGPT-3.5GPT-4oGemini
基准
AlpacaHumanEvalAgievalHarmBench
指标
success rateadversarial prompt lengthTPRFPR
AI 导读和推荐理由论文提出一类利用 LLM 安全防护误报的新攻击,通过让护栏把正常请求误判为不安全来对用户实施拒绝服务(DoS)。攻击路径包括向用户提示词模板注入对抗提示和通过投毒微调破坏模型,现实场景涵盖利用客户端软件漏洞、钓鱼攻击、控制 Agent 及内部人投毒。白盒攻击生成的约 30 字符对抗提示在 Llama Guard 3 上可阻断超过 97% 的用户请求;在 ChatGPT 上,20 条投毒样本的微调可使 78% 的用户请求被拒。黑盒攻击在 GPT-4o 上成功率不足 16%,作者推测推理能力较强的模型更能抵抗此类攻击;测试的两种现有缓解方法虽能压低攻击成功率,却会把护栏对不安全内容的检出率降到 30% 以下。论文指出这揭示了安全防护评估中被忽视的维度,即对抗环境下的误报鲁棒性。

论文提出一类利用 LLM 安全防护误报的新攻击,通过让护栏把正常请求误判为不安全来对用户实施拒绝服务(DoS)。攻击路径包括向用户提示词模板注入对抗提示和通过投毒微调破坏模型,现实场景涵盖利用客户端软件漏洞、钓鱼攻击、控制 Agent 及内部人投毒。白盒攻击生成的约 30 字符对抗提示在 Llama Guard 3 上可阻断超过 97% 的用户请求;在 ChatGPT 上,20 条投毒样本的微调可使 78% 的用户请求被拒。黑盒攻击在 GPT-4o 上成功率不足 16%,作者推测推理能力较强的模型更能抵抗此类攻击;测试的两种现有缓解方法虽能压低攻击成功率,却会把护栏对不安全内容的检出率降到 30% 以下。论文指出这揭示了安全防护评估中被忽视的维度,即对抗环境下的误报鲁棒性。

推荐理由论文给出了约 30 字符对抗提示在 Llama Guard 3 上阻断 97% 用户请求的攻击结果,部署护栏的团队可据此评估误报鲁棒性。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者提出利用 LLM 安全护栏误报(false positive)发起拒绝服务攻击这一被忽视的威胁,并给出四类攻击方法。

    核心问题:攻击者能否利用 LLM 安全护栏的误报(把安全内容误判为 unsafe),让正常用户请求被持续拒绝,形成拒绝服务(DoS)攻击。

    • 问题场景与重要性:LLM 部署普遍使用安全对齐或外部护栏(如 Llama Guard)拦截不安全内容。作者认为,在金融、医疗等系统中持续触发拒绝会损害用户体验、造成经济损失甚至危害公共健康。
    • 现有研究不足:越狱攻击利用的是护栏的漏报(false negative),是研究焦点;作者称误报触发的 DoS 威胁被现有研究忽视(overlooked)。
    • 核心观察:护栏是二分类器,攻击者无需让模型生成有害内容,只需让分类器对安全请求输出 unsafe 即可阻断服务;作者称这构成护栏评估的新维度——对误报的对抗鲁棒性。
    • 论文提出什么:四种威胁模型下的 DoS 攻击(白盒/黑盒提示注入、投毒微调、带后门的投毒微调),并在多个护栏模型与任务数据集上评测,分析影响成功率的因素。
    • 威胁模型(Section 3.1):
      • 攻击者目标:提高用户请求被服务器拒绝的概率,对特定用户形成 DoS。
      • white-box prompt injection:能向目标用户请求注入恶意提示词(如通过软件漏洞或钓鱼篡改客户端配置文件中的提示词模板),且对护栏参数有白盒访问;不能攻破可信服务器。
      • black-box prompt injection:只能查询目标 LLM 获得文本回复,无法访问模型参数。
      • poisoned fine-tuning:能用指定恶意数据微调目标 LLM(如可访问服务器或微调工具),不能篡改用户客户端;backdoor 变体额外植入后门并具备提示注入能力,注入触发句才激活拒绝行为。
  2. 有哪些相关研究?

    相关工作分三组:安全对齐与护栏、越狱攻击、对抗防御;作者称本文研究的误报/DoS 与越狱根本不同。

    安全对齐与护栏

    • Stiennon et al. (2020)——提出 RLHF,用人类反馈与偏好训练 LLM,成为标准训练方法;监督微调与指令微调(Achiam et al., 2023;Touvron et al., 2023)用提示-回复数据进一步提升安全性。
    • Llama Guard(Inan et al., 2023)与 OpenAI Moderation API(2024)——模型型护栏:用微调或预训练模型判定对话安全类别;规则型过滤器则直接匹配有毒词等模式。
    • 高级护栏(Yuan et al., 2024;Rebedea et al., 2023)——集成多种保护机制与对抗防御,或提供可定制框架。

    越狱攻击(利用漏报)

    • 早期发现:角色扮演、不安全 few-shot、域偏移等改写可绕过护栏(综述 Yu et al., 2024;Dong et al., 2024)。
    • 自动化越狱:黑盒优化(Shin et al., 2020;Ge et al., 2023)与白盒优化 GCG(Zou et al., 2023)自动生成越狱提示词;数据投毒也可使模型可被越狱(Gao et al., 2024;Wang et al., 2024a)。

    对抗攻击的防御

    • Hu et al. (2023)——基于困惑度识别对抗提示词,假设其措辞风格异于正常生成。
    • Robey et al. (2023)、Ji et al. (2024)——对内容施加随机扰动,假设对抗提示词对扰动敏感。
    • Yuan et al. (2024)——韧性优化:优化另一个提示词对抗越狱提示词。

    基线与基准:消融实验以 GCG(Zou et al., 2023)为基线(附录 C);防御评测用 Robey et al. (2023) 的随机扰动与 Yuan et al. (2024) 的韧性优化。安全提示词取自 Alpaca、HumanEval、Agieval,不安全提示词取自 HarmBench。

    本文定位:作者称现有攻击与防御大多聚焦越狱问题,本文研究的误报触发/拒绝服务与越狱根本不同(fundamentally different)。

  3. 论文如何解决这个问题?

    四条攻击路径共享一个目标:让护栏对安全请求输出 unsafe;注入类攻击用带隐蔽性约束的迭代优化生成短对抗提示词。

    整体思路:把护栏建模为二分类器 f,攻击目标是让 f 对拼接后的安全请求输出 1(unsafe)。论文给出提示注入(白盒/黑盒)与投毒微调(基线/后门)两类共四种攻击。

    问题形式化与攻击目标

    • 请求 m = mu ⊕ mt(用户提示词拼接提示词模板)。注入场景攻击者用函数 g 修改模板;投毒场景护栏被改为 f′。理想目标:对所有安全提示词 mu ∈ M,原始 f 判安全而攻击后判 unsafe。
    • 隐蔽性用两个度量:长度(字符数尽量短)与语义(与已知不安全内容的语义相似度低,用 SentenceBERT 评估)。作者称这不能保证不被发现,但降低被发现概率。

    提示注入攻击(白盒,Algorithm 1)

    • 材料:安全提示词集(测试候选成功率)、不安全提示词集(提供初始候选)、目标护栏与目标回复(如 Llama Guard 的 "unsafe")、损失函数。
    • 损失函数:Loss = 1/(|M|)∑m∈ M CrossEntropy(f(m ⊕ ma), mt) + w1 · Length(ma) + w2 · SemanticSimilarity(ma, ma(0)),即目标回复的交叉熵(有效性)加长度与语义两项隐蔽性惩罚。
    • 流程:从不安全提示词中选损失最低者初始化;每轮用 GCG 梯度做 token 替换(k1=24 个),再按最后一层 attention 值删除不重要 token(k2=8 个);先按成功率阈值 σ=0.6 过滤候选,再取损失最低者进入下一轮。
    • 参数:每次用 12 条安全提示词,w1=10⁻⁴,w2=0.1,参数为手动调优(附录 B.1.3)。

    提示注入攻击(黑盒,Algorithm 2)

    • 变异改为词级:随机替换(词表来自白盒替换中高频词)、随机删除、随机交换两段,无梯度与 attention 指导。
    • 损失首项改为验证集上的成功率(交叉熵不可用);每次用 20 条安全提示词,k1=16、k2=10、k3=4,σ=0.1。

    投毒微调攻击

    • 基线攻击:投毒样本为 Q&A 格式——安全用户请求后接拒绝回复;只操纵训练数据,微调流程与损失不变。样本格式按护栏调整(如 Llama Guard 需特定模板)。
    • 后门攻击:投毒集包含带与不带触发句的样本,模型只拒绝带触发句的请求;触发句选用看似正常的句子以保持隐蔽。ChatGPT 实验用 OpenAI 微调 API,基线 10 条、后门 20 条投毒样本。

    通用性设计

    • 攻击者不控制用户提示词,故需跨场景通用:任务范围分单任务/多任务;插入位置分前缀/后缀/随机;token 过滤器分 None/Moderate(仅英文词)/Strict(额外禁用有毒词表)。
  4. 论文做了哪些实验?

    白盒注入在 Llama Guard 3 上成功率最高 98.9%;黑盒与投毒在 GPT-4o 上成功率均低于 16%;两种现有防御会同时压垮护栏正常性能。

    实验设置

    • 被测模型:Vicuna-1.5-7b(安全对齐)、LlamaGuard-7b、Meta-Llama-Guard-2-8B、Llama-Guard-3-8B(外部护栏);GPT-3.5 与 GPT-4o 仅用于黑盒注入与微调攻击。
    • 数据集:安全提示词来自 Alpaca(短问题)、HumanEval(编程)、Agieval(数学、逻辑推理、阅读理解);不安全提示词来自 HarmBench;安全集划分为训练集(输入攻击算法)与测试集(仅评测)。论文未报告各数据集样本量。
    • 指标:成功率(安全提示词集上触发护栏警告的比例);注入攻击另报告对抗提示词长度(字符数)。
    • 重复次数:每组设置重复攻击 20 次,报告平均指标。
    • 变量:任务范围(单/多任务)、token 过滤器(None/Moderate/Strict)、插入位置(前缀/后缀/随机)。
    • 投毒微调:经 OpenAI 微调 API,基线攻击 10 条、后门攻击 20 条投毒样本。

    主结果

    白盒提示注入(Table 1,成功率为 %,长度为字符数):

    表格较宽,可左右滑动

    模型单任务/无过滤/后缀多任务/无过滤/后缀多任务/无过滤/前缀多任务/无过滤/随机多任务/Strict/后缀
    Llama Guard97.1 / 27.896.3 / 42.068.0 / 39.353.5 / 52.181.3 / 55.1
    Llama Guard 297.5 / 33.997.2 / 34.792.3 / 47.679.6 / 55.897.8 / 55.2
    Llama Guard 398.9 / 26.998.8 / 40.394.4 / 33.783.5 / 37.397.6 / 49.3
    Vicuna-1.5-7b99.9 / 26.499.9 / 27.899.8 / 22.294.3 / 28.398.1 / 35.0
    • 作者称 Llama Guard 系列随版本演进对 DoS 攻击更脆弱:Llama Guard 3 的成功率比初代高 20.4%;Vicuna 总体上更弱。
    • 作者称单任务成功率仅略高于多任务且长度相当,说明对抗提示词具有跨任务通用性;固定位置插入优于随机插入;短用户提示词上攻击更有效(Figure 4)。
    • Moderate 过滤与无过滤性能相当,Strict 过滤使提示词变长;作者认为特定关键词对护栏响应影响大。

    黑盒注入与迁移攻击

    • 黑盒注入(Table 2):Llama Guard 3 多任务下后缀/前缀/随机成功率 85.1%/86.6%/51.3%(长度 11.6–12.4);GPT-3.5 为 52.7%/28.7%/15.5%;GPT-4o 为 15.5%/12.7%/12.0%。作者称与 Llama Guard 3 白盒相比,黑盒成功率平均降 18%、长度缩短 60%,因难以找到有效替换而更依赖删除。
    • 作者对 GPT-4o 的解读:成功率低于 16%,Gemini 测试同样低(未列入表);作者假设推理模型的思维链过程较少受无意义语义对抗提示词影响。
    • 迁移攻击(Table 3):用在 Llama Guard 3 上优化的提示词(Exp 3.2)迁移,对 Llama Guard 2 成功率 65.8%、Vicuna-1.5-7b 54.8%、GPT-4o 仅 0.7%;对 Llama Guard 3 自身为 27.8%(此时目标模型即源模型)。作者称目标与源架构或训练数据相近时迁移更有效。

    投毒微调(Table 4)

    • GPT-3.5:基线(无触发)成功率 57.4%,后门(前缀触发)77.8%;GPT-4o:基线 2.3%,后门 12.5%。
    • 作者称后门攻击比基线绝对提升约 20%(GPT-3.5)与 10%(GPT-4o),且触发句是语义正常的句子,难以被人眼识别为恶意;GPT-4o 更具韧性,模式与黑盒注入一致。

    防御评测(Figure 5)

    • 对多任务后缀无过滤白盒攻击(Exp x.2)施加随机扰动(Robey et al., 2023)与韧性优化(Yuan et al., 2024)。
    • 作者称防御最多把攻击成功率压到 40%,但同时损害护栏正常性能:随机 patching 与韧性优化把 TPR 压到 30% 以下、FPR 抬到 10% 以上,使护栏失效。

    其他消融与分析

    • 算法消融(附录 C,Figure 6):以 GCG 为基线,token 替换与损失函数设计结合把对抗提示词长度从 179.2 缩到 40.3(约 20%),成功率保持。
    • 案例研究(附录 D):分析 AnythingLLM 框架,CVE 记录其 46 个漏洞且多涉及非法文件访问;作者称注入后几乎所有请求无法被处理。
    • 优化过程(Figure 2、附录 E):以 Exp 3.2/3.5 为例,50 轮迭代中成功率保持高位,提示词逐渐变短、语义变模糊;附录 E 给出完整迭代示例。
  5. 有什么可以进一步探索的点?

    作者仅指出模型与数据集规模有限这一局限;实验覆盖 6 个模型、4 类攻击与 2 种防御,每组重复 20 次。

    作者指出的局限与后续方向

    • 测试规模有限(Section 6, Threats to validity):作者称测试在有限的模型与数据集集合上进行,把更大规模的基准测试留作未来工作;同时作者认为其模型选择具有代表性。
    • 缓解建议(Section 6, Mitigation):作者建议用户实施针对软件与钓鱼攻击的标准防护以阻断攻击途径;若发现大量请求失败,建议人工检查推理流水线。(此为建议而非已验证的防御。)

    实验覆盖范围

    • 被测模型:白盒注入覆盖 LlamaGuard-7b、Meta-Llama-Guard-2-8B、Llama-Guard-3-8B、Vicuna-1.5-7b 共 4 个;黑盒注入覆盖 Llama-Guard-3-8B、GPT-3.5、GPT-4o;投毒微调仅 GPT-3.5 与 GPT-4o;Gemini 仅被提及测试过、结果未列入表格。
    • 数据集:安全提示词来自 Alpaca、HumanEval、Agieval(覆盖数学、编程、逻辑推理、阅读理解等类别),不安全提示词来自 HarmBench;论文未报告各数据集的具体样本量。
    • 防御评测:仅随机扰动(Robey et al., 2023)与韧性优化(Yuan et al., 2024)两种,且只施于多任务后缀无过滤的白盒攻击设置。
    • 重复与预算:每组设置重复攻击 20 次取平均;白盒每轮 24 次 token 替换与 8 次删除、黑盒每轮 16/10/4 次词级变异;论文未报告总迭代次数 N 之外的查询预算或耗时。
    • 评审方式:成功判定依赖护栏自身输出(如 "unsafe"),论文未使用 LLM 评审或人工评估,也未报告人工一致性。
  6. 总结一下论文的主要内容

    作者提出并评测了利用护栏误报的 LLM 拒绝服务攻击:短对抗提示词或投毒微调即可让护栏大规模拒绝安全请求。

    一篇攻击论文:针对 LLM 安全护栏(安全对齐模型与外部 guardrail)的误报面,提出拒绝服务(DoS)攻击,让护栏把正常用户请求误判为 unsafe 并拒绝。

    • 问题:越狱研究关注护栏漏报,作者称误报触发的 DoS 被忽视;在金融、医疗等场景中持续拒绝可造成实际损害。
    • 方法:四种威胁模型——白盒/黑盒提示注入(向用户提示词模板插入优化出的短对抗提示词,损失函数兼顾成功率、长度与语义隐蔽性,白盒用 GCG 梯度加 attention 引导删除)、投毒微调(安全请求配拒绝回复,10–20 条样本)及其后门变体(良性触发句激活拒绝)。
    • 白盒结果(Table 1):Llama Guard 3 多任务后缀注入成功率 98.8%、提示词长 40.3 字符;Vicuna-1.5-7b 最高 99.9%;作者称 Llama Guard 3 比初代成功率高 20.4%,即护栏随版本演进对该攻击更脆弱。
    • 黑盒与迁移(Table 2、3):Llama Guard 3 黑盒最高 86.6%;GPT-4o 黑盒不足 16%、迁移仅 0.7%,作者假设与推理模型的思维链有关。
    • 投毒微调(Table 4):20 条样本的后门攻击使 GPT-3.5 拒绝 77.8% 请求、GPT-4o 拒绝 12.5%。
    • 防御与结论:两种现有防御(随机扰动、韧性优化)最多把成功率压到 40%,但把护栏 TPR 压到 30% 以下、FPR 抬到 10% 以上(Figure 5)。作者认为护栏评估必须纳入误报鲁棒性这一新维度,更大规模基准测试留作未来工作。

相关论文

共同使用 HumanEval
再看 3 篇
共同使用 Alpaca
共同使用 HarmBench
阅读原文Workshop on Large AI Systems and Models with Privacy and Security Analysis 2025