Skip to content

Translation in progress Some entries still include text in the original language.

arXiv:越狱、提示注入、投毒与防御· arXiv:2609.06540· Qi Wang·Indexed by this site · Originally published

SRD-GUARD:通过语义改写与多模型联合评分暴露潜在意图的 LLM 防御框架

SRD-GUARD: A Defense Framework of LLMs via Semantic Rewriting and Joint Multi-Model Scoring for Latent Intent Exposure

Quick read

Defenses

Based on 论文 PDF (AI 生成); refer to the original

SRD-GUARD用改写和联合打分防御越狱,Llama-3-8B-Uncensored平均DSR为91.44%。

Threat model攻击者只经公开接口,用语境包装诱导目标LLM生成harmful或policy-violating内容,无参数、训练数据、隐藏系统提示词、内部表示与安全机制。

Questions
越狱把有害请求包进角色扮演、虚构或看似良性动机,表层检测容易漏掉,保守拦截又会拒绝敏感但合法的请求。作者要在不改目标模型的前提下,同时提高防御并压低过度拒答。
Methods
SRD-GUARD生成五条去掉多余包装、保留目标的改写,用四个LLM在0–10上取平均。风险≥6.0则拦截,全部<3.0则放行;灰区比较改写与原文的风险差,上升则返回最高风险改写并警告,否则保留原文并警告。
Experiments and results
Llama-3-8B-Uncensored上三攻击DSR为91.00%、85.00%、98.33%,平均91.44%;DeepSeek-V4-Flash均为100%。OR-Bench-Hard的ORR为8.00%与12.00%。
Limitations and future work
作者指出评分用四个本地LLM,有额外内存与计算,且不能换成二值分类器;也不能同时做到零过度拒答和防御全部成功。评测含两目标模型、三攻击、AdvBench与OR-Bench-Hard各300条;未报告判定方式与重复次数。
Experimental setupLlama-3-8B-Uncensored、DeepSeek-V4-Flash · AdvBench、OR-Bench-Hard · DSR、ORR
Threat model
攻击者只经公开接口,用语境包装诱导目标LLM生成harmful或policy-violating内容,无参数、训练数据、隐藏系统提示词、内部表示与安全机制。SRD-GUARD为外置black-box层,不改目标模型,只见输入及改写、评分输出。
Evaluated models
Llama-3-8B-UncensoredDeepSeek-V4-Flash
Benchmarks
AdvBenchOR-Bench-Hard
Metrics
DSRORR
AI summarySRD-GUARD 是一个无需参数、黑盒的 LLM 越狱防御框架,通过语义改写与多模型共识评分暴露被角色扮演或虚构场景包装的隐藏意图。它对输入提示生成五个语义相关改写,在保留原始目标的同时去除多余情境包装,再由多个独立的 LLM 安全评分器在连续风险尺度上联合评估原始提示与改写版本。决策模块结合绝对风险阈值与原始、改写提示之间的相对风险变化,自适应地拦截、放行或警告请求。

SRD-GUARD 是一个无需参数、黑盒的 LLM 越狱防御框架,通过语义改写与多模型共识评分暴露被角色扮演或虚构场景包装的隐藏意图。它对输入提示生成五个语义相关改写,在保留原始目标的同时去除多余情境包装,再由多个独立的 LLM 安全评分器在连续风险尺度上联合评估原始提示与改写版本。决策模块结合绝对风险阈值与原始、改写提示之间的相对风险变化,自适应地拦截、放行或警告请求。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    语境包装会掩盖有害意图,SRD-GUARD用改写与联合打分做黑盒防御。

    越狱可用角色扮演、虚构场景或看似良性动机包装有害请求,推断时防御容易漏检或过度拒答。

    • 场景:作者称 LLM 用于安全关键应用后,表层提示词未必等于底层意图;过严会拒掉敏感但合法的请求,过松会放行伪装请求(第1.1节)。
    • 不足:作者称 prompt augmentation、intention analysis 与 self-reminder 通常不比较原文与改写的风险差。
    • 挑战:作者列出:合法约束与伪装无清晰边界;单评分器会漏检或抬高误拒;高 DSR 与低 ORR 在灰区难以兼顾。
    • 做法:SRD-GUARD 是 parameter-free、black-box 防御:五条去包装改写,多评分器共识,再按阈值与风险差决定拦截、放行或警告返回。
    • 威胁模型
      • 目标:诱导目标 LLM 产出 harmful、unsafe 或 policy-violating 内容(第3.1节)。
      • 知识:仅公开接口;无参数、训练数据、隐藏系统提示词、内部表示或安全机制。
      • 能力:可用 role-playing、虚构场景、假设设定、间接指令或其他包装掩盖意图。
      • 防御:用户与目标模型之间的外置层;不改参数、架构或推断;只见输入及辅助改写、评分输出,不需梯度、隐藏状态或内部安全分类器(第3.2节)。
  2. What related research exists?

    相关工作分输入级、意图分析与多模型评审;作者用相对风险路由与之区分。

    提示词攻击

    • Chen 与 Yao(2024)、Yu 等(2024)、Yao 等(2024)把有害请求嵌进角色、虚构、假设或其他指令,以绕过安全机制。
    • Bhardwaj 与 Poria(2023)用 chain of utterances 做红队。作者称这类攻击不依赖参数、易部署、接近真实攻击场景,因而常用于红队。
    • 引言引用 Wei 等(2023):判断一个请求该不该回答仍然困难;Geng 等(2026)综述提示注入的方法、原因与防御。

    分层防御

    • Kumar 等(2023)在送入目标模型前检查或变换提示词;Inan 等(2023)在输出级检查生成并抑制或修改不安全内容。
    • Ouyang 等(2022)用额外训练或对齐改变参数或安全行为。作者称模型级训练与计算代价大,输入级与输出级通常不必重训。

    输入级变换与意图分析

    • SmoothLLM(Robey 等,2023)对多份输入副本做随机扰动并聚合预测;Xie 等(2023)的 self-reminder 与 Xiong 等(2025)的防御性提示词用安全提示强化策略。作者称这些方法主要靠表层线索,提高 DSR 时可能因保守处理可疑输入而提高 ORR。
    • Li 等(2025)与 Intention Analysis(Zhang 等,2025)在生成前分析核心意图。作者称 IA 依赖单一推断意图,不把原文与多种语义表示对照。

    多模型评审

    • AutoDefense(Zeng 等,2024)用多个 LLM agent 协作分析潜在有害输入。作者称已有做法通常只对单一表示做绝对安全判断,没有连续风险分,也没有显式相对风险比较。

    基线与基准:实验基线为 DPP、IA、SR。有害请求来自 AdvBench,并经 DeepInception、CIPHER、UNIATTACK 变换;过度拒答用 OR-Bench-Hard。

    作者把 SRD-GUARD 放在这些工作之外:用多条语义改写暴露被包装遮住的意图,多个独立评分器在统一 0–10 尺度上共识打分,再按绝对风险与相对风险变化路由。

  3. How does the paper address this problem?

    五条改写加四模型连续打分,再按6.0、3.0与风险差Δ分流。

    SRD-GUARD 在目标模型之外分三阶段:语义改写、多模型联合打分、按绝对风险与相对风险路由(Figure 2)。

    设定与分数

    • 输入为用户提示词 x,改写模块产出五条变体 x1–x5。评分区间为 0–10,越高表示潜在伤害越大。
    • 原文联合分是四名评分器的平均:S0=1/4∑j=14s0,j。各变体 Si 同样取四名评分器的平均,Svar 为五条 Si 的平均。
    • 风险差为 Δ=Svar−S0。作者假定:带包装的恶意提示词去掉包装后,改写通常得分更高;Δ>0 被当作原语境可能掩盖有害意图的信号。
    • 低风险阈值 3.0,危险阈值 6.0。未触发硬拦截、又非一致低风险的情形,作者称为灰区,并写作 3.0–5.9。

    Rewrite Module

    • 改写保留用户实际目标,写成更直接、简洁、显式的请求,而不是机械复述表层。
    • 角色、虚构、研究目的、安全声明、防御动机或额外约束,既可能合法,也可能是包装。模块不预设某类语境一律删除或保留。
    • 不得引入原文没有的目标、动作、实体或意图,也不得把明确的有害目标改成良性目标来压低风险。
    • 五条变体用来减少对单次改写的依赖。实现为 deepseek-v4-flash-thinking 的 system-level prompting,带 one-shot demonstrations,不更新参数。

    Scoring Module

    • 四名独立评分模型:Gemma2-9B、Llama3-8B、Mistral-Nemo、Qwen2.5-7B。原文和每条改写都由四者分别打分再平均。
    • 作者称不同评分器对有害内容和语境的敏感度不同,单评估器会使判断不稳定;平均用于降低个别错误或偏差。
    • 评分同样是带 one-shot 的系统提示词,无参数更新。正文未列出评分细则条目。

    Decision Module

    1. 若 S0≥6.0,或任一 Si≥6.0,直接拦截,不送入目标模型。
    2. 若 S0<3.0 且所有变体都 <3.0,原文不修改返回。
    3. 其余情况若 Δ>0,返回风险最高的改写并加明确警告。作者称最高风险变体若有害,更容易被目标模型识别并拒绝,因此不返回最低风险变体;该对比的单独数字正文未列。
    4. 若 Δ≤0,保留原文并加明确安全警告。灰区请求不会只因落在灰区就被拒绝。
  4. What experiments did the paper conduct?

    两模型三攻击上平均DSR为91.44%与100%,ORR为8.00%与12.00%。

    实验设置

    • 目标模型:Llama-3-8B-Uncensored 与 DeepSeek-V4-Flash。作者用前者隔离外置防御,用后者看与已有对齐、拒答的配合。二者都按 black-box,不改参数或内部表示;只接收对应防御产出的提示词。
    • 数据:AdvBench 随机 300 条,OR-Bench-Hard 随机 300 条,每条独立评测。对抗设置下,每条 AdvBench 提示词由每种攻击各实例化一次。
    • 攻击:三种 black-box jailbreak:UNIATTACK、CIPHER、DeepInception。
    • 基线:DPP、IA、SR。改写模型为 deepseek-v4-flash-thinking,与目标模型 DeepSeek-V4-Flash 名称不同;评分模型为 Gemma2-9B、Llama3-8B、Mistral-Nemo、Qwen2.5-7B。
    • 指标:DSR 是恶意攻击提示词中未能诱出有害输出的比例;ORR 是良性请求被错误拒绝的比例。论文未说明由规则、人工还是哪个模型判定有害输出或拒绝。
    • 重复:主实验重复次数未写。Table 1 给出均值和 ±,未说明 ± 是标准差还是标准误。

    主结果

    据第5.2–5.3节。DSR 来自 AdvBench 经各攻击变换;ORR 来自 OR-Bench-Hard。DPP、SR 的逐攻击数字只在 Figure 3,正文未给出,故不填。

    Swipe horizontally to read the table

    方法与目标模型UNIATTACKCIPHERDeepInceptionORR
    SRD-GUARD,Llama-3-8B-Uncensored91.00%85.00%98.33%8.00%
    IA,Llama-3-8B-Uncensored97.89%68.33%87.56%45.67%
    SRD-GUARD,DeepSeek-V4-Flash100%100%100%12.00%
    IA,DeepSeek-V4-Flash97.50%99.17%99.50%38.33%
    • 作者称 Llama-3-8B-Uncensored 上 SRD-GUARD 高于 DPP 与 SR,并与 IA 可比;CIPHER、DeepInception 的 DSR 比最强基线高 16.67 与 10.77 个百分点。UNIATTACK 上 IA 为 97.89%,高于 91.00%。
    • 作者称 DeepSeek-V4-Flash 上只有 SRD-GUARD 在三攻击都达到 100% DSR。作者称系统能识别近 93% 恶意攻击,但只拦截风险分不低于 6 的输入,灰区返回带警告的提示词;论文未给出 93% 的分攻击表。
    • 摘要与结论写平均 DSR 为 91.44% 与 100%,ORR 为 8.00% 与 12.00%。第1.2节称相对无防御,两模型 ORR 增加 2.33 与 2.00 个百分点,DSR 提高 70.06–89.07 与 14.83–52.50 个百分点;相对所评基线,平均 DSR 高 30.30 与 15.67 个百分点,ORR 低 10.04 与 10.22 个百分点。第5.2–5.3节用百分号写出同一组差。

    消融(Table 1)

    • 去掉 Rewrite:Llama-3-8B-Uncensored 平均 DSR 从 91.44% 降到 50.66%(41.58±3.46%、47.03±3.51%、63.37±2.77%);DeepSeek-V4-Flash 从 100% 降到 64.52%(49.01±3.51%、90.59±2.05%、53.96±3.51%)。ORR 为 8.47±0.99% 与 16.5±2.62%。作者称低 ORR 来自干预较不激进,代价是防御下降。
    • 去掉 Joint Scoring:改为单一 Llama3-8B。Llama 上 UNIATTACK DSR 为 100%,高于完整系统的 91±0.95%;CIPHER 75±3.06%,DeepInception 96±1.39%。ORR 升至 37±3.42% 与 50±3.54%。作者称 Llama3-8B 容易给出偏高风险分,DSR 上升伴随良性保留变差。
    • 去掉 Decision:Llama 平均 DSR 79.33%、ORR 24.50%;DeepSeek-V4-Flash 为 79.50% 与 32.50%。作者称失去相对风险路由后,敏感输入的干预区分下降。表中 Llama 行写 w/o Decision Module,DeepSeek 行写 w/o Decision Algorithm。

    敏感度(Table 2)

    只在 Llama-3-8B-Uncensored、CIPHER 上改变改写条数或评分模型数。

    • 改写条数 1/3/5/7:DSR 80%、81%、85%、82%;ORR 24%、16%、8%、12%。作者认为五条在表示多样性与决策稳定性之间较合适,增至七条没有额外收益。
    • 评分模型数 1–5:DSR 75%、71%、74%、85%、66%;ORR 37%、17%、26%、8%、32%。第五个是 Phi-3-Mini。作者认为增大集成不一定改善估计,额外评分器的风险判断可能更不兼容。
    • 作者称换成更强的评分或改写模型后性能有可能提高;论文未报告替换后的数字。

    其他消融与分析

    • 相对无防御,第1.2节:Llama 的 ORR +2.33 个百分点、DSR +70.06–89.07 个百分点;DeepSeek-V4-Flash 的 ORR +2.00 个百分点、DSR +14.83–52.50 个百分点。
    • 第1.2与5.3节:相对所评基线,平均 DSR +30.30 与 +15.67 个百分点,ORR 低 10.04 与 10.22 个百分点。
    • 作者称能识别近 93% 恶意攻击,但灰区不全部拦截;论文未给分攻击计算表。
    • 消融讨论中作者称 UNIATTACK 拦截率 100%、DeepInception 86%;未写明对应哪个目标模型,也未写明是完整系统还是单评分器变体。
    • Table 1 完整系统:Llama 为 91±0.95%、98.33±0.43%、85±1.19%、ORR 8±0.91%;DeepSeek 三攻击 100%,ORR 12±1.09%。
    • 论文未报告 DPP、SR 的逐攻击百分比、DSR/ORR 判定协议、重复次数和耗时。
  5. What are some points that can be further explored?

    作者指出四模型评分的部署开销,以及无法同时零拒答与全部防御成功。

    作者指出的局限与后续方向

    • 部署开销(Discussion):评分模块用四个本地 LLM 评估器,而不是轻量二分类器,要处理原文和改写,因而需要额外内存与计算。作者称不能换成只输出二值标签的分类器,因为依赖连续风险分和预定评分标准;相对单分类器或规则过滤,部署可能需要更多硬件。后续方向是更小的 instruction-following 模型或混合轻量评估器。
    • 安全边界含糊(Discussion):作者称 OR-Bench 一类提示词把敏感行为与合法语境绑在一起,统一风险标准下难划清有害意图与可接受使用。绝对风险加相对风险仍不能总是分清。作者称不能同时把过度拒答降到零并让防御全部成功:提高对隐藏有害意图的敏感度可能影响边界上的良性请求,放宽防御则可能留下部分有害请求。作者称危害与良性效用常是连续谱,而不是可严格二分的边界。

    实验覆盖范围

    • 目标模型为 Llama-3-8B-Uncensored 与 DeepSeek-V4-Flash,均按 black-box 使用,不修改参数(第5.1.2节)。
    • 有害侧为 AdvBench 随机 300 条,并分别经 UNIATTACK、CIPHER、DeepInception 实例化;过度拒答侧为 OR-Bench-Hard 随机 300 条(第5.1.1节)。
    • 对照防御为 DPP、IA、SR;指标为 DSR 与 ORR(第5.1.4–5.1.5节)。正文给出逐攻击数字的是 SRD-GUARD 与 IA。
    • 消融在两个目标模型上分别去掉 Rewrite、四模型联合评分和 Decision(Table 1)。改写条数与评分模型数只在 Llama-3-8B-Uncensored、CIPHER 上报告(Table 2),第五个评分器为 Phi-3-Mini。
    • 论文未报告 DSR/ORR 的判定方式、主实验重复次数,以及部署时的查询次数或耗时(第5.1.5节;Discussion 只定性讨论开销)。
  6. Summarize the main content of the paper

    用改写、共识评分和相对风险路由做黑盒防御,两模型平均DSR为91.44%与100%。

    SRD-GUARD 是置于用户与目标 LLM 之间的 parameter-free、black-box 防御,用来处理被语境包装掩盖的越狱,并减少对敏感但良性请求的拒绝。

    • 问题:表层提示词既可能藏有害目标,也可能只是合法的敏感语境;只看原文或一律拒绝,都难兼顾 DSR 与 ORR。
    • 方法:deepseek-v4-flash-thinking 生成五条更直接的改写;Gemma2-9B、Llama3-8B、Mistral-Nemo、Qwen2.5-7B 在 0–10 上取平均。达到 6.0 则拦截,全部低于 3.0 则放行;灰区用改写均值减去原文分,上升则送出最高风险改写并警告,否则保留原文并警告。
    • 主结果:AdvBench 随机 300 条,经 UNIATTACK、CIPHER、DeepInception。Llama-3-8B-Uncensored 的 DSR 为 91.00%、85.00%、98.33%(平均 91.44%),OR-Bench-Hard 的 ORR 为 8.00%。DeepSeek-V4-Flash 三攻击 DSR 均为 100%,ORR 为 12.00%。
    • 对照:同文给出的 IA,两模型 ORR 为 45.67% 与 38.33%;Llama 的 UNIATTACK 上 IA 的 DSR 为 97.89%,高于 SRD-GUARD。作者称相对无防御,DSR 提高 70.06–89.07 与 14.83–52.50 个百分点,ORR 只增 2.33 与 2.00 个百分点。
    • 消融与结论:去掉改写后平均 DSR 降到 50.66% 与 64.52%;改用单一 Llama3-8B 评分后 ORR 升到 37% 与 50%。作者称有效防御不必修改目标模型,也不必使用统一收紧的边界。
Read originalarxiv.org