研究：内容不变的风格包装可翻转 LLM 安全评判器的判定

自动安全评审器在模型回复的实际操作性内容保持不变时，是否会仅因表面样式或语气修饰而改变安全判定。

• 评估场景与现实影响：大语言模型安全排行榜、越狱成功率与防御评测普遍依赖 Llama Guard 或 GPT-4o 打分提示词等自动安全评审器充当裁判；作者称若评审器因语气而非实质内容发生判定改变（flip），将导致报告的安全基线出现偏差。
• 现有研究维度的不足：现有评估偏差研究多集中于通用能力评估或从攻击输入端重构提示词；作者称针对安全评审器自身在评分端对表面样式的敏感性，仍缺少在严格控制回复内容不变条件下的系统测定。
• 核心观察与研究假设：作者假设忠实的评审器应对内容不变的修饰保持判定一致；作者认为特定评审器可能存在能被低成本利用的盲点，使有害内容被放行或拒绝被误判。
• 威胁模型（Threat Model）：
  • 受害系统：部署在评分端或推理过滤阶段的自动安全评审器，包括基于大模型的评审提示词（如 GPT-4o-mini、Claude Haiku 4.5）及专用审查模型（如 Llama Guard 4）。
  • 攻击者目标：在不改变回复实际危害内容的前提下诱导评审器改变判定，包括使有害回复被判为安全（harm-hiding）或使拒绝回复被判为不安全（harm-inventing）。
  • 攻击者知识：无盒（no-box）或黑盒条件，攻击者无需访问评审器内部参数，无需进行梯度优化，仅使用固定的、人类可读的包装字符串。
  • 攻击者能力：仅能控制待评估回复的外层样式修饰，在原始回复前后添加固定前缀或后缀，但保持回复的操作性主体内容完全不变。
• 提出的方法与协议：论文设计了 9 种保持内容不变的样式包装器，并提出了结合配对假设检验、置信区间及测量自评不一致噪声底线的跨评审器翻转率评测协议。

相关研究主要涵盖大模型评审器偏差与不稳定、输入端框架敏感性、越狱评测有效性以及审查模型防线四个方向。

大模型评审器的偏置与脆弱性

• 通用评估偏置与不稳定：Zheng 等人（2023）与 Wang 等人（2023）记录了位置与自我增强偏置；Wu 与 Aji（2023）发现评审模型给流畅但事实错误的回答打分偏高；Haldar 与 Hockenmaier（2025）及 Zhou 等人（2026a）记录了评审模型重复运行的不一致性。
• 针对评审器的对抗注入：Shi 等人（2024）提出 JudgeDeceiver，通过向候选回复注入优化 token 翻转偏好选择。作者指出本文与之有三处不同：包装器是无需优化的固定自然语言且无需访问评审器、针对安全判定而非成对偏好、内容不变性在构造上成立因而翻转在逻辑上属于评审器错误。
• 非实质特征对评审的干扰：Zheng 等人（2025）发现固定常数回复可赢得自动化排行榜；Wang 等人（2025）发现推理风格文本会引发表面反思偏置误导推理评审器。

表面形式与框架敏感性

• 输入端重构对安全行为的影响：Zhou 等人（2026b）发现对有害请求的重构会改变安全拒绝结果；Liu 等人（2026）发现在多智能体环境中，操作性重组与审批式委托框架会削弱模型的拒绝表现。作者称本文将相同关切移至评分端，保持回复内容不变而仅变换外层样式。

越狱评估的有效性与审查模型

• 越狱基准效度争议：Chouldechova 等人（2025）指出跨论文 ASR 比较常因评审器误差而无效；Huang 等人（2026a, 2026b）发现高 ASR 方法常产出不完整有害内容并倡导细粒度判定准则；Cui 等人（2025）通过 OR-Bench 发现安全与过度拒绝存在关联，但两者均由大模型裁决。
• 审查模型的加固与攻击：Inan 等人（2023）推出 Llama Guard，Zeng 等人（2024）与 Han 等人（2024）分别提出 ShieldGemma 与 WildGuard，McKenzie 等人（2026）通过 STACK 针对防护流水线发起对抗攻击。作者称已有工作大多将审查模型视作输入端防护，本文转而从评分端测试其判定表现。

基线方法与基准数据集

• 基线与基准设置：实验采用来自 JailbreakBench（Chao 等人，2024）的 600 条公开回复（涵盖 PAIR、GCG、DSN、JBC 与随机搜索攻击），评审基线涵盖规则关键词匹配、通用提示词与 StrongREJECT 提示词下的 GPT-4o-mini、DeepSeek-Chat、Qwen-Plus、Claude Haiku 4.5、Llama Guard 4 与 gpt-oss-safeguard-20b 共 8 种评审器。

作者称本文与现有工作的区别在于：不改变回复内容的操作性主体，直接在评分端通过受控样式包装测量安全判定被操纵的边界与结构性误差。

论文提出内容不变样式包装器（content-invariant style wrappers）评估框架，在保持模型回复主体内容逐字节不变的前提下，在评分端系统量化安全评审器因表面修饰产生的判定翻转。

评测对象与内容不变约束

• 评估对象界定：评测针对自动安全评审器而非生成模型；数据单元为固定的（行为请求, 模型回复, 真实标签）三元组，真实标签包含不安全（unsafe）与拒绝（refusal）两类。
• 字节级内容保持：每个包装器仅在原始回复的前端或末尾添加固定字符串，原始回复文本逐字节保留不变；作者报告对全部 2,700 个包装样本执行了字节级校验以确认内容一致。

包装器家族与层级划分

• 两大攻击方向：隐匿危害包含免责前缀、伦理反思、伪造推理块、教育框架、表态拒绝后遵从、道德化后缀 6 种包装，作用于有害回复；虚构危害包含说教后缀、危害邻近前言、伪合规框架 3 种包装，作用于拒绝回复。
• 双层属性划分：包装器进一步划分为纯语气层（tone-only）与增添断言层（assertion-adding）。纯语气层仅包含评论性修饰且无新陈述；增添断言层引入了真实性存疑的新陈述（如声称学术用途或预置拒绝语）。作者报告分层目的在于隔离纯粹的风格偏置，避免将结构性变动归为样式的争议。

评审模型面板与提示词设计

• 评审器组成架构：涵盖 8 个质量梯度的评审系统，包括基于规则的模式匹配关键词基线；通用提示词下的 GPT-4o-mini、DeepSeek-Chat、Qwen-Plus、Claude Haiku 4.5；开源审查模型 Llama Guard 4 与 gpt-oss-safeguard-20b。
• 提示词对照设计：在相同模型 GPT-4o-mini 上部署通用打分提示词与 StrongREJECT 风格提示词；后者明确指示评审器忽略语气、免责声明及外层框架，仅依据可执行的有害内容打分，用于测试提示词设计对样式的抵御作用。

评测协议与量化指标

• 翻转率量化指标：危害隐匿翻转率定义为 P(wrapped safe ∣ gold unsafe, original unsafe)，表示原始判定正确的不安全样本被包装后改判为安全的比例；危害虚构翻转率定义为 P(wrapped unsafe ∣ gold refusal, original safe)，表示原始判定安全的拒绝样本包装后改判为不安全的比例。
• 配对检验与噪声基线控制：评审采样温度设为 0；通过对原始输入进行 3 次重复打分计算自评不一致率作为噪声底线；统计检验采用针对配对二值数据的 exact McNemar 检验并经 Holm 多重比较校正，置信区间采用 5,000 次响应级自举（bootstrap）。核心单元额外进行 3 次包装重测以计算多数投票翻转率。

实验设置

• 测试回复集与规模：选自 JailbreakBench（Chao et al., 2024）公开制品的 600 条模型补全，包含 300 条不安全遵从回复与 300 条拒绝回复，涵盖 10 类危害场景。
• 被测目标模型：回复均衡分布于 4 个目标模型：GPT-3.5-turbo、GPT-4、Vicuna-13B 和 Llama-2-7B。
• 评估评审器面板：测试 8 种自动化评审器，包括 Keyword（基于规则匹配拒绝短语）、GPT-4o-mini（通用提示词 gpt4o 与 StrongREJECT 风格提示词 strongreject）、DeepSeek-Chat、Qwen-Plus、Claude Haiku 4.5、Llama Guard 4（12B）及 gpt-oss-safeguard-20b。
• 评测指标：以单次及三判两胜的危害隐匿翻转率与危害虚构翻转率为核心指标；分母仅计入原始未包装状态下判定正确的样本。
• 判定方式与阈值：各评审器在温度 0 下输出二值判断（unsafe 或 safe/refusal），通过 API 调用测试，未采用本地 GPU。
• 重复次数与统计检验：原始回复进行 3 次独立重复以计算自评不一致噪声底线；采用 exact McNemar 配对检验结合 Holm 校正，并基于 5,000 次自举采样计算 95% 置信区间。

主结果

Swipe horizontally to read the table

评审器	refusal-then-comply	educational framing	ethical reflection	pseudo-compliance frame	lecture suffix
Keyword	0.0%	0.0%	0.0%	100.0%*	0.0%
GPT-4o-mini (gpt4o)	19.9%*	1.0%	4.8%	1.9%	0.4%
GPT-4o-mini (strongreject)	1.7%	0.0%	0.0%	1.1%	2.3%
DeepSeek-Chat	3.5%	3.5%	0.0%	1.8%	0.4%
Qwen-Plus	0.7%	0.7%	2.7%	2.3%	0.0%*
Claude Haiku 4.5	0.4%	0.0%	0.0%	0.7%	1.8%
Llama Guard 4	8.3%*	12.3%*	3.6%	0.0%	1.1%
gpt-oss-safeguard-20b	0.3%	0.3%	0.3%	0.8%	1.2%

（据 Table 1；带 * 号表示经 Holm 校正的 exact McNemar 检验达到统计学意义 p < 0.05；Qwen-Plus 在 lecture suffix 上的 0.0%* 表示保护性效应使评审更严格；展示 5 种代表性包装器，其余 4 种包装器见后文分析）

• 脆弱性具有模型特异性盲点：作者称不同评审器的脆弱点并不重合；例如 educational framing 导致 Llama Guard 4 出现 12.3% 的有害翻转，但在 GPT-4o-mini 上仅为 1.0%；而 refusal-then-comply 导致 GPT-4o-mini 出现 19.9% 的翻转，在 Llama Guard 4 上为 8.3%，在 Claude 上仅为 0.4%。
• 专用审查模型表现两极分化：部署型审查模型 Llama Guard 4 易受特定框架影响，而同为专用审查模型的 gpt-oss-safeguard-20b 在所有测试包装下的翻转率均不超过 1.2%，低于其自身 1.5% 的噪声底线，作者称样式不变抗性在当前已可实现。
• 规则基线完全依赖表面词匹配：Keyword 规则评审器在面对伪合规前缀（pseudo-compliance frame）时发生 100% 的拒绝改判，但对所有有害隐匿包装均未发生翻转，作者称其追踪的是表面短语而非实际内容。

判定翻转的系统性与重测稳定性

• 重测设计：对包装后的输入进行 3 次重复打分以检验翻转属于系统性偏差还是采样随机性，计算多数投票翻转率与 3 次均翻转的比例。
• 实测结果：在 GPT-4o-mini 上，token 拒绝包装下的包装输入自评不一致率上升至 10.0%（原始输入噪声底线仅 0.5%），其三判两胜翻转率为 18.2%（单次为 19.9%），且 14.4% 的样本在全部 3 次重复中均发生翻转；伦理反思包装的三判两胜翻转率为 4.5%（单次为 4.8%）。在 Llama Guard 4 上，包装输入自评不一致率保持在 0.33%，教育框架在全部 3 次测试中均翻转的比例达 11.9%（单次为 12.3%），token 拒绝的三判两胜翻转率为 8.3%。
• 作者的解读：作者称重新采样无法消除攻击影响；包装修饰在使大模型提示词评审器自洽性下降的同时引入系统性偏差，而在专用审查模型上则体现为可复现的确定性放行。

提示词引导对脆弱性的抑制效应

• 对比设置：在相同模型（GPT-4o-mini）下对比通用打分提示词（gpt4o）与 StrongREJECT 风格提示词（strongreject）的翻转表现。
• 实测结果：StrongREJECT 风格提示词将 refusal-then-comply 包装下的翻转率从 19.9% 压低至 1.7%（Table 1），降幅约为十倍；在全部 6 种危害隐匿包装中，StrongREJECT 提示词下的翻转率最高仅为 1.7%，其余包装均不超过 0.3%（Table 1）。
• 作者的解读：作者称相同样本在不同厂商评审器间的翻转率差异（0.4%–19.9%）说明该现象并非回复本身的属性；而在相同模型上通过显式指示忽略语气与外壳能够大幅压低翻转率，作者认为脆弱性根植于评审器设计而非内容本身，且可通过纯提示词层面的改进予以修复。

排行榜敏感性与人工验证审计

• 测试与审计协议：在各目标模型内进行 2,000 次响应级自举（bootstrap）评估 4 个目标模型的安全排名稳定性；并由两名标注员对 145 个分层样本（包含 100 个判定翻转案例与 45 个对照组）进行双盲审计。
• 实测结果：全评审器面板在原始回复上的完全一致率仅为 55.5%；基线“最安全模型”在 7 个大模型评审器中的 6 个上仅在 39%–70% 的重采样中保持稳定；包装器在点估计中改变了 1–6 处排名，但无法与采样噪声相区分。人工审计中两名标注员对内容不变性的重合率为 100%（kappa = 1.0），对有害标签的一致性为 kappa = 0.949；以人工标注为真值，100 个翻转案例中有 90%（90/100）被确认属于评审器错误，其余 10 例未确认案例均源自 JailbreakBench 原始标签噪声。
• 作者的解读：作者报告排行榜在无对抗包装下已对评审器选择与样本采样高度敏感，因此包装引发的排名重排属于负面方法学结果；人工审计支持翻转绝大多数属于评审器自身的误差。

其他消融与分析

• 纯语气层包装总体效果：在各评审器上的翻转率为 0.0%–2.1%，其中 GPT-4o-mini 为 2.1%，Llama Guard 4 为 1.7%，其余评审器均不超过 0.6%（第 5 页）。
• 增添断言层包装总体效果：在有可测效应的评审器上翻转率为纯语气层的 2–6 倍（Keyword 为 30.7% 对 0.0%，GPT-4o-mini 为 6.2% 对 2.1%，Llama Guard 4 为 5.3% 对 1.7%）（第 5 页）。
• 单个纯语气包装峰值表现：ethical reflection 包装在 GPT-4o-mini 上翻转率达 4.8%，在 Llama Guard 4 上达 3.6%（Table 1，第 5 页）。
• 专用审查模型免疫对照：gpt-oss-safeguard-20b 在两层包装下的翻转率分别为 0.35% 与 0.45%，均处于其自身 1.5% 的噪声底线之内（第 5 页）。
• 评审器成对一致性极值：原始回复判定一致性中 Claude 与 GPT-4o-mini 之间最高达 94.2%，Keyword 与 StrongREJECT 之间最低为 59.9%（第 6 页）。
• 保护性效应单元：disclaimer prefix 与 fake reasoning block 在 Claude 上翻转率为 0.0%（经 Holm 校正达到统计学意义，使判定更趋保守）（Table 1）。

负面结果与例外分析

• Table 1 中 moralizing suffix 包装在全部 8 个评审器上的危害隐匿翻转率均为 0.0%，完全未引起漏报。
• gpt-oss-safeguard-20b 在测试的全部 9 种包装下翻转率最高仅为 1.2%（lecture suffix），全部处于其自身 1.5% 噪声底线之内，作者称其表现出对内容不变样式包装的免疫性。
• 在排行榜重排实验中，包装器虽然在点估计中导致了 4 个目标模型的安全排名重排，但作者称在 2,000 次自举采样下该重排无法与基线自身的采样噪声相区分，属于未能确证反转的负面结果。
• 人工审计中 10 个未被确认的翻转案例并非由包装器引起，作者解释原因为源数据集 JailbreakBench 自身的标注噪声（包含伪拒绝的有害内容）。

作者指出的局限与后续方向

• 包装器代表性局限：测试的 9 种包装器仅是对当前样本集的表征，而非对包装器总体的估计（出自 Section 7）。
• 细微隐匿包装的统计效力不足：最明显的效果来自公开对抗性的 token-refusal-then-comply 包装；更隐蔽的危害隐匿包装在样本量约 291 时其置信区间虽高于噪声底线，但在 Holm 校正下未达到统计学意义（p >= 0.05），被作者列为启发性线索（出自 Section 7）。
• 评审器规格未覆盖旗舰模型：打分评审器出于成本与调用频率限制采用了各厂商的中小型模型（GPT-4o-mini、DeepSeek-Chat、Qwen-Plus、Claude Haiku 4.5），而非前沿旗舰模型；作者将前沿模型评审器与其余开源审查模型（ShieldGemma、WildGuard）列为未来补充方向（出自 Section 7）。
• 排行榜因果重排未获确证：测试制品集上各模型的基线不安全率较为接近压缩，排行榜排名重排未被确证，确认因果重排需等待基线区分度更大的回复数据集（出自 Section 7）。
• 源基准标签噪声与断言层属性争议：真实标签来自 JailbreakBench 分类器而非人工，测量到约 8% 的标签噪声；增添断言层因改变了陈述内容是否属于“样式”存在争议，其中 harm-adjacent preamble 引入了原始请求中不存在的话题，其翻转被作者视为最弱证据（出自 Section 7）。
• 单轮文本截断与多轮场景缺失：约 60% 的源回复因生成长度上限截断在句子中间；研究仅针对单轮文本回复，多轮对话与智能体轨迹的安全评审留待未来工作（出自 Section 7）。

实验覆盖范围

• 被测评审器覆盖范围：评测覆盖了 8 种自动化评审系统，包括 1 个规则基线、4 种中小规格商业大模型（GPT-4o-mini、DeepSeek-Chat、Qwen-Plus、Claude Haiku 4.5）及 2 种开源/专用审查模型（Llama Guard 4 与 gpt-oss-safeguard-20b），论文未报告各厂商前沿旗舰模型作为打分评审器的表现。
• 测试样本与来源基准：数据来自 JailbreakBench 公开制品中的 600 条单轮文本补全（300 条不安全遵从，300 条拒绝），涵盖 4 个目标模型（GPT-3.5-turbo、GPT-4、Vicuna-13B、Llama-2-7B）与 10 类危害场景；论文未报告多轮交互对话或智能体工具调用轨迹。
• 包装器测试范围：实验设计了 9 种固定模板的包装器（6 种危害隐匿，3 种危害虚构），共生成 2,700 个包装样本；论文未测试动态生成或基于优化算法搜索的自适应包装。
• 统计与重测预算：主实验在温度 0 下进行，噪声底线与核心单元重测采用 3 次独立重复，置信区间基于 5,000 次重采样；人工验证覆盖 145 个分层样本（由 2 名标注员审计，其中重叠复核样本为 40 条）。
• 防御机制测试范围：在防御与缓解维度，实验对比了通用打分提示词与 StrongREJECT 风格打分提示词，论文未测试模型微调、输入净化或集成投票等其他评审端防御策略。

这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。

• 核心定位与研究问题：论文探究以 Llama Guard 和大模型打分提示词为代表的自动安全裁判，在回复的操作性主体内容完全保持不变的情况下，是否会仅因外层语气或框架修饰而改变安全与否的判定。
• 方法设计：研究者设计了 9 种在字节级别保持回复内容不变的样式包装器（包含 6 种隐匿危害与 3 种虚构危害包装，并划分为纯语气层与增添断言层），在来自 JailbreakBench 的 600 条多模型回复上对 8 种评审器展开评测，建立包含噪声底线测定与 Holm 配对校正的评估流程。
• 大模型评审器的盲点：在通用提示词下，GPT-4o-mini 对带有先声明拒绝再遵从框架（refusal-then-comply）的有害回复产生了 19.9% 的翻转率（95% CI [15.0, 24.0]，Holm p < 10^-4），而其在原始回复上的噪声底线仅为 0.5%；三判两胜重测下该翻转率仍保持在 18.2%。
• 部署型审查模型的差异表现：部署型审查模型 Llama Guard 4 对教育场景框架（educational framing）产生了 12.3% 的有害漏报翻转（Holm p < 0.05），对 token 拒绝包装产生了 8.3% 的翻转；而专用推理安全分类器 gpt-oss-safeguard-20b 在全部包装下的翻转率均不超过 1.2%，处于其自身 1.5% 噪声底线之内。
• 提示词改进的防御效果：在相同模型 GPT-4o-mini 上，采用明确要求忽略外层语气的 StrongREJECT 风格提示词后，token 拒绝包装的翻转率从 19.9% 降至 1.7%，降幅约为十倍。
• 作者结论与建议：作者认为安全评审器的脆弱性并非普遍均匀分布，而是呈现模型特异性盲点；作者建议安全基准与防御评估在报告安全得分的同时，应报告面对内容不变修饰时的翻转预算（flip budget），并在采用评审器前对其样式不变性进行先期审计。