红队 · 论文

这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。

• 核心定位与研究问题：论文探究以 Llama Guard 和大模型打分提示词为代表的自动安全裁判，在回复的操作性主体内容完全保持不变的情况下，是否会仅因外层语气或框架修饰而改变安全与否的判定。
• 方法设计：研究者设计了 9 种在字节级别保持回复内容不变的样式包装器（包含 6 种隐匿危害与 3 种虚构危害包装，并划分为纯语气层与增添断言层），在来自 JailbreakBench 的 600 条多模型回复上对 8 种评审器展开评测，建立包含噪声底线测定与 Holm 配对校正的评估流程。
• 大模型评审器的盲点：在通用提示词下，GPT-4o-mini 对带有先声明拒绝再遵从框架（refusal-then-comply）的有害回复产生了 19.9% 的翻转率（95% CI [15.0, 24.0]，Holm p < 10^-4），而其在原始回复上的噪声底线仅为 0.5%；三判两胜重测下该翻转率仍保持在 18.2%。
• 部署型审查模型的差异表现：部署型审查模型 Llama Guard 4 对教育场景框架（educational framing）产生了 12.3% 的有害漏报翻转（Holm p < 0.05），对 token 拒绝包装产生了 8.3% 的翻转；而专用推理安全分类器 gpt-oss-safeguard-20b 在全部包装下的翻转率均不超过 1.2%，处于其自身 1.5% 噪声底线之内。
• 提示词改进的防御效果：在相同模型 GPT-4o-mini 上，采用明确要求忽略外层语气的 StrongREJECT 风格提示词后，token 拒绝包装的翻转率从 19.9% 降至 1.7%，降幅约为十倍。
• 作者结论与建议：作者认为安全评审器的脆弱性并非普遍均匀分布，而是呈现模型特异性盲点；作者建议安全基准与防御评估在报告安全得分的同时，应报告面对内容不变修饰时的翻转预算（flip budget），并在采用评审器前对其样式不变性进行先期审计。

1. 研究定位与核心问题：针对大语言模型代码智能体面临的恶意软件生成风险，构建了专门评估代码生成安全护栏的基准 CS-Guard，旨在解决现有评测偏向自然语言指令且缺乏对隐蔽代码恶意意图系统检验的问题。
2. 基准构建与方法设计：基准涵盖文本到代码（1000 条 TTP 提示词、7 种现有越狱及提出的虚构场景攻击 FSA）与代码到代码（331 条恶意代码填空、补全与翻译）两类场景，并建立涵盖类别、操作与位置的三层护栏分类体系，评测了策略型、分类器型及内部型共 9 种护栏。
3. 核心实验结果：基座模型自带对齐在基础 TTP 请求下 ASR 达 15.1%–98.2%（Figure 3）；在隐蔽的单轮 FSA 攻击下，各模型 ASR 上升至 85.9%–99.5%，且输入分类器的 ASR 也高达 73.3%–98.5%（Figure 3、Figure 5）；在代码到代码任务中，基座模型在代码填空上的 ASR 达 95.0%–100.0%（Figure 3）；策略型护栏中仅 SelfReminder 与 SmoothLLM 能带来相对稳定的 ASR 降幅，其余护栏改善有限（Figure 4）。
4. 作者结论与安全启示：作者指出，当前部署的安全护栏难以有效识别共享良性功能特征的隐蔽恶意代码生成请求，且对代码片段处理能力脆弱，建议未来研究探索结合蜜罐防御等新型主动检测机制，并针对代码生成安全建立更全面的防御体系。