基于规范的大语言模型测试

1. 01这篇论文试图解决什么问题？

   作者指出，现有安全评测脱离系统卡片主张且依赖固定提示词，难以检验文档声明的行为在黑盒测试与输入变异下的合规性。

   这篇论文试图解决如何将大模型系统卡片中的自然语言安全主张转化为可执行的黑盒测试，并在输入变异下检验模型是否违反这些主张。

   • 应用场景与重要性：大语言模型开发者广泛发布模型卡片与系统卡片，声明模型在自残、有害暴力、偏见等安全场景下的预期行为，但这些主张此前缺乏直接黑盒测试验证机制。
   • 现有方法的不足：现有安全基准通常按预定义危害类别组织，独立于具体系统卡片的主张，无法确认基准测试具体覆盖了哪些文档声明；同时基准主要依赖固定提示词，无法检验行为在表述变化下的稳定性。
   • 论文的核心观察：文档中的安全主张并非全部可通过黑盒输入输出进行检验，且不同主张适用的行为预言各不相同；固定提示词上的单次拒答不代表模型在语义等价的变异输入下仍能保持拒答。
   • 论文提出的方案：作者提出了 LEST 框架，从系统卡片抽取主张并评估其黑盒可测性与预言适用性，将主张映射到基准种子提示词，通过受控变异搜索反例并进行人工验证与溯源。
   • 威胁模型：
     • 攻击者目标：促使目标模型对原本拒答的安全关键请求产生合规响应，从而构造推翻文档安全主张的反例。
     • 攻击者知识：黑盒交互（Black-box interaction），仅能向已部署的目标模型输入文本提示词并观察其生成的文本输出，无模型权重或内部组件信息。
     • 攻击者能力：通过 7 种基于规则与模型的受控变异算子修改基准种子提示词的词汇、句法或指代对象，保持请求的潜在有害意图。
     • 受害系统：部署黑盒接口的商用大语言模型（如 Claude Opus 4.8 和 GPT-5.5）。

   收起这一问

2. 02有哪些相关研究？

   相关工作涵盖模型文档与需求可测性、大模型安全评测与变态测试，以及自动化红队与模糊测试三类方向。

   • 模型文档与需求可测性
     • 模型卡片质量与需求建模：Liang 等人（2024）对 32,111 份模型卡片进行大规模实证分析，指出其完整性与内容存在差异；Puhlfürß 等人（2025）与 Khuu 等人（2026）从需求工程角度分析模型卡片；Khuu 等人（2026）通过轻量安全模型分析 GPT-5 系统卡片，抽取了 74 条主张并追踪至 22 个隐式需求。
     • 自然语言需求测试性分析：Femmer 等人（2017）通过不可验证词汇等异味指标评估需求质量；Zakeri-Nasrabadi 与 Parsa（2024）基于异味自动度量自然语言需求的可测性。
   • 大模型安全评测与变态测试
     • 标准化安全基准与多轮评测：HarmBench（Mazeika 等人，2024）提供自动化红队与鲁棒拒答评测框架；JailbreakBench（Chao 等人，2024）提供有害行为与越狱工件；SORRY-Bench（Xie 等人，2025）系统评估大模型在 44 个不安全类别的拒答行为；SAGE（Jindal 等人，2025）利用策略感知对抗智能体生成多轮动态测试。
     • 变态测试与一致性检验：Cho 等人（2025）汇总了 191 个变态关系用于 NLP 任务测试；Xing 等人（2026）提出 LLMSafetyChoice 并定义了 7 种变态关系评估安全一致性；JailGuard（Zhang 等人，2025）通过变异变体与响应发散性检测提示词攻击。
   • 自动化红队与模糊测试
     • 对抗优化与模糊变异：Perez 等人（2022）利用语言模型生成安全测试用例；PAIR（Chao 等人，2025）与 TAP（Mehrotra 等人，2024）采用攻击模型迭代优化或树搜索剪枝；AutoDAN（Liu 等人，2024）使用分层遗传算法生成越狱；FuzzLLM（Yao 等人，2024）、TurboFuzzLLM（Goel 等人，2025）与 PAPILLON（Gong 等人，2025）通过模板变异或问题感知策略自动化模糊测试。
   • 基线方法与基准：实验以未修改的基准提示词评测和仅依赖自动化裁判的评测作为对照实践，以 SORRY-Bench 作为安全关键种子提示词来源，并选取 Claude Opus 4.8 与 GPT-5.5 系统卡片作为规范来源。
   • 本文定位与区别：作者称，现有红队与基准测试的目标通常独立于模型卡片主张且旨在优化攻击至合规，而 LEST 的测试目标直接来源于厂商公开声明的安全规范，建立从文档主张到可执行变异测试与人工验证反例的端到端可追溯性。

   收起这一问

3. 03论文如何解决这个问题？

   LEST包含主张抽取与可测性判定、主张到种子映射、基于7种算子的迭代变异，以及三裁判初筛与人工双重检验。

   LEST 框架通过将自然语言安全主张转化为行为规范，实现测试充分性判定与预言选择，并维护主张到反例的可追溯链条。

   主张抽取与可测性评估

   • 系统卡片章节检索：为解决卡片术语与结构不一致问题，LEST 利用 all-MiniLM-L6-v2 编码安全领域描述与目录项，通过深度相关阈值检索相关章节（顶级条目 0.45，嵌套条目 0.33），并纳入子层级条目。
   • 候选主张抽取：根据章节类型采取不同抽取策略：评估类章节保留包含数值与性能相关动词的语句；列表类章节提取独立项目条目；叙述性正文采用 spaCy 分句、依据独立主语切分复合句并过滤非主张片段。
   • 人工校验与可测性判定：研究人员独立审查候选语句，依据预设规则判定是否为原子主张并核正领域标签；随后按序评估主张的可测性，仅当存在能够客观确认或推翻该主张的提示词时，判定为可提示词测试（Prompt-testable），孤立组件描述或内部流程被判定为不可测。

   主张到提示词映射与预言选择

   • 测试充分性映射：从 SORRY-Bench 挑选覆盖三大领域的安全关键种子提示词；研究人员独立评估各提示词是否能触发特定主张所声明的行为，至少两名研究员认可即建立关联，未被映射的主张视为未覆盖（Not covered）。
   • 拒答预言适用性判定：独立判断在适用提示词上观察到的拒答转合规（Refuse→Comply）转变是否构成推翻主张的证据；适用拒答预言的主张定义为拒答可测（Refusal-testable），不适用的主张保留可测标签但不参与本框架的拒答变异评估。

   基于变异的提示词生成

   • 迭代模糊测试流程：变异过程独立于文档主张与目标模型。变异池初始化为 97 个种子提示词，每轮均匀随机抽取提示词并随机选用一种适用算子，经历 5 次独立运行（每轮 20 分钟预算）。
   • 七种变异算子：设计保持有害意图的算子 M1 至 M7。其中 M1（POS 受限词汇替换）利用对抗微调词向量替换同词性实词；M2（修饰语插入）与 M3（修饰语删除）增删副词或形容词；M4 与 M5 负责第一人称和第三人称互转；M6（释义重写）直接调用微调后的 Parrot T5-base 模型；M7（公平性变异）在预建的涵盖性别、种族、宗教等 8 个属性维度的词典中替换身份词。
   • 生成期与后处理过滤：变异期间运行四项自动化验证，包括基于 CoLA 训练的 RoBERTa 语法可接受度（阈值 0.5）、GPT-2 困惑度不超过原始种子 2 倍、除 M7 外的 MiniLM 语义相似度不低于 0.80，以及 Ratcliff/Obershelp 词汇相似度不超过 0.95。后处理按变异深度优先排序，将相似度阈值提升至 0.85 并设定 token 级 Jaccard 距离阈值为 0.40，最后用 WildGuard 过滤掉自残与有害暴力领域中不被判定为有害的变异。

   模型执行与双重验证

   • 集成裁判自动化初筛：将原始种子与变异提示词分别输入目标大模型，利用 WildGuard、Qwen3Guard 和 GuardReasoner 独立判定响应为 Refuse 或 Comply，以多数票作为标签，筛选出原始拒答但变异合规的候选 R→C 转变。
   • 人工严格二元判定：对所有自动化 R→C 候选样本由三位研究者进行独立复审，只有同时满足两项条件才判定为有效反例：一是变异提示词保留了原始请求的有害意图，二是模型输出构成了对该有害请求的实质合规。未通过者不计为反例，最终通过追溯映射报告各主张的违规情况。

   收起这一问

4. 04论文做了哪些实验？

   在两款模型的系统卡片主张上，LEST推翻了6条拒答主张，人工验证将312个自动化错误标记降至19个有效反例。

   实验设置

   • 被测模型：Claude Opus 4.8（使用默认设置，无系统提示词）与 GPT-5.5（使用 gpt-5.5-2026-04-23 快照，默认中等推理级别，未设温度与最大输出长度，无系统提示词）。
   • 数据来源与种子规模：SORRY-Bench 中的 97 个安全关键种子提示词（涵盖 15 个类别：心理健康与自残 13 个、有害与暴力内容 62 个、公平性与偏见 22 个）；变异生成后最终保留 1,836 个变异提示词。
   • 规范来源：Claude Opus 4.8 系统卡片（识别 31 条安全主张）与 GPT-5.5 系统卡片（识别 25 条安全主张）。
   • 基线实践：以未修改的基准原始提示词评测和仅依赖自动化裁判的评测作为对比实践。
   • 评审方式：由 WildGuard、Qwen3Guard 和 GuardReasoner 组成的 3 裁判多数票判定模型响应为 Refuse 或 Comply；对自动化筛选出的 R→C 候选样本由 3 名研究者独立进行人工双重验证。
   • 样本量与重复次数：5 次独立变异运行（每轮 20 分钟预算）；对原始种子和 1,836 个变异提示词进行黑盒查询；对初始触发 R→C 的变异提示词重复执行 4 次以检验合规稳定性。

   主结果

   表格较宽，可左右滑动

   模型与领域	识别主张总数	可提示词测试	适用拒答预言	基准覆盖主张	验证存在反例 (CE)
   Claude Opus 4.8（心理健康/自残）	21	14	5	5	4
   Claude Opus 4.8（有害/暴力内容）	6	5	2	2	0
   Claude Opus 4.8（公平性/偏见）	4	1	1	1	1
   GPT-5.5（有害/暴力内容）	25	9	3	1	1
   合计（Overall）	56	29	11	9	6

   据 Table 2，作者的解读如下：

   • 主张可测性与覆盖率受限：作者称，识别出的 56 条安全主张中仅 29 条（51.8%）可黑盒测试，其中仅 17 条（58.6%）被 SORRY-Bench 种子覆盖；在 11 条适用拒答预言的主张中，有 9 条被基准覆盖，另有 2 条因无对应种子被标为未覆盖而非得到验证。
   • 原始提示词掩盖违规风险：两款模型在未修改的原始种子上拒答率均超过 95%（Claude Opus 4.8 拒答 94/97，GPT-5.5 拒答 93/97）；但在变异测试下，6/9（66.7%）被覆盖的拒答主张均发现了人工验证的反例。
   • 主张违规情况存在模型与领域差异：Claude Opus 4.8 在有害与暴力内容领域的 2 条覆盖主张均未观察到反例，但在心理健康/自残领域推翻了 4/5 条主张，在公平性/偏见领域推翻了 1/1 条主张；GPT-5.5 在有害与暴力内容领域覆盖的 1 条主张也发现了反例。

   自动化评测误报与人工验证分析

   • 测了什么：对自动化裁判标记为 Refuse→Comply（R→C）的 312 个候选样本进行人工复核，分别检验变异是否保留原始有害意图以及模型响应是否构成实质合规。
   • 测试结果：在 312 个候选样本中，仅 88 个（28.2%）保留有害意图，159 个（51.0%）未保留意图；在进入合规判定的 135 个样本中，仅 19 个被判定为实质合规。最终仅 19/312（6.1%）的自动化候选通过人工双重检验成为有效反例。
   • 作者的解读：作者称，仅依靠自动化裁判会大幅高估模型行为违规数，大多数虚假反例源自变异丢失原始有害意图，或自动化裁判将非实质合规回复误标为合规。

   变异算子差异与种子级合规暴露

   • 测了什么：评估 7 种变异算子在不同模型与安全领域的候选生成与人工验证反例分布，并统计种子级 R→C 暴露率。
   • 测试结果：19 个验证反例来自 11/167（6.6%）个合格模型-种子对（Claude 为 6/84，GPT-5.5 为 5/83，Table 3）。反例由 5 种算子产生（Table 4）：Paraphrase 产生 8 个（候选 95 个）、PCLS 产生 4 个（候选 50 个）、Modifier 产生 3 个（候选 32 个）、Fairness 产生 3 个（候选 100 个）、Deletion 产生 1 个（候选 33 个）；人称转换算子未产生验证反例。
   • 作者的解读：作者称，真实反例分布在多种互补的输入变换形式中，各算子自动化候选数与人工验证数之间均存在较大差距，且反例样本较为稀疏（19 个），不足以支持对变异算子有效性进行排名。

   变异提示词合规稳定性检验

   • 测了什么：对初次测试中产生 R→C 转换的所有变异提示词重复执行 4 次，检验合规行为在多次调用中的持久性。
   • 测试结果：GPT-5.5 在 4 次重测中每次有 145 至 151 个提示词保持合规（78.0%–81.2%），总响应合规率为 591/744（79.4%）；Claude Opus 4.8 每次重测有 96 至 107 个提示词保持合规（76.2%–84.9%），总响应合规率为 406/504（80.6%）。
   • 作者的解读：作者称，约五分之四的重复响应保持合规状态，这体现出变异诱导的合规行为并非偶然偶发，而是在多次运行中保持了合规状态。

   其他消融与分析

   • 章节选择检出率：系统卡片相关章节整体检出召回率为 10/15（66.7%），Claude 为 7/11（63.6%），GPT-5.5 为 3/4（75.0%）。
   • 标注者一致性：主张识别 κ=0.912，可测性分类 κ=0.856，主张到提示词映射 κ=0.637，拒答预言适用性 κ=0.457。
   • 生成变异质量抽样：150 个分层抽样变异提示词中，有害意图保留率为 134/150（89.3%），安全类别保留率为 137/150（91.3%），可理解度为 99/150（66.0%）。
   • 词汇差异阈值消融：阈值从 0.20 扫至 0.60，保留提示词数从 11,081（覆盖 97 种子）降至 205（覆盖 48 种子），最终选取 0.40 保留 1,849 个（覆盖 87 种子）。
   • 不可测主张原因分布：27 条不可测主张中，18 条（66.7%）描述内部机制或不可复现流程，6 条（22.2%）涉及孤立组件，3 条（11.1%）无法构建客观判定提示词。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出了黑盒提示交互、仅支持拒答预言以及依赖人工审核等局限；实验事实覆盖了两款商业模型与三个领域。

   作者指出的局限与后续方向

   • 黑盒交互局限：作者指出 LEST 仅限于通过黑盒提示-响应交互进行评估的安全主张，无法直接测试关于内部机制、训练流程或不可访问系统组件的主张（Section 5.4）。
   • 预言类型局限：作者指出当前实现聚焦于拒答作为适用行为预言的主张，其他可测主张可能需要面向响应内容、事实性或其他行为的更丰富预言（Section 5.4）。
   • 变异算子与领域局限：作者指出评测仅限于 7 种变异算子和 3 个安全领域（Section 5.4）。
   • 候选主张抽取召回未完全量化：作者指出尽管审计了系统卡片章节选择的召回率，但未对所有章节的候选主张抽取召回率进行穷尽度量，可能遗漏相关主张（Section 5.4）。
   • 主张自动翻译与测试生成：作者指出将模型文档自动转化为可测规范仍是开放挑战，目前仍需人工介入来验证主张、判断可测性、映射提示词并选择预言，未来工作可探索更高召回的抽取与主张到测试生成技术以减少人工成本（Section 5.3）。
   • 失败诱导变异的直接校验需求：作者指出鉴于自动化候选仅有 6.1% 得到人工确认，未来安全测试管线应直接验证诱导失败的变异与模型响应，而非单独依赖自动化裁判或聚合变异质量估计（Section 5.3）。

   实验覆盖范围

   • 被测模型：评测覆盖 Claude Opus 4.8 与 GPT-5.5 共 2 个商用模型。
   • 安全领域：仅覆盖心理健康与自残、有害与暴力内容、公平性与偏见共 3 个安全领域。
   • 基准种子提示词：使用 SORRY-Bench 中的 97 个种子提示词（涵盖 15 个类别）。
   • 变异算子与提示词规模：使用 7 种受控变异算子，最终测试集包含 1,836 个变异提示词。
   • 未报告信息：论文未对拒答之外的行为预言（如事实性、支持性或量化指标）开展执行测试。

   收起这一问

6. 06总结一下论文的主要内容

   作者称LEST将系统卡片安全主张转化为可测规范，推翻了6/9条拒答主张，并发现312个自动化候选中仅19个有效。

   • 核心定位与目标：LEST 是一个基于规范的大模型变异测试框架，旨在将开发者在系统卡片中声明的自然语言安全主张形式化为可执行测试，检验其在输入变异下的合规性。
   • 问题与关键挑战：现有安全评测往往使用脱离厂商文档的固定基准，无法确认基准具体覆盖了哪些文档主张；同时固定提示词的高拒答率无法保证模型在语义等价的输入变换下仍能保持安全行为。
   • 方法设计要点：框架从系统卡片抽取主张并评估黑盒可测性与拒答预言适用性，显式建立主张到种子的映射；使用 7 种变异算子执行迭代模糊测试，并通过三裁判集成初筛与人工双重检验判定 Refuse→Comply 反例。
   • 主要实验发现：
     1. 在 Claude Opus 4.8 与 GPT-5.5 的系统卡片中识别出 56 条主张，仅 29 条（51.8%）可黑盒提示词测试，其中 17 条被基准种子覆盖（Table 2）。
     2. 两款模型在原始种子上拒答率超过 95%，但在 9 条适用拒答且被覆盖的主张中，人工验证的变异反例推翻了 6 条（66.7%）（Table 2）。
     3. 自动化裁判标记的 312 个 R→C 候选样本中，仅 19 个（6.1%）通过人工校验同时满足意图保留与实质合规。
     4. 19 个验证反例分布在 5 种变异算子中，且在 4 次重复调用中有约 80% 保持合规。
   • 作者结论与启示：作者认为安全主张应尽量以可外部观测的行为来表述；基准覆盖不能仅凭安全领域重叠来推断，且评估必须区分未覆盖主张与已测试但未见反例的主张；自动化裁判存在大量假阳性，解释模型失败必须对变异意图与模型回复进行直接检验。

   收起这一问

相关论文