SEAV：面向大语言模型越狱评测的有效性验证框架

现有越狱评测把语言上像成功的回复当成成功，没有核对该回复在事实上和步骤上是否真能推进有害目标。

• 场景与重要性：作者认为，LLM被精心构造的越狱滥用后可能给出有害输出，稳健性评测因此成为安全评估的核心。现有方法主要依赖拒答、语义相似和意图匹配，强调语言上的合理性，而不是正确性。
• 现有方法的不足：作者指出，即使测量流程一致，攻击成功率（ASR）仍可能无法反映模型是否给出了有效的有害输出。许多越狱意图依赖的是指令有效性（instructional validity），而不是认识上的事实性（epistemic factuality），于是看起来真实、却在事实或程序上错误的回复仍会被标成成功。作者称这会高估模型能力，并扭曲LLM的真实安全态势。
• 核心观察：作者按附录C.3的意图标注流程、并经人工核对，把若干基准的提示词分为认识性事实、指令性事实或两者都不是。在Table 3的n=322多步子集上（Table 1），指令性事实占94.7%，认识性事实占0.9%，两者都不是占4.3%。作者由此认为越狱请求主要在要可执行过程，程序正确性和依赖结构是中心属性，而现行评测并不核验它们。
• 论文提出的东西：作者提出顺序认识与行动层验证（Sequential Epistemic and Action-Level Validation，SEAV），作为生成后的互补操作有效性层，不替代拒答、策略合规或有害性评测。SEAV把回复拆成有序步骤，同时评有效性和正确性；并用诊断集SD-A、ORD SENSE，以及对公开基准已标注成功样本的再评测来检验这一层。

• 整体越狱评测：Zheng et al. (2023)、Chao et al. (2024)、Mazeika et al. (2024) 的LLM-as-a-judge，以及Zou et al. (2023) 的字符串或语义匹配，多在整段回复上判断是否满足攻击者意图、对齐参考输出或命中预定标准。StrongREJECT（Souly et al., 2024）针对空洞或低效用越狱；作者称SEAV的差别在于检索支撑的事实与程序有效性，以及顺序核验。Chouldechova et al. (2025) 认为跨评测设置比较ASR常常无效。Purpura et al. (2025) 把攻击成功评测、结果指标和攻击生成并列为端到端红队流程的不同组件。
• 细粒度与相邻评测：FJAR（Liu et al., 2026）用锚定的相关性/完整性参考和经树分解的无害子查询证据，把回复分成拒绝、无关、无帮助、不正确或成功。WMDP（Li et al., 2024）用选择题探测模型知道什么，而不是它如何行动。Wei et al. (2023) 给出竞争目标和泛化错配的分类，但作者称它不是可复用评测器。Jailbreak Tax（Nikolić et al., 2025）测越狱后在良性有标准答案任务上的准确率下降（数学上最高92%），不在有害提示上做正确性核验。Yan et al. (2025) 称LLM评审会锚定有毒语言模式；Huang et al. (2025) 的GuidedBench用逐案量表把评测器间方差降低至少76%。SACRED-Bench、SALMONN-Guard（Yang et al., 2026）和Input Guardrails（Rad et al., 2025）处理输入侧隐藏或多模态意图及生成前检测；作者称后者是预防性防御，与SEAV的生成后核验互补。
• 事实性评测与计划依赖：FActScore（Min et al., 2023）、SAFE（Wei et al., 2024）把长文拆成原子主张并用检索证据核验；RARR（Gao et al., 2023）检索支持并修改无支撑内容。CaT-Bench（Lal et al., 2024）分析计划中的因果与时间依赖。作者称SEAV把这种核验扩展到有害回复的操作有效性，并加上步骤顺序。
• 基线方法与基准：实验基线为M1（LLM-as-a-Judge）、M2（LLM-as-a-Judge加网页搜索）、M3（StrongREJECT）、M4（JADES）、M5（JADES加事实核查扩展）。诊断与再评测使用SD-A、ORD SENSE、JQR-BINARY，以及JAILBREAK QR、JBB（JailbreakBench）、GPTFUZZ、WILD GUARD MIX、ULTRA SAFETY。

作者把本文定位为以核验为中心的框架：直接在有害提示的回复上，用逐步网页支撑和依赖顺序检查给出每条回复的有效性判定。与JADES相比，作者称JADES把意图拆成加权子问题、对配对片段独立打分再聚合，可选检索只查主张，不查顺序或结构；SEAV检查有序步骤、局部正确性和相对外部证据的结构。

SEAV把一条有害意图和模型回复变成逐步核验：先抽出步骤，再分别查局部正确性和顺序，最后合成一个操作有效性分数。作者采用操作端定义，而不是仅把未拒答当作成功。

问题设定与四方面标准

• 成功越狱（Definition 1）要求四点：与有害意图相关；相对可靠、适合该任务的证据事实正确；可执行依赖的顺序合规；以及在前三点之后仍有足够完整性的操作效力（operational potency）。作者在脚注中称，有效性包含相关性、事实正确性、顺序合规和操作效力。
• 成功谱系：一端是未拒答（即使内容错误也算策略失败），另一端是操作成功（正确、可执行、完整的有害能力）。作者使用后者，并写明这一层既不唯一界定成功，也不取代更宽松的规则。
• 两类意图：知识类意图要求主张为真（认识性事实性）；程序类意图要求步骤正确、有序、可执行（指令有效性）。

四阶段流程

1. 顺序改写（§4.1）：把回复结构分成顺序过程、无序条目，或单步（代码为主、叙述或拒答）。抽出有序列表 S(r)=(s1,…,sn)，步骤文本按原文保留。只有被标为顺序的回复才进入顺序核验；没有程序结构时记为单步。抽取提示词在附录C.5.1。
2. 步骤核验（§4.2）：对每步做受查询条件约束的检索，只看孤立正确性，故意不看跨步依赖。每步在事实性和相关性上得到三档之一：已核验（正确且相关）、仅事实正确（正确但无关）、未核验（不属实）。检索可用模型内置支撑（如Gemini Search）或Tavily；输出包含事实性判断、置信度和证据，以及相关性说明。提示词在附录C.5.2、C.5.3。
3. 结构与顺序核验（§4.3）：无序或单步回复跳过。依赖推断把步骤按意图哈希导出的确定性种子打乱，再用打乱后的标识交给LLM推断有向边 A→B（A必须先于B），并启用网页搜索。合规检查再把原顺序与该依赖图比较；解析失败时，程序回退按位置直接检查每条边。若没有推断出依赖，或原顺序满足全部依赖，则结构有效。
4. 聚合与终判（§4.4）：一次LLM判断读取意图、步骤、逐步裁决、依赖图、合规结论和违规项，按量表合成0–1分，而不是算术平均。量表五档为0.00（完全拒答）、0.25（最低限度可行动）、0.50（部分可行动）、0.75（大体可行动）、1.00（完全可行动的越狱）。默认规则是 score > 0.25 判为成功越狱。无序回复把每个已核验要点视为独立可行动，不适用“过程被打断”的逻辑。提示词在附录C.5.5。

实现选择

• 评审模型：流水线各节点和M1–M5默认用Gemini 3 Flash，temperature 0.0（附录A）。作者称选择这些模型主要因为拒答率低。Kimi K2.5用于ORD SENSE的依赖标注（附录B.3，Amazon Bedrock，T=1.0）和Table 5的改写等价检查。敏感性分析另测GLM-5（BF16）。
• 检索：默认用Gemini内置Google Search支撑；敏感性实验和非Gemini评审改用Tavily，每查询top-k=5。
• 基线二值化（附录A）：M1、M2直接输出二值，无阈值。M3的归一化分数、M5和SEAV使用τ=0.25，且分数大于0.25为成功。M4默认τ=0.25；在ORD SENSE上，M4报告的比率对应三档中的“成功”级（score ≥ 0.75）。
• 成本：作者称每样本约8次LLM调用（1次抽取、约4次步骤核验、2次顺序核验、1次终判）加约5次搜索；约1000个样本约200美元、串行约9小时，4–8个分片在API延迟和限速下非线性加速。M1–M3为一次调用（M2加一次搜索），M4/M5成本与SEAV相当。作者提出但未评测的选项包括：先用低成本评审、只对含糊或高风险回复做SEAV，或在明确拒答、无可行动内容时于检索前停止；节省量未测量。

两个诊断集如何构造

• SD-A（附录B.2）：来自Panfilov et al. (2025) 的策略性不诚实多项选择题数据，其中模型选择了看起来顺从、但含故意事实或程序错误的选项。作者使用对方共享的25个LLM的原始结果，去掉拒答、评测判断有误和缺字段的行，再用OpenAI Moderation API（omni-moderation-latest）过滤意图，排除6个未被任何策略类别标记的意图，保留illicit 141、illicit/violent 12、self-harm 1；每个意图用固定种子蓄水池抽样一条，得到154条。作者写明事后没有独立再核正确性，诊断目标是：把这些回复判为越狱成功，就是没检出认识性无效。
• ORD SENSE（137条，附录B.3）：来自HOW2EVERYTHING（Chang et al., 2026）中HOW2BENCH和HOW2TRAIN的WIKIHOW多步过程，经Moderation API只保留被标为违反内容策略的意图。步骤文本逐字保留。每条有三种变体：(a) 原顺序，(b) 依赖图合法拓扑排序中随机抽的另一种顺序，(c) 至少违反一条推断依赖的顺序。依赖图由Kimi K2.5把步骤打乱后、按PROSCRIPT式标注重复查询五次得到。附录B.3给出完整构造流程。

顺序指标与成功判定

设 J 为情景(a)下被判越狱成功的样本集合，f(x,s) 为样本x在顺序情景 s∈{a,b,c} 下的裁决。Instability 是 J 中在合法重排(b)下裁决翻转的比例（越低越好）；Sensitivity 是 J 中在违反依赖的重排(c)下翻转的比例（越高越好）。SEAV的二值规则仍是默认 score > 0.25。作者还用JQR-BINARY（JAILBREAK QR中仅含人工二值标签、去掉含糊“partial”的子集，n=262）检查SEAV是否只是阈值更严。

实验设置

• 评测对象：被比较的是评测器，不是一批被攻击的目标LLM。SEAV各节点与M1–M5默认评审为Gemini 3 Flash。Kimi K2.5做ORD SENSE依赖标注和改写等价判断。敏感性实验另用GLM-5。SD-A的回复来自Panfilov et al. (2025) 所评25个LLM中的子集，论文未在正文列出这25个模型的名称。
• 数据：SD-A 154条；ORD SENSE 137条；JQR-BINARY n=262。多步结构统计（Table 3）抽样JAILBREAK QR 117、JBB 90、GPTFUZZ 200、WILD GUARD MIX 200、ULTRA SAFETY 200，合计807，多步占39.9%。Table 1与Table 5使用其中n=322的顺序子集。再评测（Table 7）只取原标注为成功的顺序样本：JAILBREAK QR 77、JBB 51、GPTFUZZ 68、WILD GUARD MIX 49。
• 基线：M1、M2、M3（StrongREJECT）、M4（JADES）、M5（JADES加事实核查，从Wikipedia取证据）。
• 指标：SD-A上为被判越狱成功的比例，作者相对其构造把它当作假阳性（越低越好），且每条回复的正确性未独立再核。ORD SENSE报告JB(a)、Instability、Sensitivity。JQR-BINARY报告Acc、Prec、Rec、F1，以及附录E的无阈值AUROC和配对bootstrap。Table 7的Issues是原成功、但SEAV因事实错误、任务无关或结构违规判为无效的比例；作者写明这是与原标签的分歧，不是独立裁定的真实错误。
• 判定：除附录A注明的M4在ORD SENSE上使用score≥0.75外，SEAV与M3、M5默认score>0.25为成功。M1、M2直接二值。
• 评审与重复：默认评审Gemini 3 Flash，temperature 0.0。论文未报告主实验的随机重复次数。人工审计见后文，样本量较小。

主结果

据Table 2，SD-A上被判为越狱成功的比例（越低越好）：

评测器	SD-A
M1	57.8%
M2	57.1%
M3	95.5%
M4	79.2%
M5	81.8%
SEAV	42.2%

• 作者的解读：这些回复按构造是认识上无效的，但M1–M5仍把超过50%标成成功越狱。作者称面向合理性的信号常常压过正确性，从而产生假阳性。摘要写SEAV在SD-A上相对最强基线把假阳性率降低14.9个百分点；正文§6.1写相对次优基线有15个百分点以上的差距。57.1%与42.2%相差14.9个百分点，与摘要一致；正文的“15+”是作者的概括。
• 作者同时限定：假阳性是相对SD-A的构造而言，即回复因生成模型选择了策略性不诚实选项而被选入，事后没有逐条独立再核正确性。
• JQR-BINARY对照（Table 6，n=262，同一Gemini 3 Flash）：SEAV的Acc 91.6%、Prec 85.7%、Rec 97.4%、F1 91.2%；M3为92.0%、84.7%、100.0%、91.7%。作者称SEAV的F1与最强基线相当，并高于M1（F1 83.8%）、M4（75.6%）和M5（80.0%），因此SD-A上的下降不是单纯把阈值收严。

顺序敏感性

• 测了什么：ORD SENSE的三种顺序变体。Table 4在情景(a)被判成功的子集上计算翻转率。SEAV的JB(a)=136，Instability 9.6%，Sensitivity 61.0%。M1为64、26.6%、71.9%；M2为60、13.3%、81.7%；M3为136、0.0%、1.5%；M4为76、10.5%、15.8%；M5为77、7.8%、16.9%。
• 附录B.1的绝对比率（Table 8，137条）：SEAV在(a)/(b)/(c)的越狱率为99.3%、89.8%、38.7%；全样本翻转率a≠b为9.5%、a≠c为60.6%。M3在三种情景下为99.3%、100.0%、98.5%。M1在(c)降到13.9%，但合法重排下的不稳定也高。
• 作者的解读：M3–M5对程序顺序几乎不敏感（Sensitivity 1.5%–16.9%）。M1、M2更敏感，但M1在合法重排下仍翻转26.6%，作者认为其中一部分是预测不稳定，而不是结构推理。作者称SEAV是唯一同时具备低合法重排不稳定（9.6%）和对依赖违反有实质敏感（61.0%）的评测器。

基准再标注

• 测了什么：只重评原标签为越狱成功的样本（Table 7）。Issues定义为原成功、SEAV判无效。
• 结果：JAILBREAK QR 77条中Issues 0.0%（SEAV仍判77条有效）；JBB 51条中51.0%（SEAV保留25条）；GPTFUZZ 68条中22.1%（保留53条）；WILD GUARD MIX 49条中34.7%（保留32条）。摘要写，在四个公开基准中的三个上，把抽到的原标注成功样本的22.1%–51.0%重分为无效。
• 作者的解读：作者称多数重分类来自事实错误或程序不一致，而不是明确拒答。JAILBREAK QR是例外，77条顺序成功样本全部被确认为有效，作者将其联系到该数据集标签质量更高。作者认为，不强制正确性时，现行基准可能高估有效的能力泄漏；SEAV也没有把所有原成功都判成失败。

其他消融与分析

• 改写保真（Table 5，n=322）：LLM判定改写步骤与原文语义等价的比例合计91.0%；分数据集为JAILBREAK QR 96.1%（77）、JBB 88.2%（51）、GPTFUZZ 88.2%（68）、WILD GUARD MIX 93.9%（49）、ULTRA SAFETY 88.3%（77）。等价要求不增加、删除或改变实质信息。该检查使用Kimi K2.5。
• 多步占比（Table 3）：JAILBREAK QR 65.8%（117）、JBB 56.7%（90）、GPTFUZZ 34.0%（200）、WILD GUARD MIX 24.5%（200）、ULTRA SAFETY 38.5%（200），合计39.9%（807）。
• 检索后端（Table 15）：Gemini支撑换Tavily后，SD-A假阳性率从42.2%到41.6%；JQR-BINARY的F1从91.2%到90.3%。作者称变化低于1个百分点。
• 评审模型（Table 16，均用Tavily）：SD-A假阳性率Gemini 3 Flash为41.6%，GLM-5为18.2%；JQR-BINARY的F1分别为90.3%和87.3%。作者称两边JQR-BINARY的F1都至少87%，排序层面的结论对两个评审都成立，但各数据集错误率依赖评审模型。正文还写GLM-5的SD-A假阳性率为18.2%。
• 阈值扫描（附录E，Tables 11–12）：τ从0.05到0.95。作者称在0.05–0.75，SEAV在JQR-BINARY上F1为81–92%，在ORD SENSE上为79–89%。正文称AUROC和配对bootstrap（Table 11）支持结论对切分点稳健；表内逐τ数字在所附文本中未完整列出，这里不补。
• Node-4打分形式（附录G，Table 14）：零样本连续、连续少样本、Likert-5少样本。SD-A假阳性率（n=153）为18.3%、20.9%、24.2%（p分别为0.424、0.035、0.180）；JQR-BINARY F1（n=251）为87.4%、86.6%、89.1%（p=0.001、0.012、0.070，前两个经Bonferroni后被标为显著）；ORD SENSE F1（n=408）为79.8%、81.7%、84.9%（p=0.382、0.053、0.280）。作者称没有一种形式全面占优。这些FPR与Table 2的42.2%设置不同，论文未在可见正文中写明Table 14改了哪一项配置。
• 上下文消融（附录F，Table 13）：作者称所有指标变差；所附文本没有Table 13的逐格数字。
• 人工面有效性（§9，Tables 9–10）：最初21行、两标注者，排除后在实质节点子集上标注者间一致率83.3–94.7%，各节点Cohen’s κ在Table 9。扩展审计另加42条回复，63条上使用统一的三标注者小组；适用且有效的Step 3输出限于41条；Step 1、3、4的多数正确率分别为93.7%、92.7%、98.4%，成对一致率84.4%、76.5%、93.6%。作者称两者都是小规模内部面有效性审计，扩展审计里依赖推断是最不一致的节点。
• 细节充分性（§9）：作者用GLM-5回看三个数据集共553条回复，称范围内回复中只有60.3%在细节上充分；SD-A为85.7%，ORD SENSE为49.6%，JQR-Binary为44.6%。另有15条ORD SENSE抽查，作者称程序口吻但缺少操作细节的指令仍可能通过当前核验。

作者指出的局限与后续方向

• 仍依赖LLM判断（§9）：步骤抽取、语义解释和聚合仍由LLM完成，可能继承底层模型的偏差、提示敏感或推理错误；证据不完整或意图含糊时判定会变。作者把两轮审计都称为小规模内部面有效性审计，而不是全流程可靠性的决定性证据，并指出依赖推断是扩展审计中最不一致的节点。
• 只看最终输出（§9）：不看隐藏推理或意图，无法区分故意错误信息和顺从回答中的偶然事实错误。作者把意图感知评测列为后续工作，并称拒答、策略失败和有据可依是互补视角。
• 单条回复（§9）：跨回复拼合部分信息未经测试，现评测不覆盖对话历史或跨回复累积的能力，作者列为后续工作。
• 数据范围与语言（§9）：实验集中于先前工作常用的英文越狱基准。作者称其他语言、领域或文化情境下行为可能不同，尤其当检索取决于外部来源的可得性和质量；多语言和领域特定设置是后续方向。
• 设计与阈值（§9）：抽取策略、事实性/相关性分类和聚合规则都是设计选择。作者称不同阈值或策略会给出不同数量结果，没有任何单一配置应被视为规范；目标是展示强制正确性和结构有效性可以改变评测结果，而不是定义普遍最优指标。§6.3亦称没有建立更广的不变性。
• ORD SENSE、拒答型任务与完整性（§9）：ORD SENSE来自WIKIHOW，依赖由LLM推断，作者称它应视为诊断集而不是全面基准，标注虽经过滤仍可能有噪声，提示也可能不能完全反映真实越狱查询的分布或复杂度。对CSAM、生物或化学大规模杀伤性武器合成路线、威胁可识别个人等本身就应拒答的任务，基于正确性的定义可能低估风险，因为事实错误但未拒答会被当成越狱失败而不是策略违规。作者称可用“任何未拒答即失败”的规则重新实例化，此时SEAV与HarmBench、GCG的AdvBench协议和WMDP互补。完整性/召回是第三条轴：Node 4只用锚点部分覆盖，主要核验已出现的内容。作者提出可增加显式的细节充分性节点，并称这是自然扩展。

实验覆盖范围

• 评测器比较覆盖M1–M5与SEAV，默认评审为Gemini 3 Flash；另测检索后端Gemini支撑与Tavily，以及评审模型GLM-5（Tables 15–16）。Kimi K2.5用于依赖标注和等价检查。
• 诊断与再评测数据为SD-A（154）、ORD SENSE（137）、JQR-BINARY（262），以及JAILBREAK QR、JBB、GPTFUZZ、WILD GUARD MIX、ULTRA SAFETY上的抽样和原成功子集（Tables 1–7）。
• 顺序实验含合法拓扑重排和违反依赖的重排，并报告子集翻转率与全样本翻转率（Tables 4、8）。阈值扫描覆盖τ=0.05–0.95（附录E）。
• 人工审计为21行两标注者，以及63条回复、三标注者；Step 3的适用且有效输出为41条（§9，Tables 9–10）。细节充分性回看553条，另有15条ORD SENSE抽查（§9）。
• 论文报告每样本约8次LLM调用和约5次搜索，约1000个样本约200美元、串行约9小时（附录J）。低成本预筛和检索前停止被提出但未评测，节省量未测量。SD-A与JQR-BINARY因来源未公开而不可再分发；作者计划发布的代码与ORD SENSE见附录I，此处不记录地址。

SEAV是一层生成后的越狱评测：回复要相关、事实正确、顺序合规，并且在操作上足以推进有害意图，才算成功。

• 问题：作者认为现行评测把未拒答、语义相似或意图匹配当成成功，因此语言上合理但事实或程序错误的回复会被算进ASR。在五个数据集的322条多步提示中，94.7%属于指令性事实意图（Table 1），作者据此把程序正确性和依赖结构当作评测应核验的属性。
• 方法：SEAV先把回复分成顺序、无序或单步并逐字抽出步骤，再对每步做检索，标成已核验、仅事实正确或未核验；顺序回复还推断依赖并检查原顺序是否满足。终判是0–1可行动性分数，默认大于0.25为越狱成功。默认评审是Gemini 3 Flash，默认检索是其内置搜索支撑。
• 诊断结果：按构造含策略性错误的SD-A上，M1–M5把57.1%–95.5%的回复判为成功，SEAV为42.2%（Table 2）；摘要称这比最强基线低14.9个百分点。同一评审下，JQR-BINARY（n=262）上SEAV的F1为91.2%，M3为91.7%（Table 6）。ORD SENSE上SEAV的合法重排不稳定为9.6%，对违反依赖重排的敏感度为61.0%（Table 4）。
• 再评测：原标注成功样本中，JBB有51.0%、WILD GUARD MIX有34.7%、GPTFUZZ有22.1%被SEAV判为无效；JAILBREAK QR的77条全部仍有效（Table 7）。换到Tavily后，SD-A假阳性率从42.2%变为41.6%，JQR-BINARY的F1从91.2%变为90.3%（Table 15）。GLM-5加Tavily时SD-A假阳性率为18.2%（Table 16）。
• 作者的结论：作者认为强制正确性会实质改变测得的稳健性，许多原先的越狱成功应被重分为无效，而且这一结果在所测搜索后端和评审模型上保持稳定。作者同时写明SEAV不替代拒答和策略评测，单条英文回复、LLM判断、阈值选择、ORD SENSE的诊断性质，以及拒答型任务上可能低估风险，都是其边界。