Persist-3 用顺序检验识别未见越狱来源，提升 MTK 与 Prompt Guard 2 防御效果

要从攻击表示流判断当前分布是否落在全部已知越狱源之外，以及分离程度如何决定检出速度。

• 场景： 作者称 LLM 已用于代码生成、交互助手和调用外部工具的智能体，越狱会诱使其给出有害响应。防御多在固定攻击集合上开发和测试；Wang et al. (2025b) 发现护栏表现随攻击类型变化，向新策略泛化仍是部署中的未解问题。
• 已有方法： 提示词级检测器逐条判定，不判断整段攻击流是否离开已知方法。常见变点检测把相对单一变前分布的任何偏离都当目标，故两个已知源之间的切换也会被检出。MDCP 要构造对每个已知源及其混合仍然有效的预测集，并不检验当前提示是否来自已知集合之外。
• 观察： 原假设是并集。流若来自 P1，对 P1 的 p 值通常大、对 P2 的小；Bonferroni 一类组合只要否定一个已知源就拒绝，从而在没有未见源时报警。作者只在每个已知源都被拒绝时拒绝 H0，即最匹配的已知源也解释不了该流。
• 提出： 将未见越狱源检测写成序贯检验，检测器为 Persist-3。它给出只依赖有限最近窗口的检测保证，并在 MTK 与 Prompt Guard 2 之上做升级。
• 威胁模型：
  • 目标： 每时刻检验 H0：Qt 属于 {P1,…,PK}，对立为不属于该集合。不判定具体来自哪一个已知源。
  • 信号： 在线只用受害模型返回响应前的隐藏表示 Xt。变点未知，不能汇集当前段的全部观测。Yt 在提示到达时不可用，只用于离线评估干预，以及 Corollary B.6 额外假设下的可选登记。
  • 切换： 流为分段 i.i.d.，攻击者在变点换源。KK 切换改变分布但仍在 H0 内，不是目标；只有 KU 切换是目标。
  • 系统： 一个攻击源是作用到给定受害模型的一种攻击方法。检测器读该模型的表示流；报警后可在既有护栏之上升级该流。

多源与在线 conformal

• Split conformal（Vovk et al., 2005; Angelopoulos and Bates, 2023）： 在可交换性下给出与分布无关的有限样本覆盖。Lei et al. (2018) 给出回归情形的 split 构造。
• 多源方法（Liu et al., 2024b; Spjuth et al., 2019; Wong et al., 2025; Yang and Jin, 2026）： 校准数据来自多个分布时仍讨论预测有效性；MDCP 的保证同时覆盖各已校准源及其混合。作者称本文问的不是该覆盖是否仍成立，而是当前段是否由某一个已校准源生成。
• 偏移与在线更新（Tibshirani et al., 2019; Gibbs and Candes, 2021; Zaffran et al., 2022）： 在可估计的协变量偏移、未知子群体比例变化或序列上调整阈值或权重。作者称这些方法面向给定偏移模型下的预测集，本文则用源别 p 值检验已校准源集合本身是否不够。

越狱、护栏与表征

• 攻击与基准： 优化后缀、自动化黑盒搜索和迭代提示生成见 Zou et al. (2023)、Liu et al. (2023)。HarmBench（Mazeika et al., 2024）与 JailbreakBench（Chao et al., 2024）提供标准化的攻击成功与护栏评测。
• 分布变化下的检测： Piet et al. (2025) 做纵向评估，并提出两种流级防御：持续检测器在自身预测上再训练，主动监控看越狱是否让模型回答已知有害提示。作者称本文保持源校准冻结，且用返回响应前的受害模型表示；基准回放未与这两种流程比较，因此不声称经验上优于它们。Wang et al. (2025b) 强调护栏表现随攻击变化，向新策略泛化仍是部署挑战。
• 表征： Lin et al. (2024) 报告有害与良性提示可占据对齐模型隐藏表示的不同区域；Gao et al. (2025)、He et al. (2024)、Zheng et al. (2024) 进一步讨论安全边界、电路或内部信号。作者称这促使把 Xt 当作检测信号；分数衡量 Xt 在源 k 下是否典型，不衡量该提示本身是否越狱成功。

序贯变点检测

• e-detectors（Shin et al., 2022; Saha and Ramdas, 2026）： 用 e-process 做非参数序贯变点检测，复合原假设可通过候选零分布上的下确界处理，并讨论平均游程长度或虚警概率。作者称对 K 个源做聚合本身不是新装置；差别是原假设为一组已校准源，Pi 到 Pj 在两者都已知时不是检测目标。窗口统计用于有限遗忘，以及检验是否有一个已知源能解释整个最近窗口。Table 3 对比原假设、KK 切换、记忆和主要保证。

基线与基准

• 基线方法： 主比较为 Persist-3、全历史与 W=10 的 SR-DKW、全历史与 W=10 的 SR-RAW。短时域还比较单次越阈、mean-p conformal window 和 family min-kNN window。原始 Mahalanobis 变体在预定阈值网格内没有可行工作点；CUSUM 在对齐验证与测试长度后 KU 检出为 0，作者不把它用作比较器。
• 基准： AdvBench/Harmful Behaviors 与 HarmBench；十一个攻击源覆盖优化后缀、自动化黑盒搜索和人工撰写提示。

作者把贡献放在上述几条的交叉：用受害模型表示构造源别 conformal 证据，把未见源检测写成源假设之并的检验，用最近窗口实现有限记忆，并把报警接到提示词级护栏之上的流级升级。

Persist-3 把每条受害模型表示对每个已知源变成 conformal p 值，只有最近窗口对所有已知源都不典型、且这种情况连续出现时才报警。对照检测器 SR-DKW 用同一组 p 值沿全历史累积。

问题设定

• 数据： 每个提示在返回任何响应前提取受害模型隐藏表示 X。Y∈{0,1} 表示越狱是否成功。P1,…,PK 是 K 个已知攻击源下 X 的分布，这些源有校准数据。
• 流与假设： 沿 Shin et al. (2022)，流为分段 i.i.d.：Xt 独立且 Xt∼Qt，Qt 在变点之间不变，两变点之间称为一段。每时刻检验 H0：Qt∈{P1,…,PK} 对 H1：Qt 不在该集合。KK 切换留在 H0；只有 KU 切换是检测目标。
• 何时做决策： 切换刚发生时，最近窗口仍含旧源提示。Persist-3 要等 B=W+L−1 条新观测之后，旧源才不再进入 Dt。在线检测器不用 Yt。
• Assumption 4.1： PCA 与分数在看最终流之前冻结；给定训练信息后，各源校准样本在条件意义上 i.i.d.，nk≥1 且在查看前固定。流由确定性变点分成条件 i.i.d. 段，已知段的分布等于某个 Pj。

源别分数与跨源聚合

• 分数： 在全部已知源的合并训练表示上拟合共享 PCA 映射 Π，输出维数至多 32，维数事先固定。各源再拟合均值与 Ledoit-Wolf 协方差。非符合分数是投影空间中的马氏距离，协方差不可逆时用 Moore-Penrose 逆。分数越大，离该源越远。
• p 值： 用该源的留出校准分数，

p_k(x)=(1+∑_i=1^n_k1{R_k,i≥ S_k(x)})/(n_k+1)。它大体是校准样本中离源 k 至少和 x 一样远的比例。pk 小则反对源 k；证据记为 Zk=−log pk。

• 窗口： 单次小 p 值可能碰巧出现，故对最近 W 条取平均。越狱评测用 W=10。再对 K 个源取最小，

C_t^fam=min_k C_k,t。它是对最能解释最近观测的已知源的证据；超过阈值当且仅当每个已知源的窗口平均都超过阈值。

• 顺序： 先对时间平均、再对源取最小，因此必须同一个已知源解释整个窗口。混有两个已知源的窗口可能与每一个单一源都不一致，所以 KK 切换后的过渡段可以报警（Remark 4.5）。SR-DKW 先对 DKW 调整后的 p 值跨源取最大，再送入 Shiryaev–Roberts 递推，沿全历史累积，不要求单一已知源解释整个窗口。理论分析集中在 Persist-3，因为它的窗口有限，可以写清更早观测何时不再影响当前决策。

持续确认、遗忘与阈值

• 持续： 单次越阈仍可能出于偶然。Dt 为 1 当且仅当最近 L 步的 Cfam 都不低于阈值。越狱评测取 L=3，名称 Persist-3 由此而来。L=3 由只用已知源的试点事先固定，是使已知源流上长度至少为 L 的连续越阈变得少见的最小 L。实践中 Algorithm 1 在首次报警时停止并升级，之后的 Dt 不撤销这次升级。
• 有限遗忘： Dt 使用 L 个长度为 W 的重叠窗口，只依赖最近 B=W+L−1 条。W=10、L=3 时 B=12。Proposition 4.4：KK 切换后再来满 B 条、且新段仍是 Pj 时，决策只依赖 Pj 的观测。若未满 B 条就再次切换，则不存在完全位于切换后的决策，该命题不适用。全历史 SR 没有这一性质。
• 阈值： 只用已知源验证流，不用留出未见源的数据或标签。τ̂ 是预定网格上、使验证静止虚警率和 KK 报警率都不超过事先固定上限的最小阈值。换划分时规则不变，只重校准 τ̂；W、L、分数和聚合不重调。Persist-3 用原始 split conformal p 值，不用 Appendix F 的 DKW 校正。每条观测对每个已知源算一个分数和一个 p 值；Persist-3 每个源只存最近 W 个值。
• 两套上限： 长时域要求验证流上静止 FPR≤0.01、KK 报警率≤0.05，选出 Persist-3 的阈值为 2.556，SR-DKW full 为 68.69，SR-RAW full 为 2.84×10^39，截断到 W=10 时分别为 27.12 与 141.7。作者称这些阈值在各自尺度上，不可跨方法比较。短时域冻结实验的上限为 0.031313 与 0.051678，原划分 τ̂≈2.386，稳健重划分 τ̂=2.374。

报警后如何接入护栏

• 联合动作： Gt 表示未改动的提示词级护栏是否干预该条提示。监控器从报警当步起升级之后每一条，报警的那条本身也被升级。联合动作是二者的逻辑或：护栏继续逐条筛，监控器只决定从何时起升级整段后续提示。升级不因旧观测离开窗口而撤销。作者称有限遗忘约束的是统计量 Dt，不是已激活的升级。
• 可选登记： 在 Corollary B.6 的条件可交换性下，报警后可用新的标注校准块把检出源登记进扩大后的源族，并讨论结果预测集的覆盖。作者写明这不是效率主张，也不包含在本文的经验主张里。

实验设置

• 受害模型： Llama2-7B-chat、Qwen2.5-7B-Instruct、Gemma-2-9B-it、Llama-3.1-8B-Instruct。Appendix K 的配置表将前三个简写为 Llama-2、Qwen、Gemma。分层回放写作 Llama-2-7B-chat。
• 数据与攻击源： AdvBench/Harmful Behaviors 与 HarmBench。十一个源为 ADC、AutoDAN-Turbo、Direct Request、Distribution Jailbreak、FlipAttack、GCG、Human Jailbreaks、Jailbreak-Zero、PAIR、SimBAja、TAP。每次留出一个源作未见源，其余为已知源；留出源不进入训练、校准或验证。
• 规模与划分： Section 5.1–5.2 用种子 {0, 7, 11, 23, 42} 的 50/25/25 训练、校准、测试划分，330 个完整 leave-one-source-out 配置。另有 5 个 AdvBench、Gemma、留出 Distribution Jailbreak 的配置失败，未计入。Section 5.3 是单独的 50 配置离线回放。
• 协议： 主比较为长时域：每条流 H=1000，KK 与 KU 流在 ν=501 切换。短时域每段 40 条观测。各方法的阈值在 KU 评估前、只按已知源验证流冻结，并在相同流上测试。
• 指标： 静止流是单一已知源且无切换。静止 FPR 是出现任意报警的静止流比例；KK 报警率是出现任意报警的 KK 流比例；KU 检出率是首次报警落在切换之后、即 [ν, H] 的 KU 流比例。切换前已报警的流不重开，计为漏检。区间来自对留出源重采样的 bootstrap。
• 判定： 无 LLM 裁判。分层评估用缓存的越狱成功标签；拦截假定升级能阻止有害响应。论文未报告该假定的人工复核，也未报告评审与人工的一致性。

主结果

Table 1 按方法而不是按受害模型报告。条件为 H=1000、ν=501；阈值在已知源验证流上按静止 FPR≤0.01、KK 报警率≤0.05 选取。静止 FPR 以计数给出。

Swipe horizontally to read the table

方法	静止 FPR	KK 报警率	KU 检出率
Persist-3	0/1835	0.006 [0.004, 0.007]	0.458 [0.335, 0.627]
SR-DKW full	0/1835	0.003 [0.002, 0.005]	0.648 [0.490, 0.793]
SR-RAW full	8/1835	0/10640	0.720
SR-DKW W=10	0/1835	0.003	0.377
SR-RAW W=10	4/1835	0.005	0.545

SR-RAW 两行和两个截断行的区间，论文未在 Table 1 给出。论文未按受害模型拆开该表。

• 作者称全历史累积与有限窗口互相权衡：前者检出更多未见源，后者的决策只依赖最近观测。SR-RAW 的 KU 检出更高，但静止报警计数不是 0。
• 作者称同一 SR 家族内把递推截到 W=10 会降低 KU 检出，因为弱而持续的证据要累积后才越过阈值。
• Appendix I.3 的成对流检查：330 个配置中，切换前不同、切换后相同的两条流上，Persist-3 从 B=12 步起决策相同；全历史 SR 的状态仍不同，绝对差中位数 3.01。作者称这与 Proposition 4.4 一致，而全历史 SR 会把切换前证据留在状态里。

最近源分离

• 测了什么： 冻结检测器后，用测试提示上 −log pk 的平均估计每个留出源相对阈值的最小源别间隔，对照 Corollary 4.7：未见源若靠近某个已知源，则更难检出。
• 结果： 十一个留出攻击方法上，Pearson r=0.98 [0.94, 1.00]，Spearman ρ=0.95 [0.70, 1.00]。稳健重划分的 Pearson r=0.981 [0.947, 0.995]。Figure 4 图注把原划分的 Pearson r 写成 0.981。Appendix I.1 称这些是观察性关联，不是对理论的独立验证。
• 作者解读： 作者称对至少一个已知源间隔很小的攻击方法难以检出，与 Corollary 4.7 一致。被检出流上的源级中位延迟与该间隔正相关（Pearson r=0.84 [0.70, 0.96]）；作者称该关联受选择影响，不把它当作 Corollary B.5 的检验。

叠在护栏上的拦截

• 测了什么： 未改动的 MTK 或 Prompt Guard 2，对比单独护栏与加上 Persist-3 或 SR-DKW。50 个 AdvBench、Llama-2-7B-chat 配置的离线回放，含 1,729 次原本成功的攻击出现（按出现计，含 KU 流切换前的已知源成功，每配置 18 到 77）。论文称其背后的不同提示数未能从保存文件确定。已知源流只报升级频率；未见源看 KU 流中原本成功攻击被拦截的比例。率对配置平均。

Swipe horizontally to read the table

系统	block rate	额外 KU 干预	KK 干预	yield
MTK	39.7%	0.0	62.2%	–
MTK+Persist-3	47.1%（+7.4 [3.3, 11.8]）	8.0%	63.4%（+1.1）	7.28
MTK+SR-DKW	49.7%（+10.0 [4.1, 16.1]）	10.9%	62.7%（+0.4）	7.66
PG2	30.4%	0.0	31.0%	–
PG2+Persist-3	37.4%（+7.0 [2.6, 12.6]）	12.1%	32.7%（+1.7）	5.32
PG2+SR-DKW	40.0%（+9.6 [2.8, 18.8]）	16.1%	31.7%（+0.7）	5.83

据 Table 2。增量的区间为 95% bootstrap 区间。引言把四个增量概括为 7.0 到 10.0 个百分点。

• 作者称四个增量区间都在 0 以上；该回放中 SR-DKW 的 KU 流检出为 0.851，Persist-3 为 0.640，且 SR-DKW 的 block rate 在两个护栏上都高 2.6 个百分点。Appendix L 称这些检出率不可与 Table 1 比较。作者称没有为两监控器配对差计算区间，因而不作配对比较上的统计声明。
• Appendix L.2 写明：单调或策略下增量按构造非负，正增量说明触发器打在仍含成功攻击的流上，但不能单独说明源感知触发器比同等报警预算的其他触发器更有价值。Table 13 中继承来的 Persist-3 验证 KK 报警率为 0.103，高于施加给 Self-Risk 的 0.05 上限，故 Section 5.3 不是预算匹配的。Self-Risk 在 MTK 上没有额外成功拦截；在 PG2 上有 2 次额外 KU 提示干预、没有额外成功拦截，yield 为 0。作者称校准不一致，因此这不能排除另一种校准下的时间升级规则也会增加保护。
• Appendix L.6 的历史独立策略比较用另一协议（5720 条提示、301 个此前成功的攻击提示、55 个配置）。作者称它不是 Table 2 增量的基线，也不是对 Section 5.3 的独立确认。

其他消融与分析

• 短时域 Table 4（330 配置，每段 40）： Persist-3 测试 KU 0.4663、FPR 0.0000、KK 0.0349；单次越阈 KU 0.3755；SR-DKW 0.6926；SR-RAW 0.7990；mean-p 0.2148；min-kNN 0.1569。原始马氏变体在预定网格内无可行点；长度对齐后 CUSUM 的 KU 检出为 0。
• L（Table 6，按 L 重校准）： L=1 的 KU 0.207、FPR 0.016；L=3 的 KU 0.467、检出流平均延迟 8.94；L=4 的 KU 0.521、延迟 9.99。作者称 L=3 事先固定，不用 KU 结果重选。
• PCA 维数（Table 7）： d=8 的 KU 0.353，d=32 为 0.467，d=64 为 0.465；KK 报警率在 0.029 到 0.040。作者称区间跨维数重叠，差异是描述性的；d=32 事先固定。
• 窗口（Table 5）： W=5 的测试 KU 0.5723、FPR 0.0191、KK 0.0593；W=10 的 KU 0.4663、FPR 0.0000、KK 0.0349。作者称 W=3 与 W=5 并非在 FPR、KK、KU 三项上都优于 W=10，且不按 KU 选择 W。
• 稳健重划分（Table 8，τ̂=2.374）： 静止报警 10/2425（FPR 0.0041），KK 报警率 0.044，KU 检出 0.414 [0.282, 0.589]。作者称它重划分同一缓存嵌入池，不是独立数据，两套结果不合并。
• 短停留（Table 9，冻结 W=10、L=3、τ̂=2.386）： 未见源连续切换、D=3 时段检出 0.34、回合检出 0.75；与已知源交替时段检出 0.08、回合检出 0.61。Figure 5b：原划分 10640 个 KK 回合中 507 个有切换后首次报警，且 507/507 的 d≤11；论文称 507/10640 不可与 Table 8 的 KK 报警率 0.035 相比。作者称可检出性在受害模型与攻击源之间有差异（Appendix H.2）；Figure 5a 的图注是十一个留出攻击源的 KU 检出，正文未给出按模型拆开的数字。

作者指出的局限与后续方向

• 渐近行为（Section 6）： 作者写道，一个后续方向是分析检测器在更多在线数据到达时的渐近行为。
• 完全自适应攻击者（Appendix H.7）： 作者称，能观察检测器状态并切换以破坏证据间隔的完全自适应攻击者，不在定理之内，也不在该压力测试之内。
• 报警后登记（Appendix B）： 作者写明，本文的经验主张不包含经过验证的报警后登记评估；Corollary B.6 描述的是条件下的下游用法，不是实验展示的覆盖恢复流程。

实验覆盖范围

• 源检测实验的受害模型为 Llama2-7B-chat、Qwen2.5-7B-Instruct、Gemma-2-9B-it、Llama-3.1-8B-Instruct，基准为 AdvBench/Harmful Behaviors 与 HarmBench，攻击源 11 个，完整配置 330 个；Appendix K 另记 5 个失败配置。
• 主比较使用长时域 H=1000、ν=501，阈值按静止 FPR≤0.01 与 KK 报警率≤0.05 在已知源验证流上选择；短时域协议每段 40 条观测。比较检测器为 Persist-3、SR-DKW 与 SR-RAW。
• 分层干预为 50 个 AdvBench、Llama-2-7B-chat 配置的离线回放，护栏为未改动的 MTK 与 Prompt Guard 2，分母为 1,729 次原本成功的攻击出现。Appendix L.1 写明该回放复用原划分中的 AdvBench 与 Llama-2 子集，不是独立数据采集，范围窄于四模型的源检测研究。
• Appendix C 写明基准回放未与 Piet et al. (2025) 的两种流级防御比较。Appendix L.2 写明，在相同已知源验证上限和相同升级策略下重校准 Persist-3、SR-DKW 与 Self-Risk 后再评估 KU 流的实验未被报告。
• 区间来自对留出源的 bootstrap；附录诊断写明 5000 次、种子 11。在线检测不用 Yt。论文未报告评审与人工的一致性。

Persist-3 是一个有限记忆的序贯检测器，用来判断攻击表示流是否已经不能由任何一个已知越狱源解释。

• 问题： 部署后新的攻击方法会继续出现。作者要检验的不是单条提示是否有害，而是当前段的分布是否落在已知源集合之外；已知源之间的切换留在原假设内。
• 做法： 对受害模型返回响应前的隐藏表示做共享 PCA（维数至多 32）和源别马氏分数，再换成 split conformal p 值。Persist-3 在最近 10 条上按源平均 −log p，取源上的最小值，并要求该最小值连续 3 步超过只由已知源校准的阈值。一次决策只依赖最近 12 条。SR-DKW 则把 DKW 调整后的源别证据沿全历史做 Shiryaev–Roberts 累积。报警后在未改动护栏之上升级该流，且不因窗口滑出而撤销。
• 检出： 在 H=1000、ν=501、验证上限为静止 FPR≤0.01 且 KK 报警率≤0.05 时，Persist-3 的 KU 检出率为 0.458 [0.335, 0.627]，SR-DKW full 为 0.648 [0.490, 0.793]，两者静止 FPR 均为 0/1835（Table 1）。把 SR-DKW 截到 W=10 后，KU 检出率降到 0.377。
• 分离与护栏： 十一个留出攻击方法上，估计的最近源分离与 KU 检出的 Pearson r 为 0.98 [0.94, 1.00]。50 个 AdvBench、Llama-2-7B-chat 配置的回放中，Persist-3 使 MTK 的 block rate 增加 7.4 个百分点、Prompt Guard 2 增加 7.0 个百分点；SR-DKW 分别增加 10.0 与 9.6 个百分点（Table 2）。作者称拦截假定升级能阻止有害响应。
• 作者的结论： 切换前观测在 W+L−1 步后不再影响 Persist-3 的决策，检测功效由对已知源的最小证据间隔控制。作者称若优先检出未见源，用 SR-DKW；若决策必须只依赖最近观测，用 Persist-3（Table 11）。后续方向是更多在线数据到达时的渐近分析。