J4U：用越狱提示为大型推理模型做黑盒不确定性量化

黑盒大推理模型（LRM）在问答上如何估计置信，使之更接近真实正确率。

• 场景：作者称 LRM 先生成中间推理再作答，并被当作直接决策者用于高风险问答。此时置信需与真实正确概率对齐；生产环境常只能看到文本、拿不到 logits。
• 现有不足：作者称面向 LLM 的黑盒方法——口头置信（confidence verbalization）与基于扰动的一致性（含改写）——在 LRM 上与朴素重复采样几乎不可区分。作者把这与 RL 对齐压低输出变异、造成系统性过度自信联系起来。
• 核心观察：作者把对齐策略写成闭式最优策略，认为提高 KL 正则参数 β 会把策略拉回参考策略 πref，从而降低 Expected Calibration Error（ECE）。
• 提出的方法：作者提出提示级放松算子（relaxation operator），并给出放松降低 ECE 的理论结果；再提出 J4U（Jailbreak for Uncertainty），把越狱式提示变换用于严格良性问题上的多次采样，作为黑盒自一致不确定性估计。
• 威胁模型：论文把访问写成 black-box，不是攻击论文意义上的攻击者设定。
  • 目标是估计预测答案的置信并改善校准，变换只用于严格良性问题。
  • 知识与接口：推理时只能提交提示词并读取文本答案，不能访问推理轨迹、logits、超参数或隐藏状态。
  • 作者称不提出新越狱、也不提高诱发有害内容的效果；伦理声明写变换从不用于诱发有害或违反策略的内容。

黑盒问答不确定性

• 重复采样与语义一致性：Xiao et al. (2025)、Pedapati et al. (2024)、Tao et al. (2025) 用随机解码下的答案变异作不确定性代理；Kuhn et al. (2023)、Manakul et al. (2023)、Zhao et al. (2026) 在语义层面衡量一致。作者称在本文的多选与精确匹配设定下，语义聚类退化为最终抽取答案的精确匹配频率，J4U 改的是采样分布而不是一致性度量。
• 扰动一致性与口头置信：Shorinwa et al. (2025) 把提示级方法分成两类。Portillo Wightman et al. (2023)、Jiang et al. (2023)、Pedapati et al. (2024)、Yang et al. (2024a) 把受控输入扰动与答案变异结合，作者称改写可能改变有效任务分布并影响准确率（Wang et al., 2025）。Lin et al. (2022)、Xiong et al. (2024)、Yang et al. (2024b) 让模型口头报告置信，常再做多样本聚合。作者称这些方法主要在 LLM 上验证，在变异更低的 LRM 上很少与重复采样在统计上可区分。
• 共形预测：Angelopoulos & Bates (2023) 把任意非符合度或置信分数变成有限样本覆盖的预测集。作者称本文与之互补，因为共形预测不关心分数如何产生。

对齐、过度自信与 RL

• 对齐与分布变尖：Ouyang et al. (2022)、Schulman et al. (2017)、Rafailov et al. (2023)、Shao et al. (2024)、Zheng et al. (2025) 给出 RLHF、PPO、DPO、GRPO、GSPO；Rafailov et al. (2023)、Azar et al. (2024)、GX-Chen et al. (2026) 讨论闭式最优策略。OpenAI (2024)、Leng et al. (2025) 被引为：这类优化可能使输出分布变尖、推理路径更确定。
• 过度自信：Groot & Valdenegro Toro (2024)、Epstein et al. (2025)、He et al. (2023) 报告对齐或 LLM 的过度自信。作者用这些工作支撑“被测 LRM 过度自信”这一假设，并在附录 D.2 自测。

越狱与置信操纵

• 一次性黑盒越狱分类：Wei et al. (2023)、Wolf et al. (2024) 讨论对齐为何挡不住越狱。Shen et al. (2025)、Yi et al. (2024) 归纳后缀/前缀注入、模板攻击（Kang et al., 2024；Li et al., 2024）以及保持原意的格式操纵（Andriushchenko & Flammarion, 2025；Ding et al., 2024；Jiang et al., 2024）。作者称这些工作通常在有害提示上评测安全绕过，而不是良性问答上的预测不确定性。
• 对抗提示与置信：Zeng et al. (2024)、Obadinma et al. (2024)、Obadinma & Zhu (2025) 研究对抗提示如何把表面不确定性推高或压低。作者称本文相反：在严格良性问题上用越狱式变换对抗 RL 造成的分布变尖。作者称就其所知，这是把越狱用于改进 UQ 的第一项方法。

基线与基准

• 基线方法：RS（重复采样，代表 πRL）、VC（Xiong et al., 2024 的 Avg-Conf，含 self-random 与 self-probing）、REPHRASE（Yang et al., 2024a 的改写自一致）。主实验数据集为 SuperGPQA（Du et al., 2025）、Humanity's Last Exam（HLE）（Phan et al., 2025）、SynthPAI（Yukhymenko et al., 2024）；讨论中另用 gsm8k（Cobbe et al., 2021）。

作者把本文定位为：不与共形预测或语义一致性度量竞争，而是用放松算子恢复被对齐压低的采样变异，并用越狱式变换作为其候选实现。

整体思路是把 RL 对齐写成相对参考策略 πref 的 KL 正则最优策略，用输入变换近似更大的正则参数 β，从而压低过度自信。经验上用 J4U 的三类越狱式变换来实例化这一放松。

问题设定与形式化

• 任务：多选问答，(X, Y) 服从联合分布 D，Y 有限。LRM 有潜在推理 T，确定性映射 f 把推理轨迹映到唯一答案。模型当黑盒：只能提交提示词、读取文本答案。
• 策略：πT(·|x) 诱导答案边际 πY(y|x)。理论众数 yπ*(x) 是概率最大的答案。参考策略 πref 通常是预训练模型，πRL 由 RL 得到。闭式最优策略为 πβ(t|x) = (1/Zβ(x)) πref(t|x) exp(R(x,t)/β)，β>0 为 KL 正则参数，R 有限。
• 置信：对 K 条独立轨迹做多数票，置信 ĉπ(x) 是多数答案的频率。正确性指示 Iπ 为多数票是否等于真答案。完美校准要求 P(Iπ=1 | ĉπ=c)=c。ECE(π)=E|P(Iπ=1|ĉπ)−ĉπ|。过度自信定义为几乎必然 P(Iπ=1|ĉπ)<ĉπ。

放松算子与校准保证

• 定义：放松算子 j 把 x 映到 j(x)，使 πj(·|x):=πRL(·|j(x)) 等价于某个 β1>β2 的闭式最优策略，其中 πRL≡πβ2。命题 4.2：DKL(πj‖πref)<DKL(πRL‖πref)。证明要点是 KL 正则目标中 β 越大，最优解越靠近 πref；附录 A.1 在奖励非常数时得到 D(β) 严格递减。
• 定理 4.3：若 πRL 过度对齐且 β2 相对奖励差较小，则存在 β′>β2，当放松对应的 β1 落在 (β2, β′] 且采样数 K 有限时，ECE(πj)≤ECE(πRL)+O(√(log|Y|/K))；K→∞ 时 ECE 严格下降。证明把过度自信下的 ECE 拆成 E[ĉπ]−P(Iπ=1)，用次高斯极大不等式控制有限样本偏差；众数概率对 β 的导数非正，故增大 β 降低期望置信从而降低 ECE。作者假设存在不改变理论众数、仍保持过度自信的放松。

J4U 的三种实例

• 设计目标：随机算子 j 要保留 x 的任务载荷，并减弱对齐约束，从而提高回答多样性、降低过度自信的质量集中。不确定性由对 j(x) 的 K 次独立采样估计。实例取自 Shen et al. (2025) 与 Li et al. (2024) 的主要一次性黑盒类别，每次查询独立采样扰动。
• J4U-SUFFIX：在提示后附加随机字符后缀，作者称是梯度离散优化、尤其是通用后缀攻击的简化，代表后缀类。
• J4U-ART：把一个随机词换成其 ASCII 艺术形式，代表语义混淆、非标准格式或局部混淆（Jiang et al., 2024）。
• J4U-PROG：把问题拆成小节，由 LRM 先重组再作答，代表模板重构、结构化模板或多步框架（Kang et al., 2024）。附录 C 给出各方法在某一数据集上的完整提示词。

估计、指标与统计

• 对照：RS 重复同一输入，代表 πRL。VC 先得到答案，再由另一次查询对“该问+该答”给置信，按多次迭代的归一化平均聚合（Avg-Conf，self-random 与 self-probing）。REPHRASE 改写提示再做自一致。
• 指标：理论分析用 ECE；实验另用 NLL（重罚接近确定时的过度自信错误）和 Brier（预测概率与结果的总体偏差）。主结果为相对 RS 的相对百分比与绝对差 Δ。显著性用双侧 bootstrap 均值差检验（方法减 RS），α=0.05，按每个 (LRM, 数据集) 与每个指标分开做。
• 行为检验：放松不能直接验证。作者检验两个可观察推论：预测分布变平（Shannon 熵升高），以及推理轨迹语义多样性上升（嵌入两两余弦相似度下降）。轨迹分析只用 Qwen3-Embedding-8B、不加系统提示；J4U 本身不需要轨迹。GPT-5.6 Luna 因轨迹不可访问被排除在该分析之外。

实验设置

• 模型：gpt-oss-20b、Qwen3-4B、DeepSeek-R1-32B，以及闭源生产模型 GPT-5.6 Luna。作者称前三个为开源权重、便于复现，Luna 用来看生产环境泛化。
• 数据：主实验为 SuperGPQA、HLE（事实与推理问答）和 SynthPAI（合成 Reddit 帖，原用于属性推断，作者称该任务有明显偶然不确定性）。讨论另用 gsm8k。论文未在正文给出各集样本量；附录 B 写除该附录所述步骤外无额外预处理。
• 方法：J4U-SUFFIX、J4U-ART、J4U-PROG；基线 RS、VC、REPHRASE。gsm8k 上另有 NOISE 10% 与 NOISE 20%。
• 指标：Accuracy、ECE、NLL、Brier；行为分析用 Shannon 熵和推理轨迹余弦相似度。置信来自 K 次采样的多数票频率；多选/精确匹配下一致性按抽取答案的精确匹配。
• 采样与检验：每个问题、每种 UQ 方法 K=10，报告一次性聚合结果；附录 B.3 变化 K。所有方法都多次采样。显著性为双侧 bootstrap 均值差，α=0.05。热图行序为 Qwen3-4B、gpt-oss-20b、DeepSeek-R1-32B、GPT-5.6 Luna，列序为 SynthPAI、SuperGPQA、HLE。
• 成本：作者称附录 D.1 显示 J4U 在 API 调用、token 消耗和墙钟时间上，渐近与经验都比 VC、REPHRASE 更省；正文未给出具体次数或耗时。

主结果

Table 1 是相对 RS、在 12 个 LRM–数据集对上的平均相对变化（%）和绝对差 Δ，K=10。Acc 的绝对 Δ 与相对 % 符号不完全一致，下表照抄，不换算。

表格较宽，可左右滑动

方法	Acc↑	ECE↓	Brier↓	NLL↓
VC	−1.2% / −0.005 Δ	+8.6% / +0.035 Δ	+3.5% / +0.008 Δ	+5.0% / +0.55 Δ
REPHRASE	+1.4% / −0.025 Δ	−3.1% / −0.018 Δ	+2.0% / +0.002 Δ	−2.0% / −0.24 Δ
J4U-SUFFIX	+2.8% / −0.001 Δ	−2.9% / −0.008 Δ	−1.7% / −0.006 Δ	−6.4% / −0.30 Δ
J4U-PROG	−1.3% / −0.017 Δ	−15.8% / −0.068 Δ	−4.4% / −0.015 Δ	−14.4% / −1.73 Δ
J4U-ART	+7.0% / −0.008 Δ	−13.8% / −0.066 Δ	−4.8% / −0.018 Δ	−14.5% / −1.80 Δ

据 Table 1。贡献列表把最强已评 SOTA 写成 ECE/NLL/Brier 为 3.1%、2% 与升高 2%，对应 REPHRASE 的平均相对变化。

• 作者对基线：VC 在任一校准评估中都没有相对 RS 的统计显著改进，三个校准指标平均都变差。REPHRASE 在 36 个校准评估里显著改进 3 次、显著变差 3 次；平均 ECE 降 3.1%、NLL 降 2%，Brier 升 2%。
• 作者对 J4U：J4U-PROG、J4U-ART 分别在 12 个 LRM–数据集对的 6 与 7 对上 ECE 显著改进；全部校准指标上，显著改进为 J4U-ART 18/36、J4U-PROG 12/36。没有任何越狱变换带来统计显著的准确率下降；J4U-ART 在 DeepSeek-R1-32B–HLE 上显著提高准确率。相对准确率增益主要由 HLE 驱动，那里 RS 准确率低；绝对上各方法都落在 RS 的 0.025 以内。
• 摘要中的倍数：摘要写 J4U 相对重复采样的改进，在多达 6 倍于所评最强黑盒 UQ 基线的 LRM–数据集–指标设置上达到统计显著，平均 ECE 降幅最多大约 5 倍。按正文计数，6/12 与 7/12 对 REPHRASE 的 3/36 不是同一分母；5 倍对应 15.8% 相对 3.1%。分模型、分数据集的格子在附录 B.1，正文只给热图颜色与上述计数，不逐格给数。

预测分布是否变平

Table 2 是相对 πRL（RS）的 Shannon 熵增幅，每个 LRM 为跨数据集平均；附录 B.4.1 有明细。

表格较宽，可左右滑动

LRM	SUFFIX	PROG	ART
Qwen3-4B	+7.6% / +0.015	+102.9% / +0.308	+72.5% / +0.210
gpt-oss-20b	+9.2% / +0.030	+39.9% / +0.155	+17.4% / +0.069
DeepSeek-R1-32B	+13.2% / +0.035	+57.7% / +0.158	+38.6% / +0.106
GPT-5.6 Luna	+17.0% / +0.018	+57.9% / +0.109	+62.4% / +0.114
Global Mean	+11.8% / +0.024	+64.6% / +0.182	+47.7% / +0.125

• 作者称全部 LRM 与数据集上 J4U 都提高熵。SUFFIX 平均 +11.8%，PROG +64.6%，ART +47.7%，与 SUFFIX 校准增益较小相一致。
• 作者称 gpt-oss-20b 受影响最小，与附录 B.1 中该模型校准增益较小一致；GPT-5.6 Luna 对 PROG 与 ART 大约 +60%，仅次于对 PROG 达 +102.9% 的 Qwen3-4B。

推理轨迹语义多样性

Table 3 为相对 RS 的两两余弦相似度变化，嵌入模型为 Qwen3-Embedding-8B、无系统提示；排除 GPT-5.6 Luna。附录 B.4.2 有全表。

表格较宽，可左右滑动

LRM	SUFFIX	PROG	ART
Qwen3-4B	−5.7% / −0.037	−16.8% / −0.113	−28.8% / −0.187
gpt-oss-20b	−1.1% / −0.013	−22.3% / −0.183	−31.5% / −0.250
DeepSeek-R1-32B	−3.7% / −0.017	−4.8% / −0.037	−23.7% / −0.147
Global Mean	−3.5% / −0.022	−14.6% / −0.111	−28.0% / −0.195

• 作者称相似度下降表示语义更分散。SUFFIX 平均只降 3.5%；PROG、ART 平均 −14.6%、−28.0%。PROG 从 DeepSeek-R1-32B 的 −4.8% 到 gpt-oss-20b 的 −22.3%。ART 在三个模型上从 −23.7% 到 −31.5%，作者称更稳定且分散最大。
• 作者称这与放松的两个可观察签名一致，但并不确立 J4U 就是放松算子，只是间接证据。过度自信假设的自测在附录 D.2，正文未给该附录的数值。

其他消融与分析

• 高确信区间 gsm8k（附录 D.3，Table 12）：作者称 4 个 LRM 的 RS 准确率高（正文写 95%；表中 RS 为 Qwen3-4B 0.96、gpt-oss-20b 0.94、DeepSeek-R1-32B 0.96、GPT-5.6 Luna 0.96，ECE 分别为 0.04、0.04、0.03、0.04）。作者称此处已有 UQ 方法已经校准较好，用来检验是否注入虚假变异。
• 相对噪声：作者称 J4U 不像随机噪声，准确率与 ECE 的变化按 bootstrap（α=0.05）不显著；NOISE 20% 同时变差准确率与校准，NOISE 10% 只变差校准。例如 Qwen3-4B 上 NOISE 20% 准确率 0.69、ECE 0.19，而三种 J4U 的准确率 0.95–0.96、ECE 0.04–0.06。GPT-5.6 Luna 上 NOISE 20% 准确率 0.83、ECE 0.22，J4U 准确率均为 0.95、ECE 为 0.04、0.03、0.04。
• K 的变化：附录 B.3 研究不同 K，正文未给出该研究的数字。
• 逐格结果：附录 B.1 给每个数据集和 LRM 的结果；正文只用 4×3 热图概括方向与显著性，未列出逐格百分比。
• 例外：SUFFIX 的平均 ECE 只降 2.9%，接近 REPHRASE 的 3.1%，远小于 PROG/ART。PROG 的平均相对准确率为 −1.3%（绝对 Δ −0.017），作者仍称无统计显著的准确率下降。REPHRASE 的 Brier 平均上升。VC 的 ECE、Brier、NLL 平均都变差。

作者指出的局限与后续方向

• 越狱会被缓解（Section 6 Discussion）：作者写工作依赖越狱式对抗提示，而模型提供方预期会缓解这类行为，因此特定越狱可能随时间失效。作者同时称 J4U 在多个越狱族上都有效，故不绑定单一脆弱模式，并可适应新的越狱技术；并引用调查称越狱仍在演化、现有防御对较新模型仍然无效，以及只要违规行为概率非零就存在能诱发它的提示（Wolf et al., 2024）。
• 更开放的访问（Section 6 Future Work）：作者写自然的延伸是探索更宽松的访问级别。若能访问内部权重和梯度，可对对齐做机制分析，并找出最导致预测熵塌缩的组件或层再专门放松，作者认为这可能带来更稳的校准技术。
• 代码发布（Reproducibility Statement）：作者计划在录用后把代码放到公开仓库；三个开源权重 LRM 的结果可由补充材料复现，GPT-5.6 Luna 依赖专有 API，可能随日后模型更新而变化。
• 理论边界（Section 5.4）：作者写行为证据并不确立 J4U 就是放松算子。定理要求过度对齐、且 β 的增幅不改变理论众数；这是假设条件，不是作者单独列出的实验局限。

实验覆盖范围

• 被测模型为 Qwen3-4B、gpt-oss-20b、DeepSeek-R1-32B、GPT-5.6 Luna，共 4 个；主数据集为 SynthPAI、SuperGPQA、HLE，共 12 个 LRM–数据集对，校准指标 ECE、Brier、NLL 共 36 个设置（Section 5.2–5.3，Table 1）。
• 主结果每个问题 K=10；显著性为每个 (LRM, 数据集) 与每个指标分开的双侧 bootstrap 均值差检验，α=0.05。附录 B.3 变化 K，正文未报告该附录的数值。
• 行为签名：熵覆盖全部 4 个 LRM（Table 2）；推理轨迹余弦相似度只用 3 个开源模型，嵌入为 Qwen3-Embedding-8B，GPT-5.6 Luna 因轨迹不可访问被排除（Table 3，Section 5.4）。
• 高确信检查在 gsm8k 上比较 RS、VC、REPHRASE、NOISE 10%、NOISE 20% 与三种 J4U（Table 12，附录 D.3）。附录 D.2 报告被测 LRM 过度自信，正文未给数值。
• 比较对象为 RS、VC、REPHRASE；作者讨论共形预测与语义一致性时称本文与之互补，实验未把它们列为基线。成本比较在附录 D.1，正文未报告具体 API 次数、token 或耗时。论文未报告评审模型与人工一致性：指标由答案匹配和采样频率计算。

J4U 是面向黑盒 LRM 问答的不确定性估计：用越狱式提示扰动近似“更大 KL 正则”的放松，再以多次采样的多数票频率当置信。

• 问题：作者认为 RL 对齐把输出分布变尖，LRM 系统性过度自信；在只能看文本的设定下，口头置信和改写一致性相对重复采样几乎没有可用的额外信号。
• 方法：对齐策略写成 πβ ∝ πref exp(R/β)。放松算子把输入改到等价于更大 β 的策略。定理 4.3 称在过度对齐且不改变理论众数时，K→∞ 则 ECE 严格下降，有限 K 时多一个 O(√(log|Y|/K)) 项。J4U-SUFFIX、J4U-ART、J4U-PROG 分别对应后缀、ASCII 艺术替换和分节重组，只用于良性问题。
• 主结果（Table 1，4 个 LRM × 3 个数据集，K=10，相对 RS）：J4U-PROG 平均 ECE −15.8%（−0.068 Δ）、NLL −14.4%；J4U-ART 的 Brier −4.8%、NLL −14.5%、ECE −13.8%。REPHRASE 平均 ECE −3.1%、NLL −2%、Brier +2%；VC 三项校准平均变差。显著校准改进为 ART 18/36、PROG 12/36、REPHRASE 3/36。绝对准确率都在 RS 的 0.025 以内。
• 行为：相对 RS，PROG/ART 的全局平均熵升 +64.6% / +47.7%（Table 2）；三个开源模型上轨迹余弦相似度平均 −14.6% / −28.0%（Table 3）。作者称这与放松的可观察签名一致，但不是该机制的直接验证。gsm8k 上 RS 准确率约 0.94–0.96，J4U 的准确率与 ECE 无显著变差，而 NOISE 20% 两者都变差（Table 12）。
• 作者结论：在黑盒 LRM 部署里，这类提示级放松可以作为实用的 UQ 工具。作者同时指出越狱会被厂商缓解，特定模式可能失效，并认为多族变换可以跟着新越狱调整；若以后能看权重和梯度，可以专门放松导致熵塌缩的层。