Sys1Cal-v1：Jev 的二元 Choice 输出存在系统性概率失真

System One 模型返回的每个选项概率是否具有正确数值含义，而不只是预测类置信度是否校准。

• 决策场景：作者指出，下游常把预测分布与任务效用合起来选择动作，成本敏感分类、自主决策以及弃权或转交都依赖类概率。Jev 由 TypeSafe AI 作为 System One 模型提出，经 Noul、Choice 和 Score 返回结构化概率而非自由文本；作者称这些概率已校准是其核心承诺，但没有公开测试。
• 现有评测的缺口：频率校准问赋概率 p 的事件是否以频率 p 发生；适当评分规则在期望上奖励真实分布；ECE 只评估预测类概率，作者把 JevBench 归入此类。作者认为这些不检验每个选项概率的数值含义、等价状态是否给出同一概率，以及三种原语是否语义相容。作者还指出，argmax 准确率把分布收成标签，丢掉下游决策可能需要的信息。
• 提出的基准：Sys1Cal-v1 中命题 A 的 P(A) 由构造已知，比较的是返回分布与真分布，指标为全变差和分布重叠（软准确率）。作者报告 Jev 的 Choice 可被解释为压掉了第三真值 U，也就是没有直接说出的 “I don't know”。

引言没有单独的相关工作专节，而是按评测对象把已有做法分成几类。

决策中的概率

• 最优动作：作者援引 Gneiting and Raftery（2007）与 Silva Filho 等（2023），讨论预测分布须与任务效用结合才能决定最优动作，类概率因此关系到成本敏感分类和自主决策。
• 弃权或转交：Chow（1970）讨论识别错误与拒绝的权衡，El-Yaniv and Wiener（2010）讨论无噪声选择性分类。作者用这组文献指向模型可以弃权或转交不确定样本。

校准评测传统

• 频率与适当评分：Dawid（1982）讨论被赋概率 p 的事件是否以频率 p 发生。Brier（1950）以及 Gneiting and Raftery（2007）讨论的对数分数等适当评分规则，在期望上奖励真实预测分布。
• 后验概率：Ferrer and Ramos（2025）从贝叶斯决策理论、适当评分规则和校准讨论后验概率评估。论文将其列为动机，没有单独做实验对照。
• 置信度与 ECE：Guo 等（2017）讨论现代神经网络的置信度校准和预期校准误差，评估对象是预测类的概率。作者明确把 JevBench（Benchmark Heaven, 2026）归入这一类。

基线与文中用到的准则

• 基线方法：SemIf（TheoLeeCJ, 2026）是开源的 Choice 风格基线，实验中只产生 Choice。被测的 Jev（Almeida, 2026）还有 Noul 和 Score。比较都在作者构建的 Sys1Cal-v1 上完成。
• 区间上的决策：第 5 节把不确定质量联系到选择性预测与弃权（Xin 等, 2021；Kadavath 等, 2022），稳健损失使用 Berger（1985）和 Walley（1991）的 Γ-minimax。OVL 采用 Inman and Bradley（1989）的重叠系数。

作者的区分是：置信度传统不回答每个返回选项的概率是否数值正确，也不检查等价状态是否给出同一分布、三种原语是否语义相容。Sys1Cal-v1 改为提供构造已知的点概率，直接比较返回分布。

Sys1Cal-v1 把命题的真概率固定下来，再分别读取 Noul、Choice 和 Score；对 Jev 的 Choice 偏差，作者用 Score 期望上的潜在不确定项 U 给出二值校正和三状态区间两种用法。

数据构造

• 真值：每题先定义命题 A，随机生成 p* = P(A)，于是 P(¬A) = 1 - p*。生成器的具体分布论文未写。
• 六类状态：显式概率、计数频率、复合概率、条件概率、贝叶斯公式、序贯贝叶斯更新。作者称这六类用来查看模型在何种难度上仍能做校准决策。
• 等价渲染：同一问题可写成直接概率、计数、比率、表格、散文、嵌套状态，以及带干扰信息的状态。初版有 365 条渲染，来自 92 个问题。
• 三种查询：每题同时准备 Noul、Choice、Score，命题与金标准分布共用。附录 Table 5 给出若干写法示例。

三种原语与重复

• Noul：返回 P(A) 与 P(¬A)，二者之和为 1。
• Choice：问题问命题的真值，选项为 False 与 True。作者期望 P(True) = P(A)，P(False) = P(¬A)。
• Score：在 10 个有序等级上给分布，两端为 Completely false 与 Completely true。等级 j 赋值 z_j = j/9，j 从 0 到 9。期望 μS 是各等级概率与 z_j 的加权和（式 1）。作者用 μS 投影到二值真值，以便和 Noul、Choice 比较。
• 重复：论文写 Jev 与 SemIf 的输出不确定，每条输入 10 次，p̂ 为这 10 次概率的平均，再计算与 p* 的距离。

指标

• 软准确率：二元情形的全变差是估计概率与真值之差的绝对值。分布重叠定义为 OVL(p̂, p∗) = 1 − |p̂ − p∗|，落在 0 到 1。作者将其当作软准确率，因为目标从 one-hot 标签换成了概率分布。
• 表征敏感性：同一潜在问题的等价渲染之间计算成对 TV，并记录组内最大散布，汇总在附录 A。作者期望接口在散文、表格、计数或比率下给出相同概率。

潜在第三真值

• 归一化假设：作者设 True、Uncertain、False 的潜在概率 πT、πU、πF 之和为 1。若 Choice 丢掉不确定成分再归一化，则 P_Choice(True) = π_T / (1 − π_U)，False 同理。
• 用 Score 拟合：取 πT 的估计为 μS。作者给出的理由是，Score 期望与 Noul 强相关且看起来已校准，因此 μS 里看不到明显的不确定质量，1 - μS 的一部分可以是不确定。形式为 μS 的 α 次方乘 (1 - μS) 的 β 次方，约束 α>0、β≥1，使该质量落在 0 与 1-μS 之间。
• 尺度与零假设：再乘尺度 λ，0≤λ≤1。无不确定假设是 H0：λ=0。作者估计一个全局 λ，以及 92 个潜在问题上的 λj。式 (5) 用这一形式预测二值 Choice 的 True 概率。作者称该定义不必是 Jev 编码真值的精确机制。

两种用法

• 二值校正：拟合的映射 f 等于 μ 除以 1 减去 λ、μ 的 α 次方与 (1-μ) 的 β 次方之积。对原始 Choice 概率做 f 的逆，得到仍是二值的概率，并用与原始 Choice 相同的 OVL 对 p* 评估。作者称这保留 Choice 接口，供阈值、排序、期望效用或风险评分使用。
• T/U/F：T 取 μS，U 取上面的不确定质量，F = 1 - T - U。兼容真值写成 P(A) 落在 [T, T+U]（式 6）。区间得分是 1 减去 p* 到该区间的绝对距离。作者指出它与二值 OVL 不能直接互换，区间越宽越宽松，必须连同宽度 U 一起报告。
• 动作：作者区分按 A 为真行动、按 A 为假行动和推迟。T/U/F 在区间上用 Γ-minimax 取最坏情况损失。作者称 U 小时可自动行动，U 大或区间跨过决策阈值时推迟、补充证据，或交给更慢的模型或人工。

实验设置

• 模型：Jev 的 Noul、Choice、Score，以及只输出 Choice 的开源基线 SemIf。论文未写版本号、温度或解码方式。
• 数据：Sys1Cal-v1，92 个潜在问题、365 条渲染，六类状态见第 2.1 节。Table 5 举例包括 direct、ratio、prose、distractor、counts、scaled counts、table、nested state。
• 协议：每条重复 10 次，p̂ 为概率平均，再与构造真值 p* 比较。不使用外部评审模型，也没有人工一致性。
• 指标：Mean TV 与 Mean OVL；校正后的二值 OVL；T/U/F 的区间 OVL，并配平均宽度；附录 A 的 mean pairwise TV 与 mean max TV。
• 校正范围：逆映射和 T/U/F 针对 Jev，依赖 Score 期望。SemIf 没有 Score，论文未对它做这套校正。Table 3 未写明使用的是全局 λ 还是逐问题 λj。
• 检验：Table 2 对缩放模型检验 H0：λ=0，并给 bootstrap 置信区间。OVL 本身没有显著性检验。

主结果

据 Table 1，同一批 Sys1Cal-v1 题目上的均值：

输出	Mean TV	Mean OVL
Jev-Choice	0.236	0.764
Jev-Noul	0.0817	0.918
Jev-Score	0.1139	0.886
SemIf-Choice	0.371	0.629

• 作者的解读：三种原语评的是同一批题目，本应估计同一概率。作者称 Jev 的 Noul 与 Score 校准更好，Choice 较差；SemIf 的 Choice 更弱。Figure 1 图注称 Noul 与 Score 期望更靠近虚线恒等线，Choice 系统性偏向高 True 概率。
• 分界：作者称 P(A)≥0.5 时 Jev-Choice 倾向给出很高的概率，P(A)<0.5 时更模糊。Figure 2 比较两模型的 Choice 转移，图注称各面板标有 Mean TV；正文未列出面板读数，只称 SemIf 整体上校准较差。贡献部分写 SemIf 也有这一问题，而看起来能消掉它的映射出现在 Jev。
• 投影：作者称式 (1) 的 Score 期望收回的概率与 Jev-Noul 接近，因此该投影与 Noul 一致，与 Choice 不一致。

Score 到 Choice 的映射

• Figure 3：作者称 Score 期望相对真值和 Noul 更紧，相对 Choice 呈一种特殊形状，因而似乎存在能修复校准的非线性映射。
• 拟合：把式 (5) 拟合到 Sys1Cal-v1，得到 α=0.530、β=1.011，对 Choice 概率之预测的 R²=0.834（Figure 4）。作者称形如 μS 的 α 次方乘 (1-μS) 的 β 次方的不确定概率，捕捉了 Score 期望与二值 Choice 之间系统性非线性的很大一部分。
• 误差与 λ：作者称引入该成分后，预测二值 Choice 概率的绝对误差平均降低 0.110，95% 置信区间不含 0；论文未给该区间端点。这是 Score 预测 Choice 的误差，不是相对 p* 的 OVL。Table 2：全局 λ̂=0.978，bootstrap 95% CI 为 [0.789, 1.000]，p 值栏为 “–”；Latent λj 的估计为 0.821，95% CI [0.760, 0.882]，p=2.94×10^-44。作者称这些检验说明 Jev-Choice 可能超出纯 True/False；第 6 节同时写这并不能证明内部实现。

校正、区间与一个决策例子

据 Table 3：

设定	Mean OVL	Median OVL
Raw Choice	0.764	0.771
Calibrated Choice	0.880	0.903
T/U/F	0.931	0.978

• 几个版本：Table 3 与第 5 节一致，并写明平均不确定宽度 0.292。摘要写恢复 P(U) 后中位数从 0.771 到 0.978；贡献第 4 点写均值从 0.764 到 0.931。结论写二值中位数从 0.771 到 0.903，但把区间中位数写成 0.971，与 Table 3 的 0.978 不同。作者强调 T/U/F 的 OVL 更宽松，不能与二值 OVL 直接互换。
• 决策例子（第 5 节、Table 4）：错误承诺代价 100，推迟代价 45。原始 Choice 概率 0.632 时，期望损失为行动真 36.8、行动假 63.2、推迟 45，贝叶斯风险选择行动真。逆映射得到约 0.400，损失变为 60.0、40.0、45，选择行动假。T/U/F 质量为 (0.400, 0.367, 0.233)，已承诺部分再归一化约得 0.632；区间为 [0.400, 0.767]，稳健损失 60.0、76.7、45，选择推迟。
• 范围：这是单个构造例子。论文没有在 365 条上统计三种规则的动作一致率。

表征敏感性

• 做法：附录 A 在重复平均之后，对同一潜在问题的等价渲染计算成对 TV，并记录组内最大散布。
• Table 6：Choice 的 mean pairwise TV 为 0.0998、mean max TV 为 0.181；Noul 为 0.0441 与 0.0787；Score 期望为 0.0656 与 0.116；SemIf Choice 为 0.117 与 0.194。正文把 Noul 的 mean pairwise TV 写成 0.044。
• 作者的解读：顺序稳定。Noul 最稳，Score 期望次之；作者称 Jev Choice 的平均成对变异超过 Noul 的两倍，SemIf Choice 最不稳定。Figure 5 图注称 Choice 与 SemIf 对等价渲染更敏感。作者指出总体校准可能盖住这种敏感性：平均误差可以看起来可接受，同一状态换成等价写法时概率仍会变。

其他消融与分析

• 六类状态的分族 Mean TV、Mean OVL：论文未列表，Figure 1 是跨族概率转移图。
• 10 次重复的离散度、温度或解码：论文未报告。
• α、β 的拟合点为 0.530 与 1.011；除 Table 2 的 λ 尺度外，论文未报告其他超参数搜索。

作者指出的局限与后续方向

• 生态覆盖（第 6 节）：Sys1Cal-v1 用来隔离概率语义，不衡量宽泛的自然语言能力。作者称合成构造使每题有精确点概率，分布重叠因此有意义；同时生态覆盖有限。当前版本使用受控概率族和模板化表述。作者称后续版本应加入更丰富的语言变化、对抗性改写、领域特定决策问题，以及独立验证的自然语言表述。
• Score 的一维投影（第 6 节）：分析依赖 10 级有序分布的期望。作者称这对类真值分数是自然的，但可能没有穷尽完整 Score 分布中的信息；其他汇总，或直接评估完整有序分布，可能暴露更多结构。
• 不是因果断言（第 6 节）：不确定模型应被看成 Score 与 Choice 关系的观测性说明，不是对 Jev 内部实现的因果断言。作者称结果显示 Choice 的行为像是把更丰富的状态压进强制二值输出，推断出的未决质量对校准和决策有用；结果提示、但并不能证明 Jev 在内部显式表示隐藏的第三真值。

实验覆盖范围

• 被测输出为 Jev-Noul、Jev-Choice、Jev-Score 与 SemIf-Choice，数据为 Sys1Cal-v1 的 92 个潜在问题和 365 条渲染（第 2.1 节、Table 1）。
• 每条重复 10 次后平均概率，再与构造真值计算 TV 和 OVL（第 3 节）。评测不经评审模型。
• 不确定项在全局和 92 个潜在问题上估计，零假设为 λ=0（Table 2）。逆映射与 T/U/F 的 OVL 在 Table 3，平均宽度 0.292 写在第 5 节。
• 表征敏感性是等价渲染之间的成对 TV，四种输出的汇总在 Table 6；Table 5 给出表示类型示例。
• 三种决策规则的差别用一个代价例子说明，Cerr=100、CD=45（Table 4）。六类状态的分族 TV 与 OVL，论文未单独列表。

Sys1Cal-v1 用来检查 System One 模型给出的概率，是否等于构造上已知的数值，而不是只看预测类置信度。

Jev 以 Noul、Choice、Score 把结构化概率交给下游决策，作者称“已经校准”并没有公开测试。基准里每个命题 A 的 P(A) 由生成过程固定。92 个问题渲染成 365 条，状态覆盖显式概率、频率、复合与条件概率、贝叶斯和序贯更新，并有多种等价写法。每条重复 10 次取平均。二元全变差是估计概率与真值之差的绝对值，OVL 是 1 减去该距离。Score 先收成 10 级分布的期望，再与二值概率比较。

Table 1 上，Jev-Noul、Jev-Score、Jev-Choice、SemIf-Choice 的 Mean OVL 分别为 0.918、0.886、0.764、0.629。作者称 Choice 在 P(A)≥0.5 时偏向很高的 True 概率。用 Score 期望拟合不确定质量后，式 (5) 预测 Choice 概率的 R² 为 0.834（α=0.530，β=1.011），该预测的绝对误差平均降低 0.110。Table 3 中，逆映射把 Choice 的 median OVL 从 0.771 提到 0.903；保留 T/U/F 时 median OVL 为 0.978，平均宽度 0.292。附录里 Noul 的 mean pairwise TV 为 0.0441，Choice 为 0.0998，SemIf Choice 为 0.117。

一个错误代价 100、推迟代价 45 的例子里，同一原始概率 0.632 在原始 Choice、校正 Choice 和 T/U/F 下分别对应行动真、行动假和推迟。作者的结论是：若概率要进入自动决策，评测就不应停在 argmax 准确率或顶层置信度。作者同时认为，Choice 的表现像是压掉了第三真值，但这是观测关系，并不能证明 Jev 的内部实现。