跳到正文
原文
Hugging Face Daily Papers·· 4 天前

Sys1Cal-v1:Jev 的二元 Choice 输出存在系统性概率失真

Jev thinks "I don't know'', but doesn't say it: Introducing Sys1Cal-v1 Dataset for Probability Calibration

AI 导读

研究者发布 Sys1Cal-v1 基准,其每个命题的真实概率由构造已知,可直接评估结构化概率输出而非仅检查预测类别的置信度。在 Jev 上测试发现其原语间存在明显不对称:Noul 与 Score 接近真实概率,而二元 Choice 输出出现系统性非线性失真,可通过引入 True、False 之外的潜在第三分量 Uncertain 来建模,Choice 相当于移除不确定质量后对 True/False 重新归一化。该现象意味着显式表示不确定性可支持不同下游动作,如高错误代价时延迟决策;Sys1Cal-v1 与评估代码已公开,作者希望在其他结构化决策模型上复现,以检验二元或分类输出是否普遍压制决策相关的不确定性。

阅读原文huggingface.co