语言模型免训练自报告置信度分析：直接言语化置信度在 TriviaQA 上 AUROC 达 0.956
An Analysis of Training-Free Self-Reported Confidence in Language Models
AI 导读
对两个模型家族在 100 道 TriviaQA 题目上的三种免训练置信度信号分析显示，直接言语化置信度是强基线，审计基准错误后正确性预测 AUROC 达 0.956 和 0.937；三样本一致性明显更弱（0.765 和 0.790），与言语化置信度的固定插值无统计可靠增益。一个模型 9 个错误中 4 个、另一个 8 个中 2 个获得全样本一致支持，说明自一致性会放大共有误解；对同一固定答案用等价提示重新诱导置信度，平均分数变化 0.043 至 0.084，在 0.8 阈值下翻转 4% 至 9% 的判定。对 100 条带置信度标签的传记主张的探索性审计仅发现支持与矛盾主张间存在有限置信度差距。