依赖不可靠：语言模型不愿表达不确定性带来的影响
Relying on the Unreliable: The Impact of Language Models' Reluctance to Express Uncertainty
AI 导读
论文研究语言模型在回答中如何用自然语言表达置信度，以及用户如何回应模型表达的不确定性。研究发现，公开部署的模型即使回答错误也不愿表达不确定；模型可被明确提示表达置信度，但往往过度自信，自信回答的平均错误率为 47%。人类实验显示，无论模型回答是否标注确定性，用户都高度依赖模型生成的内容。论文还分析了后训练对齐使用的偏好标注数据集，发现人类在偏好标注中对带有不确定性的文本存在偏差，并据此提出设计建议和缓解策略。