LLM 置信度校准不应止步于单轮对话
Confidence Should Be Calibrated More Than One Turn Deep
AI 导读
研究者提出多轮校准任务，把大语言模型的置信度校准从静态属性重构为每轮结合对话历史的动态问题，并指出用户反馈（如说服）可能削弱多轮校准。这项工作面向 LLM 在金融、医疗、教育等高风险领域的多轮交互，提出追踪逐轮校准变化的指标 ECE@T，以及通过代理校准目标最小化 ECE@T 的方法 MTCal，并把校准后的置信度用于解码策略 ConfChat，以提升回答的事实性与一致性。论文实验显示 MTCal 在多轮校准上表现稳定，ConfChat 保持甚至提升了模型在多轮交互中的表现；作者称多轮校准是把 LLM 校准扩展到安全可靠实际应用的缺失一环。