模型真的采纳了吗?反事实训练提升语言模型的自我归因能力
Did the Model Use That? Counterfactual Training Boosts Self-Attribution in Language Models
AI 导读
研究者提出 CREDIT 训练方法,让语言模型学会准确自述其回答是否真的采纳了用户建议,全程无需人工标注。做法是让模型在回答末尾标注“采纳了建议”或“无”,再在去掉提示的条件下把同一问题问四次来检验自述;作者发现前沿模型的自述表现接近随机水平。训练数据来自模型自己的回答,只根据模型在无提示时给出被暗示答案的频率修改末尾归因行。Qwen3-8B 微调后平衡准确率从 0.49 升至 0.86,作者称在相同问题上所测的四个开源模型均超过所有被测前沿模型,代码已发布。
相关热点
1 个事件 · 0 条新闻提到
- 这件事的论文
反事实训练提升语言模型自我归因能力