TruthfulQA：衡量模型如何模仿人类谬误

Lin 等人构建的 TruthfulQA 基准发现逆向缩放现象，在人类常见误解普遍的问题上，更大的语言模型反而不如小模型真实。该基准包含 817 个问题，覆盖健康、法律、金融、政治等 38 个类别，专门设计成常见误解会导向错误答案。在生成式设置下，最大的 GPT-3 175B 只有 58% 的回答属实，人类基线为 94%。论文提出“模仿性谬误”概念，指模型生成虚假陈述并非因为缺乏知识，而是因为该虚假说法在训练数据中统计上普遍。研究还发现信息量随规模上升而真实性下降，并引入 GPT-judge 和 GPT-info 自动评估指标。