LaMDA：面向对话应用的语言模型

论文提出的 LaMDA 是一组面向对话应用的 Transformer 语言模型，最大 137B 参数，在 1.56T 词的公开对话数据和网页文本上预训练。作者称单纯扩大模型规模能提升质量，但对安全和事实依据的改善有限；用标注数据微调并让模型调用信息检索系统、翻译器、计算器等外部知识源，可在这两项上取得显著改善。安全方面用一套基于示例性人类价值的指标量化，作者发现用少量众包标注数据微调的 LaMDA 分类器对候选回复做过滤，是提升模型安全的有前景做法。事实依据方面用 groundedness 指标量化，使回复基于已知来源，而非只是听起来合理。论文还探讨了 LaMDA 在教育与内容推荐领域的有用性和角色一致性。