arXiv· arXiv:2202.07785· Deep Ganguli, Danny Hernandez, Liane Lovitt, Nova DasSarma, Tom Henighan, Andy Jones, Nicholas Joseph, Jackson Kernion, Ben Mann, Amanda Askell, Yuntao Bai, Anna Chen, Tom Conerly, Dawn Drain, Nelson Elhage, Sheer El Showk, Stanislav Fort, Zac Hatfield-Dodds, Scott Johnston, Shauna Kravec, Neel Nanda, Kamal Ndousse, Catherine Olsson, Daniela Amodei, Dario Amodei, Tom Brown, Jared Kaplan, Sam McCandlish, Chris Olah, Jack Clark·本站收录· 原文发表
大型生成式模型的可预测性与意外性
Predictability and Surprise in Large Generative Models
AI 导读
Deep Ganguli 等研究者的论文指出，大型生成式模型呈现反直觉组合：宽训练分布上的损失可预测（体现为 scaling laws），而具体能力、输入和输出难以预测。作者认为高层可预测性与有用能力的出现推动了这类模型的快速开发，不可预测性则使部署后果难以预料，可能导致社会有害行为，文中以文献和真实观察的案例及两个新实验加以说明。论文还分析了这些性质给模型开发者带来的部署动机与阻碍，最后提出 AI 社区可采取的干预措施，供希望理解和监管 AI 系统的政策制定者、关注政策影响的技术人员以及学者参考。