Goodfire 解读为何更大模型学得更多:容量、干扰与稀有任务留存的作用
Why Larger Models Learn More: Effects of Capacity, Interference, and Rare-Task Retention - Goodfire
AI 导读
Goodfire 发表《Why Larger Models Learn More》,从容量、干扰与稀有任务留存三方面解释大模型的规模优势。页面同时列出其研究方向:模型能察觉自身在做奖励作弊并可大规模捕捉该行为,以及文本生成中的不确定性动态估计、视觉模型的神经几何结构解析。Silico 是其可解释性智能体,可用先进的可解释方法与基础设施来解释、调试并精确控制模型行为。