Redwood研究预训练数据过滤颠覆相关知识

Geodesic 与 Redwood 的作者介绍了从零预训练 30B 模型时过滤绕过监督相关知识的初步研究。作者称过滤后知识题表现下降，而一般能力保持。作者明确表示尚未测试真实的绕控行为是否因此减少。

AI 根据报道生成 · 1 天前更新

本站还没有收集到这件事的讨论链接。

每小时关注度

还没有足够的连续观测数据，暂不绘制趋势。