跳到正文
原文
LessWrong· Jo Jiao·本站收录· 原文发表· 观点 →

我在 MATS 与 Redwood 学到的 AI 安全研究经验

Research Lessons I Learned at MATS & Redwood

AI 导读

在 MATS 与 Redwood Research 做实证 AI 安全研究的研究者称,加速实验迭代的关键是为问题建立可预测、可证伪的模型,并用数据更新它。其工作包括基于微调的失准审计与破坏能力评估。作者以 LinuxArena 为例指出,弱监控模型在小审计预算下捕获 80% 的攻击,但若仅有 5 个攻击样本,不宜把 50% 的先验直接更新到 80%。

阅读原文lesswrong.com