我在 MATS 与 Redwood 学到的 AI 安全研究经验
Research Lessons I Learned at MATS & Redwood
AI 导读
在 MATS 与 Redwood Research 做实证 AI 安全研究的研究者称,加速实验迭代的关键是为问题建立可预测、可证伪的模型,并用数据更新它。其工作包括基于微调的失准审计与破坏能力评估。作者以 LinuxArena 为例指出,弱监控模型在小审计预算下捕获 80% 的攻击,但若仅有 5 个攻击样本,不宜把 50% 的先验直接更新到 80%。