跳到正文
原文
SecureBio· Nelly Mak·原文 · 入选 精选关注度62

SecureBio 发布 VCT-v2 病毒学能力测试,移除 43 道题并编辑 163 道

Introducing VCT-v2 — the Updated Virology Capabilities Test

AI 导读

SecureBio 更新其旗舰病毒学能力测试 VCT,发布更抗捷径的 VCT-v2,共 279 道题。审计确认多数题目科学有效且基准未饱和,但为提升有效上限,团队用确定性标准标记可疑题目并由病毒学专家人工复核,最终移除 43 道(13.4%)题目(含 25 道无区分度的简单题)、编辑 163 道(50.6%),116 道保持不变。测试模型在 VCT-v2 上的准确率比 VCT 下降 1.0 至 7.1 个百分点,最强与最弱模型间差距基本保持(26.6% 对 26.1%),人类专家基线仍约 21%。标记流程发现 87/322(27.0%)道题可被模型在缺少图片或题干的情况下答对,VCT-v2 显著降低了这类捷径利用。作者估计 VCT-v2 的有效上限不低于 79%,高于 VCT 的 23 个百分点余量,并建议将基准维护作为持续工作、加入捷径抵抗检查。

推荐理由

VCT-v2 的审计流程与捷径消融方法,为生物安全评测的维护和防刷分提供了可迁移的做法。

阅读原文securebio.substack.com