跳到正文
原文
OpenAI Deployment Safety·本站收录· 原文发表· 评测 →· 扫描记录里的位置 →精选关注度37

OpenAI:CSAM图像分类器在线评估精度低于离线

OpenAI CSAM Image Classifier Model Card

AI 导读

OpenAI 发布 CSAM 图像分类器 Model Card,该分类器用于检测儿童性虐待材料(CSAM),训练与评测使用受控访问、人工标注且符合美国法律的数据集,敏感材料在受限访问的受控环境中存储和处理,并有法律、隐私、安全与审核员健康保护措施。卡片解释了线上评测集精确率明显低于离线留出集的原因:留出集中 CSAM 占比远高于线上观察到的水平,当 CSAM 稀少时,少量被误标的非 CSAM 图像数量就可能超过真阳性,从而拉低精确率,因此线上估计更能反映人工审核员在 ChatGPT 上看到的标记构成。OpenAI 在多轮训练中利用此前线上评测的已审核样本改进已识别的错误类型,每轮训练都暴露出新的误报模式。

推荐理由

卡片解释了线上精确率低于离线留出集的低基率效应,对部署低频事件检测分类器的团队有参考价值。

阅读原文deploymentsafety.openai.com