跳到正文
原文
LessWrong· CMLKevin·本站收录· 原文发表· 观点 →· 扫描记录里的位置 →

LessWrong作者计划审计数据商提供给中国前沿实验室的RL环境奖励作弊

RL Reward-Hack Auditing for Chinese AI Safety

AI 导读

创建了中国最大AI安全社区之一的团队计划审计数据供应商提供给中国前沿实验室的RL环境中的奖励作弊。Xiaomi开源的MiMo v2.6 RL环境中2/3存在Git log泄漏;团队估计中国主要AI公司每家仅5-10人做对齐与危害缓解。团队计划派驻人员与实验室对齐及安全部门协作,公开报告失败模式,并参与起草AI训练安全标准。

阅读原文lesswrong.com