LessWrong作者计划审计数据商提供给中国前沿实验室的RL环境奖励作弊
RL Reward-Hack Auditing for Chinese AI Safety
AI 导读
创建了中国最大AI安全社区之一的团队计划审计数据供应商提供给中国前沿实验室的RL环境中的奖励作弊。Xiaomi开源的MiMo v2.6 RL环境中2/3存在Git log泄漏;团队估计中国主要AI公司每家仅5-10人做对齐与危害缓解。团队计划派驻人员与实验室对齐及安全部门协作,公开报告失败模式,并参与起草AI训练安全标准。