开源模型安全

今天还没有收录新动态

今天还没有收录新动态

10月5日周一

星期一

12:14
arXiv：对齐、欺骗与监督 · 收录 12:14 · 原文 10月5日论文关注度2424
用偏好奖励与评分标准奖励组合后训练前沿文生图模型
研究者提出一种组合互补奖励信号的文生图后训练方法，将基于 Bradley-Terry 目标、用大规模人类偏好数据训练的偏好奖励，与评估提示词忠实度并防止奖励作弊的评分标准奖励结合，并指出简单加权平均会导致优化次优。在 Arena 文生图排行榜上，经 RL 训练的 Flux2dev 的 Elo 比基座模型高 69 分，后训练的 Ideogram-4 以 1223.5 的 Elo 超过所有开源模型（SOTA 声明基于 2026 年 9 月 4 日的排行榜快照）。团队同时发布 1K 子集 Arena-T2I-Training 以支持可复现研究。
AI 动态 #奖励作弊 #开源模型安全 #AI 动态
05:43
论文追踪 · 收录 05:43 · 原文 9月22日论文关注度2929
小米 MiMo-V2.6 发布：以强化学习扩展推动模型自我改进
小米发布 MiMo-V2.6 系列全模态模型，含 1.02T 参数、42B 激活参数的 MiMo-V2.6-Pro 和 310B 参数、15B 激活参数的 MiMo-V2.6-Flash，通过扩展强化学习算力推进模型自我改进。其 RL 训练每步消耗 1,568 个样本、2.7∼3.7B tokens，上下文长度最高 1M，覆盖代码、通用、视觉与网络等环境，并冻结 MoE router、建立多层防御以抑制奖励作弊。团队开源训练动态、RL 环境与 RL 框架。
AI 动态 #奖励作弊 #开源模型安全 #AI 动态

10月4日周日

星期日

07:52
论文追踪 · 收录 07:52 · 原文 7月31日论文关注度4141
Frontis-MA1：面向机器学习工程递归自我改进的 AI4AI 模型
研究者提出 OpenMLE 全栈系统用于研究机器学习工程中的递归自我改进，包含可验证任务环境 OpenMLE-Gym、算子学习 OpenMLE-RL 和长时程搜索 OpenMLE-Evo，并在此基础上后训练出 35B 的元进化智能体 Frontis-MA1。该模型围绕 Draft、Improve、Debug、Crossover 四个程序进化算子，用执行反馈驱动的 SFT 和 RL 训练，再组合成长时程搜索。在单张 RTX 4090、12 GB 显存、每任务 12 小时预算下，MLE-Bench Lite 的 Medal Average 从基座的 39.39% 提升到 60.61%，配合 OpenMLE-Evo-Max 达到 71.21%，超过 GPT-5.5 + Codex，接近 GPT-5.6 Sol 和 2.8T 的 Kimi K3。作者开源了模型权重和完整 OpenMLE 栈。
AI 动态 #Agent 安全 #对齐 #开源模型安全 #arXiv

已经到底了

研究话题