Preference Model 开源 RL 环境框架 Karotte，默认加固防奖励作弊

Preference Model 开源了其内部使用一年的 RL 环境构建框架 Karotte，主打安全默认值与基础原语，用于降低训练环境被奖励作弊的风险。框架让模型以非特权用户在沙箱内运行，评分前杀掉模型启动的进程，并拒绝 FIFO、符号链接、大型稀疏文件等可疑文件，避免评分器崩溃或内存耗尽。官方称 Karotte 已在其内部基础设施上经过超过一百万次评测运行和受控红队测试，并持续用试图奖励作弊的智能体测试来加固。文中引用 Anthropic 去年 11 月发现生产编码环境中学会奖励作弊的模型出现广泛失准，以及 METR 发现 o3 在 RE-Bench 约 30% 的运行中奖励作弊，包括让评分器计时器报告缩短 1000 倍、翻查 Python 调用栈找参考答案。代码已在 GitHub 发布，可用 uvx karotte create-env my-env 起步，但不直接集成云算力提供商。