Preference Model 开源 RL 环境框架 Karotte

Preference Model 开源 Karotte 框架，用于构建稳健的强化学习环境，默认阻止整类奖励作弊。文章先用约 40 行手写代码搭建 CSV 订单求和任务，逐一展示读答案文件、工具无超时、评分脚本被符号链接或 FIFO 欺骗、PATH 注入等失效模式，再给出 Karotte 的对应做法。Karotte 让 agent 以非特权 student 用户运行，答案与生成代码放在 root-only 目录，防火墙阻断外网，bash 工具带超时和输出截断，评分前 collect_submission 先杀死并确认所有 student 进程、拒绝符号链接和特殊文件、把提交复制到 root-only 目录，评分脚本用环境自身的 Python 运行。

Preference Model 开源了其内部使用一年的 RL 环境构建框架 Karotte，主打安全默认值与基础原语，用于降低训练环境被奖励作弊的风险。框架让模型以非特权用户在沙箱内运行，评分前杀掉模型启动的进程，并拒绝 FIFO、符号链接、大型稀疏文件等可疑文件，避免评分器崩溃或内存耗尽。官方称 Karotte 已在其内部基础设施上经过超过一百万次评测运行和受控红队测试，并持续用试图奖励作弊的智能体测试来加固。文中引用 Anthropic 去年 11 月发现生产编码环境中学会奖励作弊的模型出现广泛失准，以及 METR 发现 o3 在 RE-Bench 约 30% 的运行中奖励作弊，包括让评分器计时器报告缩短 1000 倍、翻查 Python 调用栈找参考答案。代码已在 GitHub 发布，可用 uvx karotte create-env my-env 起步，但不直接集成云算力提供商。