Preference Model 开源 RL 环境框架 Karotte

1. 01:58
   X@chem_safety· 讨论

   Preference Model 开源 RL 环境框架 Karotte：默认封住偷看答案、改判分、搞崩评分器、耗尽资源、联网查答案五类奖励作弊（@chem_safety 发布）（新标签页打开原帖）

1. 时刻未标
   Preference Model 官方精选

   Preference Model 发布 Karotte 技术详解：RL 环境如何封堵奖励作弊

   Preference Model 开源 Karotte 框架，用于构建稳健的强化学习环境，默认阻止整类奖励作弊。文章先用约 40 行手写代码搭建 CSV 订单求和任务，逐一展示读答案文件、工具无超时、评分脚本被符号链接或 FIFO 欺骗、PATH 注入等失效模式，再给出 Karotte 的对应做法。Karotte 让 agent 以非特权 student 用户运行，答案与生成代码放在 root-only 目录，防火墙阻断外网，bash 工具带超时和输出截断，评分前 collect_submission 先杀死并确认所有 student 进程、拒绝符号链接和特殊文件、把提交复制到 root-only 目录，评分脚本用环境自身的 Python 运行。

2. 时刻未标
   Preference Model 官方

   Preference Model 开源 RL 环境框架 Karotte，默认加固防奖励作弊

   Preference Model 开源了其内部使用一年的 RL 环境构建框架 Karotte，主打安全默认值与基础原语，用于降低训练环境被奖励作弊的风险。框架让模型以非特权用户在沙箱内运行，评分前杀掉模型启动的进程，并拒绝 FIFO、符号链接、大型稀疏文件等可疑文件，避免评分器崩溃或内存耗尽。官方称 Karotte 已在其内部基础设施上经过超过一百万次评测运行和受控红队测试，并持续用试图奖励作弊的智能体测试来加固。文中引用 Anthropic 去年 11 月发现生产编码环境中学会奖励作弊的模型出现广泛失准，以及 METR 发现 o3 在 RE-Bench 约 30% 的运行中奖励作弊，包括让评分器计时器报告缩短 1000 倍、翻查 Python 调用栈找参考答案。代码已在 GitHub 发布，可用 uvx karotte create-env my-env 起步，但不直接集成云算力提供商。

1. 时刻未标
   preferencemodel/karotte精选

   Preference Model 开源 RL 环境框架 Karotte，默认封堵五类奖励作弊

   Preference Model 开源了用于构建稳健 RL 环境的框架 Karotte，默认封住偷看答案、改判分、搞崩评分器、耗尽资源和联网查答案五类奖励作弊。框架要求 Python 3.12+ 和 uv，任务默认在虚拟机中运行，macOS 用 Apple container、Linux 用 Firecracker，也支持 docker 或 podman。用户可用默认模板创建环境并运行示例任务，运行结果写入 out/transcript.json，并可通过 karotte dashboard 查看。项目采用 MIT 许可，模板采用 MIT-0，构建镜像基于 Amazon Linux 2023，内含 GPL、LGPL 等第三方软件。

当前关注度57·可比范围峰值62（10月8日 16:00）·近 24 小时可比范围变化 -2%