Preference Model 开源 RL 环境框架 Karotte，默认封堵五类奖励作弊
Preference Model 开源 RL 环境框架 Karotte：默认封住偷看答案、改判分、搞崩评分器、耗尽资源、联网查答案五类奖励作弊（GitHub 仓库）
AI 导读
Preference Model 开源了用于构建稳健 RL 环境的框架 Karotte，默认封住偷看答案、改判分、搞崩评分器、耗尽资源和联网查答案五类奖励作弊。框架要求 Python 3.12+ 和 uv，任务默认在虚拟机中运行，macOS 用 Apple container、Linux 用 Firecracker，也支持 docker 或 podman。用户可用默认模板创建环境并运行示例任务，运行结果写入 out/transcript.json，并可通过 karotte dashboard 查看。项目采用 MIT 许可，模板采用 MIT-0，构建镜像基于 Amazon Linux 2023，内含 GPL、LGPL 等第三方软件。
推荐理由
框架默认封住五类奖励作弊路径，做 RL 环境与智能体评测的团队可参考其隔离与运行设计。