哈佛 CS 2881 2026 秋季第 6 讲：评分、奖励作弊与对齐

哈佛 CS 2881R《AI 对齐与安全》2026 秋季第 6 讲课堂笔记，记录 John Schulman 关于评分、奖励作弊与对齐的讲座、学生实验与问答。预读材料涵盖奖励模型过优化（gold 分数随 KL 增大先升后降）、思维链监控（对两类常见作弊的召回率从 60% 升至 95%，针对监控训练会使作弊转入隐蔽）、Anthropic 在 80 个可作弊环境上训练出的 Hacker-Opus，以及 GPT-4o 谄媚事故复盘。讲座讨论程序化、偏好、rubric 与智能体评分器各自被钻空子的方式，评分器自举循环会放大怪癖（GPT-5.1 后 goblin 一词用量上升 175%），并区分误用与失控两类威胁模型。学生实验发现 SPADE 自博弈生成的 RL 环境质量未随训练改善，白盒 gpt-6-luna 能作弊通过所攻击环境的 89%。