简单特征胜过多数 AI 控制监控器
Simple Features Beat Most AI Control Monitors
论文速读
据论文全文整理（AI 生成），以原文为准
研究者发现，在标准 APPS 后门数据集上，不运行代码的简单分类器得分高于 24 个开源权重监控模型中的 20 个。
- AI control 用 monitor 区分诚实代码与带后门的代码，但标准 APPS backdoor 数据集中诚实解由人写、后门由语言模型写，类别间存在作者风格与题目元数据等混淆，高分未必代表真能发现 sabotage。
- 作者训练只用词频（bag-of-words）和只用题目元数据（no-code）的两个分类器作为 floor，与 24 个开源 monitor 比较；再用 Claude Sonnet 5 或 Haiku 4.5 同时写两类代码重建配对，并逐类替换作者，检验分类器优势是否来自作者对比。
- bag-of-words 在标准 split 上 AUROC 0.806，超过 24 个 monitor 中的 20 个；no-code 分类器在 split 内达 0.766 也超过 20 个。逐类替换显示两类作者不同时分数最高（person/Sonnet 5 为 0.953，原配对 0.789）。标准测试集 172 个后门中 24 个未通过合法性检查；修正后 Sonnet 5 monitor 对旧模型与自身后门的捕获率差距从 0.40 降到 0.17。
- 高 floor 只说明标签可被预测，不证明已发表 monitor 依赖这些捷径；只跑了两个 zero-shot monitor，后门来自单一 prompt，working-backdoor 结果仅基于 54–99 个问题和一个攻击模型，2% 阈值只基于 99 个诚实程序中的最高两个。作者建议在生成时运行合法性检查，并呼吁 benchmark 报告不运行代码的 baseline、跨作者配对和 trigger 合法性检查。
研究者发现，在标准 APPS 后门数据集上，不运行代码的简单分类器得分高于 24 个开源权重监控模型中的 20 个。词袋分类器的 AUROC 为 0.806，监控模型的中位数为 0.610，只读题目元数据的分类器为 0.766。作者指出该数据集存在混淆：诚实解由人编写、后门由较老模型编写，代码风格本身就能区分类别，把其中一类换成 Claude Sonnet 5 的代码后 AUROC 从 0.79 升至 0.95。标准测试集 172 个标注后门中有 17 个只含违反题目约束的触发输入，另有 7 个未通过公开测试。作者建议监控基准报告不运行代码的基线、跨作者配对并校验触发输入，并以 MIT 协议发布重建的数据集与脚本。
推荐理由论文用词袋与题目元数据两个基线在 APPS 后门基准上超过 24 个监控模型中的 20 个，并给出可复用的基准自查项。