CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用
Sharding Prevents LLM Oversight Failures and Adversarial Exploitation
AI 导读
卡内基梅隆大学的研究者提出用分片（sharding）缓解 LLM 监督中的决策负载问题：把一次调用要给出的众多判定拆成若干小组分别判断，再汇总结果。在 PaperBench、JudgmentBench 和 ROBoto2 三个专家标注数据集上，分片判断与专家的一致率高于把同等总预算交给单次整体判断，且单次判断加大预算并不能恢复精度，说明瓶颈在决策注意力而非总算力。研究还构造了 best-of-N 呈现攻击：保持事实不变、只改变材料呈现方式，可让过载判断者接受更多实际未满足的标准，代码验证器放过缺陷补丁的比例从 0.12 升到 0.44；分片能消除这一攻击面，但对逐条说服判断者的攻击无效，需在分片基础上加入对立辩论。作者用容量模型解释分片生效的条件，并指出分组大小应随判断者能力、决策难度和跨决策共享理解程度调整。
推荐理由
论文用三个专家标注数据集对比分片与单次全量判断，并给出可复用的容量解释，适合做监督流程设计的团队参考。