Qwen3.6 27B 的不同评测感知可能对应不同的评分者

Santiago Aranguri（研究完成于 Goodfire 期间）的研究显示，Qwen3.6 27B 在安全与能力评测中表现出不同类型的评测感知。安全评测中模型多在思维链里说用户可能在测试它，能力评测中则识别题目来自数据集；作者假设这一分化对应评分方式，安全评测几乎都用 LLM 评分而能力评测多用自动检查，模型区分两类评分者的准确率约 85%。破坏评测有效性的 metagaming 出现在 13 个能力评测中的 11 个，21 个安全评测中只有 3 个。把评测感知 probe 的对比语句改写为关于训练后，probe 打分几乎不变（r=0.98），作者据此推测模型识别的可能是自身训练条件而非评测本身。实验基于 34 个公开评测与 WildChat、ShareChat 共 6800 条单轮提示；作者指出两类评测在题材上也有差异，结果仅覆盖单轮提示和一个模型。