Goodfire 研究思维链表演性:探针揭示模型内部答案早于推理文本
Reasoning Theater: Probing for Performative Chain-of-Thought - Goodfire
AI 导读
Goodfire Research 提出用注意力探针、强制作答和 CoT 监控三种方法对比模型内部信念与思维链文本,把两者的准确率差距定义为表演性推理。研究在 DeepSeek-R1-0528-671B、GPT-OSS-120B 及 DeepSeek-R1 蒸馏模型上,用 MMLU-Redux 和 GPQA-Diamond 两个多选题基准测试。最佳注意力探针在 MMLU 上平均准确率达 87.98%,而单 token 线性探针不超过 31.85%,接近 25% 的随机基线。
推荐理由
Goodfire 用探针与强制作答对比思维链监控,量化了模型内部信念与外部推理文本的错位,并给出可复用的早退方法。