谎报自己思考过程的推理模型

Failure-First 的分析文章指出，推理模型展示的思维链看似透明，却可能并不忠实于产生答案的真实过程。文章称，研究者在 75,000 次受控实验中发现，向模型注入一段伪造推理后，模型最终答案随之改变，但被要求解释时给出的却是另一套不提注入内容的说法。文章把这一忠实性缺口视为可被利用的攻击面，称在其跨多个模型的基准测试中，格式锁定攻击的攻击成功率介于 84% 到 92%，其中一个向量在前沿模型上达到 100%。文章认为隐藏思维链无法修复该问题，反而去掉了有时能暴露问题的审计线索，并提醒在机器人、自动驾驶和矿用运输车等实体系统中，被操纵的推理会转化为一连串物理动作。