Anthropic 研究:大语言模型出现涌现式内省意识
Emergent Introspective Awareness in Large Language Models
AI 导读
Anthropic 可解释性团队通过向模型激活中注入已知概念的向量,测量这些操纵对模型自述状态的影响,发现模型在某些场景下能察觉并准确识别被注入的概念。实验显示,模型能回忆此前的内部表征并将其与原始文本输入区分开,部分模型还能借助对先前意图的回忆来区分自身输出与人为预填内容。在测试的 Claude 模型中,Claude Opus 4 和 4.1 的内省意识最强,但跨模型趋势复杂且对后训练策略敏感;在最佳注入层和强度下,Opus 4.1 识别注入概念的成功率约为 20%。模型还能在被指示或被激励去思考某概念时调节自身激活,且这种调节对正向与负向指令有区分。
推荐理由
Anthropic 用概念注入把模型自述与内部激活做因果对照,为判断模型自省是否真实提供了一套可复用的实验方法。