研究显示 NLA 监控漏掉经微调内化的隐写行为

研究者用隐写术任务测试自然语言自编码器（NLA）能否发现模型的隐藏行为，发现 NLA 在上下文学习（ICL）模态下能给出暴露性读出，但在经 SFT 内化该行为的模型上大多失效。实验基于 Gemma-3 12B-it，让模型用英式与美式拼写差异编码 1 比特秘密，由 gemini-2.5-flash 作为可信监控器读取逐 token 读出。结果显示，暴露率主要由上下文窗口中的指令驱动，而非隐蔽计算本身；因果测试中，NLA 往返重建后秘密的因果效应在 ICL 下保留、在 SFT 下消失，说明该位置的读出对秘密不具承载作用。作者据此推测，经训练内化的行为可能像自动化处理一样不进入全局工作空间，因而难以被 NLA 探测，并提出用多语义等价改写下的重建误差损失来防止读出本身携带隐写信息。作者标注这是探索性个案研究，尚未验证是否推广到其他模型、方案与层。