在 AI 模型中隐藏能力

研究《AI Models Can Provably Hide Arbitrary Capabilities》提出，可在模型权重中嵌入加密神经网络构造后门，只在收到秘密触发器时才解密执行，使隐藏能力在密码学假设下可证明地难以被诱导和解释，即使完全掌握模型权重。论文在 PyTorch 中实现了概念验证，以一个小型化学反应预测任务作为 CBRN 相关能力的代理，测试了微调、权重加噪、基于梯度的触发器搜索和潜在对抗训练等诱导方法，结果显示模型对这些方法具有抵抗性。作者称这项工作将此前隐藏固定字符串的研究扩展到任意计算，揭示了基于诱导的能力审计的局限，并发布了模型以支持防御改进。Bruce Schneier 在博客上转介了这项研究。