立场论文:能力控制应当成为与对齐分离的目标
Position: Capability Control Should be a Separate Goal From Alignment
AI 导读
研究者在 arXiv 发表的立场论文中主张,能力控制应被视为与对齐分离的独立目标。论文指出,对齐通常是情境和偏好驱动的,而能力控制旨在对允许的模型行为施加硬性运行限制,包括在对抗性诱导下仍然成立。作者把覆盖模型生命周期的能力控制机制分为三层,即基于数据的训练分布控制、基于学习的权重或表征层面干预,以及基于系统的对输入、输出和动作的部署后护栏。由于每层单独使用都有各自的失效模式,论文主张跨全栈组合互补控制的纵深防御方法,并列出知识的双重用途、组合泛化等开放挑战。