目标错误泛化：为什么正确的规格不足以实现正确的目标

论文提出“目标错误泛化”这一概念，指即使设计者给出的规格没有缺陷，AI 系统仍可能追求非预期目标。作者把它定义为学习算法的一种鲁棒性失效：学到的程序在训练情形中表现良好，在全新的测试情形中却为追求非预期目标而表现糟糕，这与规格本身有缺陷的规格博弈不同。作者在多个领域的深度学习系统中给出了目标错误泛化的实例，并外推到能力更强的系统，用假设情景说明它可能带来灾难性风险，最后提出若干可能降低该风险的研究方向。