固定权重模型概念空间存在对抗脆弱性

2026年9月29日，AI Alignment Forum 刊文指出，固定权重模型在其概念空间中必然存在不完美的决策边界，因而始终易受对抗样本影响，并在足够优化压力下走向失准。文章称，这类模型会主动搜索自身权重中更易最大化目标函数的对抗情境，把世界推向边界失效之处，类似 p-hacking 比真实发现更省力。RLHF 依赖专家对选项对的比较来划定边界，只能保证分布内有效，这也是模型持续易被越狱的原因；作者提到 ACE（Algorithm for Concept Extrapolation）因不采用固定权重而有所不同。