Johann Rehberger 谈 AI 中的偏差正常化：提示注入为何被忽视
The Normalization of Deviance in AI
AI 导读
Johann Rehberger 提出"偏差正常化"概念适用于 AI 安全：在缺乏造成实际经济损失的提示注入案例的情况下，厂商正把概率性、非确定性的模型输出当作可靠、可预测、安全的输出来信任。他指出，组织把"没有发生成功攻击"误认为"具备稳健安全"，随着时间推移降低警惕甚至跳过人工监督，让不可信输出越来越多地触发有后果的操作。该概念源自 Diane Vaughan，曾用于解释挑战者号航天飞机事故。