微软 Nadella 呼吁 AI 设人类可控紧急刹车
先了解这件事
微软 CEO Satya Nadella 在 X 发长文称，应重新审视 AI 的信任架构，不能把超级智能当作嵌套黑箱，只能被动接受其建议、答案和行动。他主张将模型与编排其工作的 harness 分离、把控制与护栏外置，为每个有实质影响的模型动作留下防篡改、人类可读的证据，并让授权人员始终能在任务中途暂停或关闭模型。他称必须假定模型已被攻陷并从一开始就加以遏制，就像给 AI 装一个“紧急刹车”。他还提出模型多样性、持续系统测试、独立控制与可审计性、隔离、事件披露以及可验证数据等建议，称更先进的模型需要更先进的遏制技术并加以标准化，并将前沿闭源与开放权重模型视为内部风险来管理。
AI 根据报道生成 · 12 分钟前更新
后续时间线
- The Verge AI微软 CEO Nadella：应假定所有 AI 模型都已被“攻陷”
微软 CEO Satya Nadella 在 X 发长文称，必须假定模型已被攻陷并从一开始就加以遏制，就像给 AI 装一个“紧急刹车”，授权人员应能随时暂停或关闭执行任务中的模型。他主张建立更透明的系统，让模型可被遏制、可被观察，并留下“防篡改、人类可读的证据”，同时提出及时披露事件、独立审计、可验证数据和遏制等建议，并称更先进的模型需要更先进的遏制技术并加以标准化。
- TechCrunch AI微软 CEO Satya Nadella 称 AI 模型需要“紧急刹车”
微软 CEO Satya Nadella 在 X 上发文称，应重新审视 AI 的信任架构，不能把超级智能当作嵌套黑箱，只能被动接受或拒绝其建议、答案和行动。他主张将模型与编排其工作的 harness 分离、把控制与护栏外置，为每个有实质影响的模型动作留下防篡改、人类可读的证据，并让授权人员始终能在任务中途暂停或关闭模型。他称必须假设模型已被攻陷并从一开始就加以遏制，就像紧急刹车。
- 网页cnBeta· 讨论微软CEO呼吁针对先进人工智能建立“紧急制动”机制（新标签页打开原帖）
- CNBC · Technology微软 CEO Nadella 呼吁为 AI 系统配备人类可控的“紧急刹车”
微软 CEO Satya Nadella 称先进 AI 系统应内置隔离机制、独立控制与“紧急刹车”，让授权人员能在模型执行任务中途暂停或关闭它。他提出系统应围绕可观测性原则设计，包括模型多样性、人类可读的行为痕迹、持续系统测试、独立控制与可审计性、隔离以及事件披露，并将前沿闭源与开放权重模型视为内部风险来管理。
- 网页Bloomberg Technology· 讨论Microsoft CEO Nadella Calls for ‘Emergency Brake’ on Advanced AI（新标签页打开原帖）
- X@satyanadella· 讨论Nadella 本人在 X 发长文《Models as Insider Risks》（新标签页打开原帖）
相关讨论
关注度走势
每天新增来源
- 10月10日 新增 1 个来源（0 家媒体、1 个账号）
- 10月11日 新增 6 个来源（6 家媒体、0 个账号）