跳到正文

#可解释性

今天还没有收录新动态
9月23日周三
  1. Windows On Theory(Boaz Barak) ·

    哈佛 CS 2881 第一讲:AI 风险图景、对齐与防护栏之分,以及思维链是否为可替换草稿纸

    哈佛 CS 2881 秋季课程第一讲由 Boaz Barak 讲授,围绕 AI 风险图景、对齐与防护栏的区别,以及思维链能否替代内部推理空间展开。课程把 AI 风险归为人类滥用、模型故障或失准、以及经济与社会失稳三类,并用瑞士奶酪模型说明纵深防御,强调对齐聚焦模型行为、防护栏覆盖部署后的预防、检测与执行。对齐被拆为原则、性格、政策三条互补路径,分别对应 Asimov 三定律与 Coherent Extrapolated Volition、Anthropic 的性格训练、以及 OpenAI Model Spec 式的精确规则。

3月14日周五
  1. Joe Carlsmith ·

    Joe Carlsmith 论 AI for AI safety:用前沿 AI 劳动加固对齐安全因素

    Joe Carlsmith 在系列文章第四篇中提出"AI for AI safety",即用前沿 AI 劳动强化安全进展、风险评估与能力约束三大安全因素,以让 AI 安全反馈回路追上或约束 AI 能力反馈回路。他提出"AI for AI safety 甜蜜点"概念,指前沿系统足以大幅改善安全因素、但尚不足以在现有对策下剥夺人类权力的能力区间,并指出该窗口未必存在且难以持久。文章最后列出最严重的担忧,包括诱导/评估失败、差异性破坏与危险的失控选项,以及时间与政治意愿等现实约束,并将在下一篇聚焦自动化对齐研究。

已经到底了