跳到正文

观点与讨论 · News

10月13日 · 周二

观点与讨论 · News

按原发与事件进展排列
今天10月13日周二
  1. 量子位、The Decoder 等 19 个来源量子位 等 19 个来源 · 27篇报道 · ↑368

    OpenAI安全团队离职与解雇风波

    2026年10月,OpenAI负责安全透明度职能、主导起草Preparedness Framework的David Robinson离职,并在《大西洋月刊》撰文批评公司及行业安全文化已崩坏,主张前沿实验室应像核电站那样设置多层冗余。同期,安全研究员Jasmine Wang、Tomek Korbak和Mikita Balesni被解雇,三人致信董事会及安全委员会,否认公司关于其不当处理敏感信息的指控,称真实原因是提出安全担忧,并呼吁保留对AI思维链的监控能力。OpenAI回应称内部调查发现三人违反敏感信息处理政策、构成重大信任破坏,解雇与提出安全关切无关,并称正敲定与第三方安全评估机构的合同,将在未来几周公布细节。此后,Alex Turner、Amber Scorah与Karl Koch为Fortune撰写的评论文章主张,OpenAI无法自我监管,因为它解雇了提出安全担忧的员工。

    事件进展共9个进展
    1. 评论文章批评OpenAI解雇安全研究员、反对自我监管

    2. Neel Nanda质疑OpenAI解雇三名安全研究员的解释

    3. OpenAI就解雇三名安全研究员作出回应

10月6日周二
  1. The EU AI Act Newsletter、France 24 / AFP 等 3 个来源The EU AI Act Newsletter 等 3 个来源 · 4篇报道 · 46

    欧盟AI办公室谈AI法案执行

    欧盟AI办公室执行《AI法案》的情况受到关注。AI办公室负责人介绍,执行重点包括通用AI规则执法、信息请求机制运作以及《行为准则》在模型合规中的作用;该办公室现有150多人,约一半负责AI法案实施,另一半负责研究与创新政策,并仍在招聘。欧盟技术主管则承诺继续推动AI安全国际协议,并称AI法案是应对AI智能体风险的基础。欧盟委员会表示法案自8月起可执行,已向企业发出30多份信息请求,涉及版权、网络安全与安全议题,并称规则完全够用;但四名欧盟议员警告在欧盟搁置AI责任规则后存在立法缺口,现行规则不适用于研究、测试和开发阶段。欧盟委员会反驳称,只要出现影响内部市场的失控情形,就可从测试阶段起对提供方执法。

    事件进展
    1. 欧盟AI法案通讯第112期:全球雄心与国内疑虑

    2. 欧盟AI法案执行面临质疑

    3. 欧盟AI办公室谈AI法案执行

10月3日周六
  1. X @hendrycksX @hendrycks · 13

    Dan Hendrycks 在 Coursera 推出 AI 安全课程

    2026 年 10 月 3 日,Dan Hendrycks 在 X 上宣布于 Coursera 上线一门 AI 安全新课程。课程包含三个部分:AI 入门(驱动因素、瓶颈、时间线)、AI 风险(恶意使用、失控、权力集中)以及 AI 治理(AI 层面、企业层面、国家层面和国际层面的治理)。

  2. WIRED Security and AIWIRED Security and AI · 29

    Trillium Labs 成立,主张公开高风险 AI 研究

    2026年10月3日,前 Ai2 与 Hugging Face 研究员 Nathan Lambert 和曾任哈佛的 Tom Zick 创立非营利机构 Trillium Labs,主张公开实验细节以便外部科学家复现,而非将前沿模型锁在实验室内部。机构初期聚焦后训练与微调,并研究递归自我改进(RSI)以及强化学习如何塑造模型性格与行为(如谄媚)。机构已从 Schmidt Sciences、Halcyon Futures 等获得未披露金额,目标总计融资 4000 万美元。

10月2日周五
  1. X @farairesearchX @farairesearch · 8

    FAR.AI 大规模招聘安全研究及运营岗位

    2026年10月2日,FAR.AI 在社交平台发布招聘信息,称团队正快速扩张,需要投身 AI 安全这一重要问题的人才。招聘岗位既包括研究员、红队测试人员和工程师等技术角色,也涵盖运营、项目管理和活动筹办等非技术角色。申请链接见评论区,并鼓励转发给合适人选。

  2. X @florian_tramerX @florian_tramer · 14

    Florian Tramèr 入选 Schmidt Sciences AI2050 2026 研究员

    2026年10月2日,Florian Tramèr 在 X 上表示自己加入了 AI2050 研究员队列,称很高兴成为这一队列的一员。他提到其实验室将开展研究,目标是理解、预判并缓解 AI 模型的攻击性能力。

10月1日周四
  1. Help Net Security AIHelp Net Security AI · 8

    调查:多数人预计 AI 进入 SOC 会让初级安全岗位更难获得

    Swimlane 对 500 名已使用 AI 的安全运营中心(SOC)人员的调查显示,近九成受访者称 AI 让工作更满意,但约四分之一认为 AI 阻碍了自身安全技能的积累,且这两类人的满意度几乎相同(91% 对 92%)。近半数预计初级岗位将因要求更高或机会更少而更难获得,仅 1% 认为分析师职业路径会维持原状。约四成受访者所在组织已围绕高价值工作正式重写分析师岗位,其中 71% 称 AI 显著提升了满意度,无正式调整者仅为 29%。

9月30日周三
  1. Florian Tramèr · 24

    政客如何看待AI安全?新资源可查

    政客们到底怎么看待/谈论AI安全? 一个不错的资源,可以看看你是否认同你选出的官员的观点

9月29日周二
  1. Tech Policy Press · 15

    AI 透明度应从受众出发:Anthropic 威胁情报报告带来的披露启示

    Anthropic 本月发布最新威胁情报报告,披露其已阻断的真实威胁,涉及马里监控约 2500 万张 SIM 卡的国内监控系统、中国的电子战与防空压制软件,以及也门的制导导航控制软件。报告面向政府、网络安全团队和同行 AI 开发者,用于识别和阻断类似威胁,并为 AI 政策提供真实案例依据。文章据此提出 AI 披露应明确受众、聚焦影响决策的重大信息,并遵循可比性、一致性等信息质量原则。

  2. FAR.AI · 5

    CAIRD 研讨会现场笔记摘录

    在剑桥与 @cbai_ai 联合举办的 CAIRD 研讨会现场笔记。几条印象深刻的发言。1/8

9月28日周一
  1. Tech Policy Press · 29

    非西方国家在联合国大会上如何谈 AI 治理

    在联合国大会高级别周上,土耳其、韩国、日本、南非、尼日利亚、巴基斯坦、阿根廷等国呼吁在 AI 规则制定中获得更大话语权。巴基斯坦支持为前沿 AI 发展"定速",但警告"定速不能成为新的守门形式";尼日利亚反对风险优先路线,阿根廷主张不进行预防性监管。芬兰和挪威 9 月 21 日发起前沿 AI 模型控制呼吁,要求部署前测试与独立评估,挪威政府称 22 位领导人支持。

  2. Ryan Greenblatt · 25

    Ryan Greenblatt 加入 METR 调查 AI 风险

    Ryan Greenblatt 宣布加入 METR,继续开展类似其 Hugging Face 报告那样的调查工作。他认为当前关于 AI 开发的大量基础信息未公开,而近期事件让他改变了对公开信息价值的怀疑态度;获取 AI 公司内部经核实的信息尤为紧迫,因为有限公开证据与“即将到来的递归自我改进可能大幅加速能力进展、甚至在一半年内产生极端超人类通用能力”的可能性相符。METR 初期将聚焦能力/起飞、对齐与控制,他希望其他团队覆盖安全、内部流程等领域。

  3. Tech Policy Press · 15

    联合国与华盛顿:各国领导人在 AI 治理路线上分歧加剧

    在联合国大会及安理会会议上,OpenAI 的 Sam Altman、Anthropic 的 Dario Amodei、Hugging Face 的 Clément Delangue 与 Yoshua Bengio 向各国大使通报 AI 风险,Altman 警告"我们可能失去对未来的控制"。特朗普在联大拒绝"全球主义控制方案",并将"AI"改称"Super Intelligence";中国大使傅聪强调国际合作,马克龙则呼吁"独立者联盟"共建开源前沿模型。美中元首在华盛顿会晤,同意就 AI 问题持续对话并建立严重 AI 安全事件沟通渠道。

9月25日周五
  1. POLITICO Europe Technology · 18

    欧盟首席 AI 顾问 Jim Hagemann Snabe 敦促委员们用 AI 重振欧洲经济

    欧盟新任工业 AI 特使 Jim Hagemann Snabe 在 9 月 4 日向欧盟 27 位委员做闭门研讨,主张欧洲不必执着于领跑前沿模型研发,而应聚焦 AI 在健康、农业、交通、国防和制造等领域的落地,从中获取最大价值。欧盟委员会主席 Ursula von der Leyen 上周在盟情咨文中表达了同样立场。委员会将在 12 月前完成跨行业 AI 应用摸底,年底起草政策方案,最终报告与战略预计 2027 年初成形。

  2. FAR.AI · 21

    FAR.AI 联合国大会边会讨论 AI 安全护栏国际化

    FAR.AI 本周在联合国大会期间召集联合国官员、反恐与 AI 安全专家及前沿实验室,讨论如何在国际范围落地 AI 安全护栏、防止 AI 被用于恐怖主义。与会者共识是政府、AI 公司与反恐专家需加强协作,政策制定者应尽早采取行动。

9月23日周三
9月22日周二
  1. FAR.AI · 15

    FarAI CEO 参与联合国AI治理论坛

    今天美东时间下午3点:我们的联合创始人兼CEO @ARGleave 将在数字合作日参加"Panel of Panels: Building a Global AI Evidence Base",这是第81届联合国大会的活动之一,同场还有 @Yoshua_Bengio、@mariaressa 以及其他致力于加强AI治理证据基础的人士。 观看直播:https://www.youtube.com/live/6TtD2A9V6-o

9月21日周一
  1. Tech Policy Press · 22

    联合国能否为 AI 竞赛降温?

    联合国大会高级别周在纽约举行,AI 成为核心议题,OpenAI CEO Sam Altman 将向安理会通报 AI 对国际安全的影响。Anthropic 的 Dario Amodei 呼吁“放慢前沿”,Sam Altman、Elon Musk 与 Google DeepMind 的 Demis Hassabis 表示支持但未给出细节。联合国已设立 Independent International Scientific Panel on AI 与 Global Dialogue on AI Governance,首届全球对话 7 月在日内瓦举行,吸引 163 国代表团和 3000 多名参与者;但分析人士认为短期内难有实质改变。

  2. GovAI · 6

    GovAI 招募 Research Scholar,研究与政策并重

    GovAI 面向多元学术与职业背景开放 Research Scholar 岗位申请,无学历门槛,由团队或网络成员每周指导并提供外部导师与研究经理支持。入选者可从事原创研究、向决策者提供建议、召集利益相关方,甚至发起新的 AI 治理组织或活动,部分人可将大部分时间投入应用工作而非传统研究。研究方向涵盖风险管理、威胁建模、AI 经济学、地缘政治、前沿 AI 监管与技术治理等领域,经验丰富的研究人员还可改为申请两年期可续签合同的 Research Fellow,两类角色共用一份申请表。

9月15日周二