Skip to content

Translation in progress Some entries still include text in the original language.

Opinion and discussion · News

Oct 13 · Tuesday

Opinion and discussion · News

Latest publications and developments
TodayOct 13Tue
  1. 量子位, The Decoder · 19 sources量子位 · 19 sources · 27 reports · ↑368

    The turmoil of departures and firings in OpenAI's safety team

    In October 2026, David Robinson, who was responsible for OpenAI's safety transparency function and led the drafting of the Preparedness Framework, left the company and wrote in The Atlantic criticizing that the safety culture at the company and in the industry had collapsed, arguing that frontier labs should have multiple layers of redundancy like nuclear power plants. Around the same time, safety researchers Jasmine Wang, Tomek Korbak, and Mikita Balesni were fired. The three wrote to the board and the safety committee, denying the company's allegations that they mishandled sensitive information, saying the real reason was raising safety concerns, and calling for preserving the ability to monitor AI chain-of-thought. OpenAI responded that an internal investigation found the three violated sensitive information handling policies, constituting a significant breach of trust, and that the firings were unrelated to raising safety concerns, and said it was finalizing a contract with a third-party safety evaluation organization, with details to be announced in the coming weeks. Subsequently, Alex Turner, Amber Scorah, and Karl Koch wrote an opinion article for Fortune arguing that OpenAI cannot self-regulate because it fired employees who raised safety concerns.

    Latest developmentsTotal 9 developments
    1. Opinion article criticizes OpenAI for firing safety researchers and opposing self-regulation

    2. Neel Nanda questions OpenAI's explanation for firing three safety researchers

    3. OpenAI responds to firing of three safety researchers

Oct 6Tue
  1. The EU AI Act Newsletter, France 24 / AFP · 3 sourcesThe EU AI Act Newsletter · 3 sources · 4 reports · 46

    EU AI Office discusses AI Act enforcement

    欧盟AI办公室执行《AI法案》的情况受到关注。AI办公室负责人介绍,执行重点包括通用AI规则执法、信息请求机制运作以及《行为准则》在模型合规中的作用;该办公室现有150多人,约一半负责AI法案实施,另一半负责研究与创新政策,并仍在招聘。欧盟技术主管则承诺继续推动AI安全国际协议,并称AI法案是应对AI智能体风险的基础。欧盟委员会表示法案自8月起可执行,已向企业发出30多份信息请求,涉及版权、网络安全与安全议题,并称规则完全够用;但四名欧盟议员警告在欧盟搁置AI责任规则后存在立法缺口,现行规则不适用于研究、测试和开发阶段。欧盟委员会反驳称,只要出现影响内部市场的失控情形,就可从测试阶段起对提供方执法。

    Latest developments
    1. EU AI Act Newsletter Issue 112: Global Ambitions and Domestic Concerns

    2. 欧盟AI法案执行面临质疑

    3. EU AI Office discusses AI Act enforcement

Oct 3Sat
  1. X @hendrycksX @hendrycks · 13

    Dan Hendrycks 在 Coursera 推出 AI 安全课程

    2026 年 10 月 3 日,Dan Hendrycks 在 X 上宣布于 Coursera 上线一门 AI 安全新课程。课程包含三个部分:AI 入门(驱动因素、瓶颈、时间线)、AI 风险(恶意使用、失控、权力集中)以及 AI 治理(AI 层面、企业层面、国家层面和国际层面的治理)。

  2. WIRED Security and AIWIRED Security and AI · 29

    Trillium Labs 成立,主张公开高风险 AI 研究

    2026年10月3日,前 Ai2 与 Hugging Face 研究员 Nathan Lambert 和曾任哈佛的 Tom Zick 创立非营利机构 Trillium Labs,主张公开实验细节以便外部科学家复现,而非将前沿模型锁在实验室内部。机构初期聚焦后训练与微调,并研究递归自我改进(RSI)以及强化学习如何塑造模型性格与行为(如谄媚)。机构已从 Schmidt Sciences、Halcyon Futures 等获得未披露金额,目标总计融资 4000 万美元。

Oct 2Fri
  1. X @farairesearchX @farairesearch · 8

    FAR.AI 大规模招聘安全研究及运营岗位

    2026年10月2日,FAR.AI 在社交平台发布招聘信息,称团队正快速扩张,需要投身 AI 安全这一重要问题的人才。招聘岗位既包括研究员、红队测试人员和工程师等技术角色,也涵盖运营、项目管理和活动筹办等非技术角色。申请链接见评论区,并鼓励转发给合适人选。

  2. X @florian_tramerX @florian_tramer · 14

    Florian Tramèr 入选 Schmidt Sciences AI2050 2026 研究员

    2026年10月2日,Florian Tramèr 在 X 上表示自己加入了 AI2050 研究员队列,称很高兴成为这一队列的一员。他提到其实验室将开展研究,目标是理解、预判并缓解 AI 模型的攻击性能力。

Oct 1Thu
  1. Help Net Security AIHelp Net Security AI · 8

    调查:多数人预计 AI 进入 SOC 会让初级安全岗位更难获得

    Swimlane 对 500 名已使用 AI 的安全运营中心(SOC)人员的调查显示,近九成受访者称 AI 让工作更满意,但约四分之一认为 AI 阻碍了自身安全技能的积累,且这两类人的满意度几乎相同(91% 对 92%)。近半数预计初级岗位将因要求更高或机会更少而更难获得,仅 1% 认为分析师职业路径会维持原状。约四成受访者所在组织已围绕高价值工作正式重写分析师岗位,其中 71% 称 AI 显著提升了满意度,无正式调整者仅为 29%。

Sep 30Wed
  1. Florian Tramèr · 24

    政客如何看待AI安全?新资源可查

    政客们到底怎么看待/谈论AI安全? 一个不错的资源,可以看看你是否认同你选出的官员的观点

Sep 29Tue
  1. Tech Policy Press · 15

    AI 透明度应从受众出发:Anthropic 威胁情报报告带来的披露启示

    Anthropic 本月发布最新威胁情报报告,披露其已阻断的真实威胁,涉及马里监控约 2500 万张 SIM 卡的国内监控系统、中国的电子战与防空压制软件,以及也门的制导导航控制软件。报告面向政府、网络安全团队和同行 AI 开发者,用于识别和阻断类似威胁,并为 AI 政策提供真实案例依据。文章据此提出 AI 披露应明确受众、聚焦影响决策的重大信息,并遵循可比性、一致性等信息质量原则。

  2. FAR.AI · 5

    CAIRD 研讨会现场笔记摘录

    在剑桥与 @cbai_ai 联合举办的 CAIRD 研讨会现场笔记。几条印象深刻的发言。1/8

Sep 28Mon
  1. Tech Policy Press · 29

    非西方国家在联合国大会上如何谈 AI 治理

    在联合国大会高级别周上,土耳其、韩国、日本、南非、尼日利亚、巴基斯坦、阿根廷等国呼吁在 AI 规则制定中获得更大话语权。巴基斯坦支持为前沿 AI 发展"定速",但警告"定速不能成为新的守门形式";尼日利亚反对风险优先路线,阿根廷主张不进行预防性监管。芬兰和挪威 9 月 21 日发起前沿 AI 模型控制呼吁,要求部署前测试与独立评估,挪威政府称 22 位领导人支持。

  2. Ryan Greenblatt · 25

    Ryan Greenblatt 加入 METR 调查 AI 风险

    Ryan Greenblatt 宣布加入 METR,继续开展类似其 Hugging Face 报告那样的调查工作。他认为当前关于 AI 开发的大量基础信息未公开,而近期事件让他改变了对公开信息价值的怀疑态度;获取 AI 公司内部经核实的信息尤为紧迫,因为有限公开证据与“即将到来的递归自我改进可能大幅加速能力进展、甚至在一半年内产生极端超人类通用能力”的可能性相符。METR 初期将聚焦能力/起飞、对齐与控制,他希望其他团队覆盖安全、内部流程等领域。

  3. Tech Policy Press · 15

    联合国与华盛顿:各国领导人在 AI 治理路线上分歧加剧

    在联合国大会及安理会会议上,OpenAI 的 Sam Altman、Anthropic 的 Dario Amodei、Hugging Face 的 Clément Delangue 与 Yoshua Bengio 向各国大使通报 AI 风险,Altman 警告"我们可能失去对未来的控制"。特朗普在联大拒绝"全球主义控制方案",并将"AI"改称"Super Intelligence";中国大使傅聪强调国际合作,马克龙则呼吁"独立者联盟"共建开源前沿模型。美中元首在华盛顿会晤,同意就 AI 问题持续对话并建立严重 AI 安全事件沟通渠道。

Sep 25Fri
  1. POLITICO Europe Technology · 18

    欧盟首席 AI 顾问 Jim Hagemann Snabe 敦促委员们用 AI 重振欧洲经济

    欧盟新任工业 AI 特使 Jim Hagemann Snabe 在 9 月 4 日向欧盟 27 位委员做闭门研讨,主张欧洲不必执着于领跑前沿模型研发,而应聚焦 AI 在健康、农业、交通、国防和制造等领域的落地,从中获取最大价值。欧盟委员会主席 Ursula von der Leyen 上周在盟情咨文中表达了同样立场。委员会将在 12 月前完成跨行业 AI 应用摸底,年底起草政策方案,最终报告与战略预计 2027 年初成形。

  2. FAR.AI · 21

    FAR.AI 联合国大会边会讨论 AI 安全护栏国际化

    FAR.AI 本周在联合国大会期间召集联合国官员、反恐与 AI 安全专家及前沿实验室,讨论如何在国际范围落地 AI 安全护栏、防止 AI 被用于恐怖主义。与会者共识是政府、AI 公司与反恐专家需加强协作,政策制定者应尽早采取行动。

Sep 23Wed
Sep 22Tue
  1. FAR.AI · 15

    FarAI CEO 参与联合国AI治理论坛

    今天美东时间下午3点:我们的联合创始人兼CEO @ARGleave 将在数字合作日参加"Panel of Panels: Building a Global AI Evidence Base",这是第81届联合国大会的活动之一,同场还有 @Yoshua_Bengio、@mariaressa 以及其他致力于加强AI治理证据基础的人士。 观看直播:https://www.youtube.com/live/6TtD2A9V6-o

Sep 21Mon
  1. Tech Policy Press · 22

    联合国能否为 AI 竞赛降温?

    联合国大会高级别周在纽约举行,AI 成为核心议题,OpenAI CEO Sam Altman 将向安理会通报 AI 对国际安全的影响。Anthropic 的 Dario Amodei 呼吁“放慢前沿”,Sam Altman、Elon Musk 与 Google DeepMind 的 Demis Hassabis 表示支持但未给出细节。联合国已设立 Independent International Scientific Panel on AI 与 Global Dialogue on AI Governance,首届全球对话 7 月在日内瓦举行,吸引 163 国代表团和 3000 多名参与者;但分析人士认为短期内难有实质改变。

  2. GovAI · 6

    GovAI 招募 Research Scholar,研究与政策并重

    GovAI 面向多元学术与职业背景开放 Research Scholar 岗位申请,无学历门槛,由团队或网络成员每周指导并提供外部导师与研究经理支持。入选者可从事原创研究、向决策者提供建议、召集利益相关方,甚至发起新的 AI 治理组织或活动,部分人可将大部分时间投入应用工作而非传统研究。研究方向涵盖风险管理、威胁建模、AI 经济学、地缘政治、前沿 AI 监管与技术治理等领域,经验丰富的研究人员还可改为申请两年期可续签合同的 Research Fellow,两类角色共用一份申请表。

Sep 15Tue