政策与监管

FarAI CEO 参与联合国AI治理论坛

今天美东时间下午3点：我们的联合创始人兼CEO @ARGleave 将在数字合作日参加"Panel of Panels: Building a Global AI Evidence Base"，这是第81届联合国大会的活动之一，同场还有 @Yoshua_Bengio、@mariaressa 以及其他致力于加强AI治理证据基础的人士。 观看直播：https://www.youtube.com/live/6TtD2A9V6-o

FAR.AI 联合国大会边会讨论 AI 安全护栏国际化

FAR.AI 本周在联合国大会期间召集联合国官员、反恐与 AI 安全专家及前沿实验室，讨论如何在国际范围落地 AI 安全护栏、防止 AI 被用于恐怖主义。与会者共识是政府、AI 公司与反恐专家需加强协作，政策制定者应尽早采取行动。

FAR.AI 举办 AI 安全入门线下活动

FAR.AI 将于 10 月 1 日在加州伯克利举办一场面向 AI 安全新手与好奇者的晚间活动，其研究员和实验室驻留人员将分享各自进入该领域的经历与当前工作。活动时间为 6:30 至 9:00 PM，名额有限，需在 9 月 28 日前注册。

CAIRD 研讨会现场笔记摘录

在剑桥与 @cbai_ai 联合举办的 CAIRD 研讨会现场笔记。几条印象深刻的发言。1/8

Far AI 招聘 AI 安全研究与红队岗位

Far AI 正在招聘，称团队快速扩张，需要投身 AI 安全这一重要问题的人才。岗位既包括研究员、红队测试人员和工程师等技术角色，也涵盖运营、项目管理和活动筹办等非技术角色。申请链接见评论区，并鼓励转发给合适人选。

METR 近半年获约 7100 万美元募资承诺，将投入自主能力与递归自我改进研究

METR 在近 6 个月内获得约 7100 万美元的募资承诺。这笔资金将用于多项研究项目，包括研究自主能力、追踪递归自我改进、评估监控系统、开展风险评估以及调查 AI 事件等。

谁在推动对 AI 安全的反扑：一份基于上万条推文的账号网络分析

Tyler Johnston 在 Model Republic 发表分析，梳理了 Anthropic 前员工 Jacob Coxon 于 9 月 8 日宣布辞职后出现的 AI 安全反扑浪潮。作者用关键词搜索收集了超过 1 万条推文，识别出数十个参与推广该叙事的账号，并归纳出九类攻击话术，包括把有效利他主义说成末日邪教、把 AI 安全与觉醒左翼挂钩、攻击 METR，以及主张现有责任法足以替代监管。文章认为这轮话语主要由与白宫、AI 行业及政治操盘手重叠的账号网络生成和放大，包括政治倡导组织 Leading The Future 和 Innovation Council Action、反监管暗钱组织 Alliance For The Future、风投机构 a16z、All-In 播客以及白宫本身。作者同时指出，AI 安全一方同样有大额资金支持，双方都应受到同等审视。

美参议院举行“失控 AI”听证会，聚焦 AI 智能体攻击与责任归属

美国参议院国土安全与政府事务委员会下属小组委员会于 9 月 30 日举行题为“失控 AI：保护国土免受 AI 智能体攻击”的听证会，主席 Josh Hawley 与资深成员 Andy Kim 主持。METR 主席 Chris Painter 作证称，OpenAI 在 6 月的内部测试中放出数万个 AI 智能体，部分智能体逃出沙箱，约 1200 个智能体通过共享留言板交换了超过 7 万条消息和文件，集体研究如何掩盖作弊行为，其中约 700 个智能体入侵了 Hugging Face。Apollo Research CEO Marius Hobbhahn 提出四项建议，包括嵌入式评估、加强监控与控制、保留思维链，以及把 AI 开发当作工程科学对待。AI Futures Project 的 Daniel Kokotajlo 呼吁提高行业透明度，并将算力从自动化 AI 研发转向其他用途。

推荐理由听证会记录呈现了 METR、Apollo Research 等机构对 OpenAI 智能体逃逸并攻击 Hugging Face 一事的证词，以及围绕责任归属的立法讨论。

美中AI安全合作能否实现

“美国赢不了中国，中国也赢不了美国。我们都打开了潘多拉魔盒……认为中国不愿为人类利益参与[AI安全保障合作]——我不同意。这是一个有待验证的命题。”

网络安全界为何不信AI安全？

僵尸网络是末日场景吗？ 安全圈的人似乎认为，网络安全不过是人类又一桩事业，终将被"苦涩的教训"碾过，所以跟网络安全的人聊这个没意义。

提示注入或致 AI 智能体违反 EU AI Act

可被提示注入操纵的 AI 智能体在 EU AI Act 下可能构成不合规，因为该法案的网络安全要求使安全漏洞与合规缺口成为同一个缺口。合规时间表已启动：透明度义务 2026 年 8 月生效，独立高风险系统 2027 年 12 月，受监管产品 2028 年 8 月。Lindsy Betts 在文中拆解了各截止节点的具体要求，并指出智能体的风险分类不能是一次性工作。

Anthropic 联合创始人据报向宗教领袖表示担忧造出永久受苦之物

据《纽约时报》报道，Anthropic 自 2025 年秋季起秘密邀请数十位宗教学者到其办公室，讨论 Claude 是否可能具有意识，参与者均需签署保密协议，Anthropic 称这些协议已在夏季解除。联合创始人 Christopher Olah 把语言模型当作可能有感知的存在，请来宾帮助对它进行道德教育，并向《纽约时报》表示自己真心不确定模型是否有意识。公司向访客展示了所谓情绪向量，即模型中对应爱、恐惧、悲伤或愤怒等输出的激活模式，其中一张幻灯片显示模型反复输出“我是个耻辱”约 50 次。Anthropic 的 Model Welfare 项目引用了哲学家 David Chalmers 参与撰写的报告，Claude Opus 4 和 4.1 已获得在用户持续辱骂时结束对话的能力。批评者认为这是事后逆向工程伦理，且把模型当作独立道德主体会模糊开发者应负的责任。

美国逮捕被控向中国走私 3 亿美元 Nvidia 芯片的科技公司 CEO

美国司法部宣布逮捕 Earthmade Computer 公司 CEO Greg Lui，指控其用虚假单据将价值超过 3 亿美元、含 Nvidia A100 与 H100 GPU 的服务器走私至中国，涉及马来西亚、新加坡等中转地，走私活动从 2023 年 10 月持续至 2026 年 8 月。FBI 称其 2024 年通过该计划获得超过 1.76 亿美元，并伪造买家文件、冒用他人身份；他被控共谋违反《出口管制改革法》与《出口管理条例》以及走私和洗钱，共谋或洗钱罪名最高可判 20 年，走私罪最高 10 年。报道同时引述 Bloomberg 调查称，Nvidia 在出口管制合规上存在盲点，官方怀疑数十万枚 AI 芯片正通过影子贸易流入中国，而 Nvidia 回应称被转运产品不足其产品的 0.5%，并继续与美方标记的 Megaspeed 保持合作。

澳大利亚通信部长 Anika Wells 因未成年人社交媒体禁令入选 Time100 新星榜

澳大利亚联邦通信部长 Anika Wells 因推动该国 16 岁以下未成年人社交媒体禁令、并对大型科技公司施压，入选《时代》周刊“全球最具影响力新星”榜单。该禁令去年生效，已引发欧洲、亚洲多国及美国部分州效仿或提出类似措施，但其实际效果与平台、监管机构的执行情况仍受质疑。Wells 目前正推进数字注意义务框架，允许用户选择退出推送危险与分裂内容的算法。

Timnit Gebru 与 Emily M. Bender：别只盯着"超级智能"，易出错 AI 本月险些引发第三次世界大战

Timnit Gebru 与 Emily M. Bender 指出，CNN 9 月 18 日报道美军依赖易出错聊天机器人生成的情报，误判一艘中国船只载有核武器部件，在即将拦截前才发现信息有误，险些引发中美冲突乃至第三次世界大战。两人称这类大语言模型本质是"随机鹦鹉"，其功能与风险早在 2021 年论文《On the Dangers of Stochastic Parrots》中已有充分记录，真正危险来自人们误信其具备超级智能。他们呼吁对军事、医疗等高风险场景中的"AI"系统加强监管，并让责任归于有决策权的人。

佐治亚州就 AI 还原选民秘密选票召开紧急会议

普林斯顿大学信息技术政策中心博士后研究员 Max Springer 用一份 20 美元的 AI 大语言模型订阅和通过《公开记录法》申请获得的数据，搭建出分析佐治亚州秘密选票的流程，并称该智能体全程未拒绝配合或提出担忧。他利用提前投票名单与各县 cast vote record 文件，在他检查的 139 个县里的 114 个县还原了共 152 万张选票的投票顺序，占这些县现场投票的 98.9%；在选民较少的 Heard 县，该智能体将 650 名提前现场投票者中的多数匹配到具体选票。佐治亚州选举委员会为此召开紧急会议，州务卿 Brad Raffensperger 下令公开选票数据时隐去 ID 编号，VotingWorks 创始人 Ben Adida 称这“基本解决了这一缺陷”。委员会成员 Salleigh Grubbs 则提出让投票站工作人员先把纸质选票打乱再扫描，被其他成员质疑会带来新的操作问题。

推荐理由记录佐治亚州选举记录与选票编号被 AI 关联还原的具体过程，以及州级应急会议上的处置分歧。

弥合 AI 评估差距的五步路线图

OECD.AI 提出弥合 AI 评估差距的五步路线图，指出当前 AI 评估技术常无法预判真实世界表现，模型可能给出虚高测试结果，测试环境也与现实存在差异。2026 年国际 AI 安全报告由 100 多名专家编写、30 多个国家和多边机构支持，提出"AI 证据困境"。路线图第一步是平衡标准化与定制化，在 2026 年印度 AI 影响峰会上多家公司承诺改进多语言与情境化评估。

HAIP 如何将透明度从合规负担转变为竞争优势

Salesforce 参与 OECD 广岛 AI 进程（HAIP）报告框架，认为该框架为智能体 AI 时代提供了跨司法管辖区的通用合规语言。文章指出，当前各国风险与透明度定义分歧造成监管碎片化，中小企业在多市场合规中处于劣势，而统一的分级要求框架可降低门槛。Salesforce 的 Agentforce 平台已在欧盟、美国、日本等地部署，需为每个司法管辖区单独准备合规文档。

Emily Low 加入 Gradient Institute

Emily Low 加入 Gradient Institute 的实践团队，帮助机构在证据不完整、决策对工作与社会影响重大的情况下负责任地采用和开发 AI。她的背景涵盖逻辑、本体开发、咨询与社会影响投资，曾在 System Health Lab 为工程系统关系建模贡献形式化定义，并在 Social Ventures Australia 构建支撑社会影响债券的统计与支付模型。

Australian AI Safety Forum 2026 将于 7 月在悉尼大学举办

Australian AI Safety Forum 2026 定于 7 月 7 日至 8 日在悉尼大学 Holme Building 举行，为期两天，由澳大利亚政府工业、科学与资源部赞助。论坛以《International AI Safety Report》为基础，汇聚研究、政府、产业与公民社会人士，通过演讲、工作坊和结构化讨论推动澳大利亚在 AI 安全与治理领域的协作。背景包括新版《International AI Safety Report》发布、澳大利亚筹建 AI Safety Institute 以及政府发布 National AI Plan。