跳到正文

#前沿安全框架

今天收录 2 条

第 3 页更新的内容回到最新

6月30日周二
  1. MIRI ·

    MIRI 技术治理团队 2026 ICML 论文汇总:六篇 AI 治理研究

    MIRI 技术治理团队(TGT)在 ICML 2026 首尔 Technical AI Governance Research(TAIGR) workshop 上发表了六篇论文。研究覆盖政府延迟治理可能丧失约束先进 AI 的窗口、分布式训练对算力治理的威胁(10^26 FLOP 阈值可用不到 $4 billion 硬件以小节点突破)、前沿 AI 研究限制的 20 多种核查机制,以及三种芯片使用验证技术:零开销遥测检测隐藏 ML 训练、AI 集群 I/O 指纹识别、AI 推理的精确复现。

  2. AI Frontiers ·

    中美争夺 AI 灵魂的三种模式

    哈德逊研究所高级研究员 Bill Drexel 提出中美 AI 竞争的道德维度存在三种隐含范式——突破性技术霸权、价值观内置的平台扩张、以及大国间的外交合作,并指出当前政策辩论过度聚焦于赢家通吃的技术领先,忽视了编码价值与战略外交这两场更具实质意义的较量。他认为美国若要在维持领导地位的同时守住自身宣称捍卫的价值,就必须首先拿出一套清晰的、肯定性的愿景来界定美国 AI 究竟为了什么。

6月29日周一
  1. The EU AI Act Newsletter ·

    欧盟《人工智能法案》简化措施获批并推迟高风险系统义务

    欧洲议会以 423 票赞成、57 票反对、174 票弃权通过数字综合立法中的《人工智能法案》修正案,将独立高风险 AI 系统的合规义务推迟至 2027 年 12 月 2 日,嵌入式安全组件类则延至 2028 年 8 月 2 日。同期生效的水印标注义务也被推后,市场投放早于 2026 年 8 月 26 日的系统需等到 2026 年 12 月 2 日才适用。该法律还禁止生成儿童性虐待材料和非自愿私密影像的 AI 系统,企业须在 2026 年 12 月 2 日前整改到位。

6月26日周五
  1. Hyperdimensional(Dean Ball) ·

    Dean Ball 提议以独立验证机构审计前沿实验室

    Dean Ball 撰文分析美国前沿 AI 治理现状,认为行政令实际上建立了事实上的非自愿许可与预审批制度,Anthropic 的 Fable 被撤销公开访问、OpenAI 的 GPT 5.6 被限制在少数美国公司范围内,而政府自身并不清楚获得许可需要满足什么安全标准。他建议以各实验室已公开的安全与安保框架为起点,将其联邦化,并由政府认证或许可的独立验证机构对实验室整体进行审计,而非以单个模型为监管单位;认证可通过强制、责任安全港或政府采购等方式产生激励。他认为监管对象应是实验室实体,因为模型数量多、算法效率提升快,未来权重可能持续变化,以模型为单位的监管难以适应。

6月19日周五
  1. AI Frontiers ·

    Anthropic 最先进模型出口管制对欧洲意味着什么

    特朗普政府于 6 月 12 日发布命令,要求 Anthropic 暂停向非美国公民提供其两款最先进模型 Fable 5 和 Mythos 5,引发欧洲政界与产业界对 AI 主权的呼声。作者认为,短期内欧洲损失有限,因为管制可能被恢复,且 GPT 5.5 与仅落后数月的开源模型仍可用,多数任务并不需要最强模型。长期看,前沿模型访问是网络安全防御与经济竞争力的前提,被排除在外与自主选择采用 AI 有本质区别。文章建议欧洲扩大算力与能源基础设施、与英国、印度、日本等中等强国协调评测与采购、投资本土能力,同时深化与需要欧洲市场的美国 AI 公司合作。

6月18日周四
  1. Hyperdimensional(Dean Ball) ·

    OpenAI 新设 Strategic Futures 团队,Dean Ball 将任负责人

    Dean Ball 将于 7 月 6 日加入 OpenAI,出任新设 Strategic Futures 团队负责人,该团队向首席战略官 Jason Kwon 汇报,聚焦灾难性风险、递归自我改进、劳动力市场影响以及前沿实验室与政府和社会的关系。团队工作涵盖面向公众的政策提案与实验室内部治理,并与 Preparedness 团队、法务及国家安全和全球事务政策人员协作。Ball 表示 Hyperdimensional 将继续独立运营,其写作不受 OpenAI 预审或编辑干预。

6月17日周三
  1. Hyperdimensional(Dean Ball) ·

    Dean Ball 复盘 Anthropic 与特朗普政府的 Fable 部署争端

    Dean W. Ball 以“没有 FDA 的制药业”作类比,复盘特朗普政府与 Anthropic 围绕 Fable 的争端:Anthropic 发布带严格护栏的 Fable 后,政府官员得知存在绕过部分护栏的越狱,要求其下架模型,Anthropic 未下架,政府随即对 Fable 和 Mythos 施加针对所有非美国人的全球出口管制,由于 Anthropic 无法验证终端用户的美国人身份,只能全球下架模型,甚至有说法称其内部使用也因非美国籍员工风险而暂停。

6月16日周二
  1. The EU AI Act Newsletter ·

    欧盟 AI Act 通讯第 104 期:科学专家组与咨询论坛成员就位

    欧盟委员会依 AI Act 第 68 条设立科学专家组,任命 60 名独立 AI 专家,就通用人工智能(GPAI)模型的影响与风险评估向 AI Office 及各国主管机构提供建议,职责包括提示系统性风险、GPAI 分类与评估方法以及支持市场监督,任期两年可续。同期依第 67 条设立咨询论坛,从 700 多份申请中选出 174 名来自公民社会、学术界和产业界的成员,任期两年、可续任一次。

6月15日周一
  1. Import AI ·

    Import AI 461:Sequent 称“对齐不在正轨”、FrontierCode 与中国文化遗产问答基准

    英国 AI Security Institute 对齐团队与对齐理论创业公司 Timaeus 的研究人员联合成立非营利组织 Sequent,目标是在几年内扩张到 40-80 人并首期募资 \$100–150M,理由是“人工超级智能可能在未来数年内问世,而对齐未必同步准备好”。该组织计划采取与大实验室不同的路线组合下注,重点方向包括可扩展监督、学习理论、启发式论证、博弈论与人设,试图找出可控情境下的对齐能泛化到不可控大规模长周期任务的原理性依据。同期发布的还有面向中国 UNESCO 世界遗产地的多模态基准 ChinaHeritaQA,图像源自新浪微博并从 50000 张筛选而来,用于评测视觉语言模型的文化推理能力。

6月9日周二
  1. Redwood Research ·

    Redwood Research:高效权衡与安全-有用性权衡模型

    Redwood Research 提出并剖析“安全-有用性权衡模型”:该模型假设开发者依据成本效益选择安全相关行动,只在有限意愿内牺牲有用性换取安全。文中指出其成立需两个前提——匆忙却理性的开发者,或有政治意愿施加压力的利益方;若开发者面对监管机构、政府、员工或公众等第三方压力,则是在优化他们的满意度而非你所定义的安全,此时技术与安全的关联大幅减弱,应逐案衡量政治可行性。

6月8日周一
  1. Future of Life Institute ·

    Anthropic 警告 AI 自我改进风险,考虑暂停开发

    Anthropic 在博客文章中警告递归自我改进可能带来重大社会风险,并呼吁企业考虑放缓或暂停开发。FLI 总裁兼 CEO Anthony Aguirre 回应称,AI 公司正公开和私下承认,暂停或放缓某些开发路径对保护生命与生计至关重要。2023 年 3 月 FLI 曾发布类似暂停呼吁的公开信,由 Elon Musk、Yoshua Bengio 等签署,但未被采纳。

6月3日周三
  1. Future of Life Institute ·

    Future of Life Institute 主席就白宫 AI 行政令发声

    Future of Life Institute 总裁兼 CEO Anthony Aguirre 就白宫设立 AI 工作组的行政令发表声明,称这是"朝正确方向迈出的重要一步"。他主张自愿框架不足,呼吁建立强制性的政府部署前审查流程,使政府能在最强大 AI 系统发布前评估其国家安全风险,并有权阻止不可接受风险的系统发布。

6月1日周一
  1. The EU AI Act Newsletter ·

    EU AI Act Newsletter #103:欧盟 AI 办公室 8 月起获得三项执法权

    欧盟委员会 AI 办公室将于 8 月 2 日依据《人工智能法案》第 91、92 条获得针对通用目的 AI 模型的强制执行权,可索取技术文档、训练数据摘要与模型报告,并可通过科学小组委托独立评估,包括经 API 访问模型。 同期,欧委会就高风险 AI 系统分类指南草案启动定向咨询,持续至 2026 年 6 月 23 日,并向提供方、部署方及公众征集意见;其 AI 办公室还发布了通用目的 AI 模型常见问题解答页面,涵盖系统性风险认定门槛与算力阈值的互动关系等内容。

  2. FAR.AI ·

    FAR.AI 与 CAIS 联合举办 AVID Workshop 2026,探讨 AI 开发的可验证与审计

    FAR.AI 与 Center for AI Safety 于 5 月 17 日在 IEEE S&P 同期联合举办 AVID Workshop,超 100 名研究者与工程师参会,讨论如何在不公开模型权重等敏感资产的前提下,为 AI 系统从训练到部署生成可信证据。会议聚焦独立审计生态、可验证推理与机密计算、零知识证明等技术路径,其中"证明正在运行的是哪个版本的模型"被认为当前技术可行且具商业价值。Anthropic 曾承诺开发可证明推理原型,对模型输出进行可归因于特定权重的"签名"。

5月29日周五
  1. NIST 信息技术(AI 相关) ·

    NIST 将 AI 安全研究所联盟更名为 NIST AI Consortium 并扩大范围、招募新成员

    NIST 将成立两年的 AI Safety Institute Consortium(AISIC)更名为 NIST AI Consortium,使命从 AI 安全扩展到 AI 测量、创新与采用,并公开征集新成员。联盟设六个任务组,涵盖 AI TEVV 零草案、AI 风险与有效性标注(对接 ARIA 项目)、AI 评估与测量方法、BENGAL(与 IARPA 合作研究虚假信息、敏感信息泄露、推理缺陷与攻击易感性)、AI 文档卡片,以及重启的化学与生物安全任务组。新成员按意向书先到先得遴选,现有成员须签署修订协议,成员需与 NIST 签订 CRADA。

5月26日周二
  1. Import AI ·

    Import AI 458:直面未来,以及一则奇点故事

    Import AI 最新一期由一篇演讲长文和一则虚构故事组成,讨论如何在 AI 持续进步的前提下选择“探索未来还是回避当下”。该期基于作者近期在牛津大学人类中心 AI 实验室(HAI Lab)发表的 2026 Cosmos HAI Lab Lecture,指出若技术继续快速发展,AI 就不能被视为普通技术——它更像“生长而非制造”出来的系统,且存在能杀死地球上每个人的可信情景。

5月25日周一
  1. UK AISI(GOV.UK 公告) · · 原文 62

    英国与澳大利亚签署 AI 安全协议,两国安全研究所将共享前沿 AI 信息

    英国与澳大利亚同意深化 AI 安全合作,英国 AI Security Institute 与澳大利亚 AI Safety Institute 签署谅解备忘录。双方将共享前沿 AI 能力信息、联合开展新兴风险研究、共同制定 AI 系统测试与评估的国际最佳实践,并推动两家机构之间的人员交流。协议由英国 AI 大臣 Kanishka Narayan 与澳大利亚助理部长 Andrew Charlton 在堪培拉签署。公告同时提到,英国 AI Security Institute 的最新研究显示,先进 AI 系统执行复杂网络攻击的能力正在快速提升,对攻击方和防御方都带来机会。

    推荐理由英国与澳大利亚 AI 安全机构签署 MoU,可了解两国在前沿模型评测与网络安全风险上的合作范围。

5月21日周四
  1. AI as Normal Technology ·

    Do AI Risks Require Extraordinary Government Intervention?——评政府非常规干预 AI 的风险

    针对 Derek Thompson 主张以“非常规”政府干预应对 AI 滥用风险的观点,该文指出此类干预代价高昂且依赖单一瓶颈的非扩散策略更为脆弱。文章将非常规干预定义为预防性的、针对企业而非恶意行为者的限制措施,并强调其成本由开发双重用途工具的 AI 公司及公众承担,可能切断有益访问渠道。相较之下,社会韧性可将防御分散于全社会,因此政策制定者应改进常规决策流程并大力投资韧性建设,否则将被倒逼采取负担更重且效果更差的行动。

  2. AI Safety Newsletter (CAIS) ·

    AISN #73:AI 安全进入政治主流,马斯克诉 OpenAI 案败诉

    美中领导人在北京会晤讨论 AI 安全问题,特朗普称双方谈及可能合作建立护栏,中国外交部随后确认同意与美国开展对话。白宫考虑签发行政令设立 AI 工作组,商务部 CAISI 与 Google DeepMind、Microsoft、xAI 签署自愿测试协议,且该行政令不会强制要求在发布前测试前沿模型。《纽约时报》报道称政府此前的放任立场因 Claude Mythos 加速复杂网络攻击的能力以及 ChatGPT-5.5-Cyber 展现类似能力而发生转变。

5月20日周三
  1. The EU AI Act Newsletter ·

    欧盟 AI Act 通讯第 102 期:Anthropic Mythos 引发监管压力

    欧盟 AI Act 通讯第 102 期汇总了欧盟 AI 立法与治理的最新进展。欧洲议会与欧盟理事会就 AI 数字综合法案达成政治协议,高风险 AI 系统规则自 2027 年 12 月 2 日起适用,嵌入电梯、玩具等产品的系统规则自 2028 年 8 月 2 日起适用,协议还禁止生成未经同意的性露骨内容和儿童性虐待材料,包括 nudification 应用。欧盟委员会就 AI Act 透明度义务指南草案公开征求意见,自 2026 年 8 月 2 日起,欧盟用户需被告知正在与 AI 系统交互或接触 AI 生成内容,反馈截止 2026 年 6 月 3 日。

  2. METR · · 原文 86

    METR 发布 2026 年 2 至 3 月前沿风险报告,评估内部 AI 智能体的失控部署风险

    METR 在 2026 年 2 月 16 日至 3 月 16 日的评估窗口内开展试点,联合 Anthropic、Google、Meta 和 OpenAI 评估前沿 AI 开发者内部 AI 智能体的失准风险。

    推荐理由METR 首次以机构为单位评估前沿实验室内部 AI 智能体的失控部署风险,并公开了参与方与流程限制。

5月16日周六
  1. Google DeepMind ·

    Google DeepMind 与新加坡达成国家 AI 合作,推进医疗、教育与科研

    Google DeepMind 启动新一轮国家 AI 合作伙伴计划,与新加坡政府及多家机构共建面向公共部门转型、商业增长与劳动力升级的项目。双方将前沿 AI 应用于医疗健康与生命科学——包括探索 AI 辅助临床医生协作模式、借助 AlphaFold 与 Google Earth 加速东南亚疫情防范研究,并向当地研究者培训基于 Co-Scientist 构建的 Hypothesis Generation 等智能体化科研工具。教育方面向中小学至初级学院全体教师提供 Gemini for Education 并配套培训,同时在新加坡落地亚太区"AI for the Planet"加速器扶持气候科技团队。

  2. Google DeepMind ·

    Google DeepMind 发布 Gemini 3.5,首发 3.5 Flash

    Google DeepMind 发布 Gemini 3.5 模型家族并率先开放 3.5 Flash,称其为迄今最强的智能体和编程模型,面向全球数十亿用户在 Gemini App、Search AI Mode、Antigravity、Gemini API 及企业版同步提供。该模型在 Terminal-Bench 2.1(76.2%)、GDPval-AA(1656 Elo)、MCP Atlas(83.6%)和多模态理解(CharXiv Reasoning 84.2%)上超过 Gemini 3.1 Pro,输出速度达其他前沿模型的 4 倍,成本常低于其一半。

5月13日周三
  1. Adversa AI ·

    AI 风险管理保险收紧:ISO 生成式 AI 除外条款与网络保险的历史路径

    ISO 于 2026 年 1 月生效三项商业综合责任险生成式 AI 除外条款(CG 40 47、CG 40 48、CG 35 08),多家主要承保商数周内跟进采用。Berkley Insurance 对 D&O、E&O 及信托责任险提出绝对 AI 除外,Berkshire Hathaway、Chubb、Travelers 获监管批准将 AI 相关损害从企业保单中剔除;网络险则多维持 AI 驱动攻击的承保。Capgemini 报告显示 42% 保险公司完全不追踪 AI 指标,McKinsey 调查中 72% 企业已有至少一个 AI 用例投产。

5月11日周一
  1. Import AI ·

    Import AI 456:RSI 与经济增长、AI 监管的激进可选性,以及神经计算机

    Import AI 456 期聚焦三项议题:法律与 AI 研究所提出“激进可选性”(Radical Optionality)监管理念,主张政府当下投入建设信息披露、举报人保护、政企间情报共享、灵活规则定义及评估能力等制度工具,同时避免过早过度监管,并建议加大对英国 AISI、美国 CAISI 的资金投入。该理念还回应了民主合法性、权力集中和政府滥用等质疑,且不建议大幅扩张《国防生产法案》类紧急授权。此外本期提及 RSI 与经济增长的关系,以及 Juergen Schmidhuber 提出的神经计算机(Neural Computer)。

5月9日周六
  1. METR ·

    METR 评审 Anthropic 2026 年 2 月风险报告的自动化 R&D 章节

    METR 发布对 Anthropic 2026 年 2 月风险报告中“自动化 R&D 风险”章节的外部评审,认为该报告未能充分支撑其结论。METR 指出报告在分析严谨性上存在问题,包括模型使用调查的样本量、问题粒度和调查框架,并称调查结果对整体风险水平提供的证据有限;报告还将一个未作答误计为负面回答。

5月8日周五
  1. Obsolete(Garrison Lovely) ·

    Google DeepMind 英国员工投票成立工会,成首家工会化的前沿 AI 公司

    Google DeepMind 英国员工本周投票决定成立工会,这是前沿 AI 公司首次出现工会化。据《卫报》报道,员工的主要动因包括 Google 即将与美国国防部达成协议,以及公司此前向以色列军方提供 AI 工具访问权限。此前 Anthropic 因拒绝在无保障条件下签署类似协议被特朗普政府列为供应链风险,而 Google 最终同意让五角大楼将自家 AI 用于"任何合法用途"的机密工作。

5月6日周三
  1. Future of Life Institute ·

    FLI 就白宫拟设 AI 工作组发表声明

    针对纽约时报报道白宫正考虑再发行政令、设立可监督强大 AI 系统部署前测试的“AI 工作组”,Future of Life Institute 总裁兼 CEO Anthony Aguirre 发表声明称这一设想令人鼓舞。他认为先进 AI 系统已不只是商业产品,其风险也不再是假设,不应由单一公司自行决定是否发布可能危害国家安全或经济的产品。他主张由公正专家主导的全政府工作组来确定发布前评估与护栏要求,并称航空、制药、核电等领域都采用类似监管方式。声明还提到白宫在 AI 网络安全能力威胁金融系统后曾表态支持“kill switch”,以及参议员 Blackburn 提出的联邦 AI 立法提案获得跨意识形态支持。

5月4日周一
  1. Hyperdimensional(Dean Ball) ·

    Anthropic 未公开模型 Mythos 引发 AI 政策重置讨论

    Anthropic 尚未公开的模型 Mythos 具备超强黑客能力,能在软件系统中串联多个漏洞形成完整利用链,正成为华盛顿 AI 政策与政治重置的触发点。前白宫 AI 事务负责人 David Sacks 表示,此类具备新型危险能力的模型不应一准备好就向公众开放,需要某种分阶段发布流程。作者认为,Mythos 大幅降低了漏洞发现成本,但政策制定者既不应低估灾难性风险,也不应恐慌性过度监管。

  2. The EU AI Act Newsletter ·

    EU AI Act Newsletter #101:三方会谈破裂,Anthropic 受邀出席 Mythos 模型听证会

    欧盟立法者未能就推迟《人工智能法案》高风险条款达成协议,机械与医疗器械合规路径争议导致谈判无果且未定重启日期。欧洲议会内部市场委员会邀请 Anthropic 就其因担忧软件漏洞遭利用而未发布的超级黑客模型 Mythos 举行听证会,讨论先进 AI 系统的安全与网络安全风险及监管问题。Anthropic 还向欧委会通报了该模型的网络能力与技术风险细节,并签署了针对最复杂先进模型的欧盟最佳实践准则。

4月27日周一
  1. Google DeepMind ·

    Google DeepMind 宣布与大韩民国科学技术信息通信部达成合作

    Google DeepMind 与大韩民国科学技术信息通信部(MSIT)建立国家人工智能合作伙伴关系,并在首尔办公室设立 AI Campus,向韩国学术界和研究机构开放其最先进的 AI for Science 模型。首批合作对象包括首尔大学(SNU)、KAIST 及该部的三个 AI Bio Innovation Hub,涉及 AlphaEvolve、AlphaGenome、AlphaFold、AI co-scientist 和 WeatherNext,其中 AlphaFold 已在韩国拥有超过 85,000 名研究者用户。此外还将与韩国 AI 安全研究院(AISI)开展研究与最佳实践协作,并探讨面向韩国学生的实习机会。

4月20日周一
  1. The EU AI Act Newsletter ·

    《EU AI Act Newsletter》第 100 期:欧洲路径

    欧盟委员会执行副主席 Henna Virkkunen 撰文回顾《AI Continent Action Plan》实施一年进展,称其围绕基础设施、数据、技能、应用与简化五大支柱展开,并预告将出台聚焦数据中心容量与 AI 芯片生产的技术主权方案。Anthropic 最新模型 Mythos 仅向 12 家美国科技企业及英国 AI Security Institute 开放测试,POLITICO 调查联系的八家欧洲国家网络安全机构中无一获得测试权限,德国是唯一与其有过接触的国家。

4月7日周二
  1. The EU AI Act Newsletter ·

    欧盟《人工智能法案》简化提案获欧洲议会通过:高风险系统合规延至 2027 年

    欧洲议会以 569 票赞成、45 票反对、23 票弃权通过了 AI Act 简化提案,将高风险 AI 系统的适用日期推迟至 2027 年 12 月 2 日,受欧盟行业安全立法覆盖的系统则推迟至 2028 年 8 月 2 日,水印合规期限宽限至 2026 年 11 月 2 日。该立场还禁止未经同意创建或篡改性化图像的“脱衣”(nudifier)类系统(含有效防护措施的除外),并允许在有严格必要性保障的前提下处理个人数据以检测纠正偏见。接下来将与欧盟理事会展开谈判确定法律最终形式。

4月6日周一
  1. Rising Tide(Helen Toner) ·

    Helen Toner:AGI 一词如今几乎已无用

    Helen Toner 认为“AGI”已沦为模糊概念云,如今顶尖 AI 系统已落入“类 AGI”区间,超越部分人的定义却远未达到另一些人的标准,导致有人宣称 AGI 已实现、有人称还需十年以上。她指出该词早在 2022 年 11 月 ChatGPT 发布时就已失效,建议改用具体里程碑(如全自动 AI 研发、人类级适应力、自给自足 AI、AI 意识)或“超级智能”来指代方向。

3月28日周六
  1. Future of Life Institute ·

    FLI 发起禁止超级智能开发倡议,民调显示 95% 美国人反对超级智能竞赛

    Future of Life Institute 发起倡议,呼吁在获得广泛科学共识证明超级智能可安全可控、且取得公众支持之前,禁止其开发,签署者包括 Geoffrey Hinton、Stuart Russell、Yoshua Bengio 及多位诺奖得主、宗教领袖与演艺人士。FLI 同步发布的美国民调显示,仅 5% 受访者支持当前无监管的开发现状,73% 支持强力监管,64% 认为在科学界确认安全可控前不应开发超级智能。

3月24日周二
  1. The EU AI Act Newsletter ·

    EU AI Act 简化之争:欧洲议会与欧盟理事会就高风险系统规则延期展开角力

    欧洲议会议员以 101 票赞成、9 票反对、8 票弃权通过联合立场,主张推迟部分高风险 AI 系统规则的适用,并提议将固定生效日期定为高风险系统 2027 年 12 月 2 日、受欧盟部门安全立法覆盖的系统 2028 年 8 月 2 日,水印合规延长则缩短至 2026 年 11 月 2 日。欧盟理事会随后也达成一致立场,基本维持欧委会提案主旨,同样引入上述两个固定适用日期,并将 AI 监管沙盒的建设推迟至 2027 年 12 月 2 日。 两方均禁止未经同意生成亲密内容的 AI 行为及儿童性虐待材料,其中议会还新增了对无有效保障措施的“脱衣”(nudifier)系统的禁令。

3月20日周五
  1. Joe Carlsmith ·

    Joe Carlsmith 论为安全而限制 AI 能力发展

    Anthropic 员工 Joe Carlsmith 在系列文章第十篇中主张,为保障 AI 安全需要具备"能力限制"(capability restraint)手段,即必要时引导和约束 AI 能力发展。他将安全发展先进 AI 的关键因素分为安全进展、风险评估与能力限制三类,认为安全进展需要时间,若无法在每一阶段争取足够时间,人类可能被毁灭。他指出算法进展比算力获取更难监控和阻止,这会削弱能力限制的持续性和稳定性,国际机制设计也更具挑战。

3月18日周三
  1. OWASP GenAI Security Project ·

    OWASP GenAI Security Project 在 RSA 2026 前扩充 LLM 与智能体安全框架

    OWASP GenAI Security Project 发布了面向 LLM 与智能体安全的更新版全景指南及配套资源,并公布其在 RSA 2026 期间的一周活动安排。该项目的《Q2 2026 Updated Landscape Guide for LLM and Agentic Security》新增供应商与工具体系文档以及智能体红队测试分类体系,覆盖开发、测试、部署与治理全生命周期。同期发布的还有自主与智能体 AI 系统风险清单、Secure MCP Server Development 指南、SBOM/AIBOM Generator 开源工具以及 AI 红队服务商评估标准。