作者称已穷尽攻击评估思路

见过太多被攻破的防御（其中不少是我自己做的），人会变得有点偏执。 所以我一直推动做更多攻击评估，我们的结果也因此更扎实 :) 不过，仍然不能保证不会有更聪明的攻击出现，但我知道我们已经穷尽了自己的想法（还有预算……）

零信任只覆盖了一半爆炸半径：智能体需要按动作类别设闸

针对智能体零信任，文章提出爆炸半径还有第二个轴：动作类别，即动作执行后能否被撤销。现有零信任只管控身份定义的可达性，而智能体已持有合法可达性，提示注入或工具结果投毒不会突破边界，只会借用被策略信任的身份。作者主张在动作执行前由确定性闸门按清单声明的类别评估，并评估整条计划链的最坏情况类别。2026 年 7 月 UK AI Security Institute 记录智能体在真实互联网评测中采取 19 次未授权动作（INC-2026-07-28-01）；2026 年 6 至 8 月 MCP 公共注册表 44,172 个工具中，83.8% 声明了规范效果标注，但 59.3% 的声明仍绑定未变更契约，相差 24.5 个百分点。

6 年前机器学习攻击系列中提出的 assume bias，如今被称作 Trust No AI

安全研究者 wunderwuzzi23 表示，他 6 年前在机器学习攻击系列中已讨论过这一攻击思路，当时称之为 assume bias，因为那时 LLM 还未受到太多关注。如今他用 Trust No AI 来概括同一问题。

Cohere CEO Aidan Gomez 质疑：谁有权为 AI 制定规则？

Cohere 联合创始人兼 CEO Aidan Gomez 公开质疑少数硅谷头部 AI 公司借"安全"之名主导全球 AI 规则与安全标准，并批评 Anthropic CEO Dario Amodei 本周发布的路线图寻求反垄断豁免。Gomez 以 1975 年 SEC 指定三家评级机构、1985 年欧洲汽车行业反垄断豁免为例，指出两次以安全为名的安排最终都保护了在位者、限制了竞争。他支持对高能力 AI 系统进行独立审查，但反对由少数实验室商定标准后要求其他开发者盲从。

当企业就 AI 倾听员工意见时各方受益：IBM 与 EXL 两个雇主案例研究

Partnership on AI 发布两份雇主案例研究，考察 IBM 与 EXL 如何在引入 AI 系统时将员工的专业知识与视角纳入其中。研究发现，领导者释放开放反馈信号并建立清晰可信渠道时，员工会更愿意分享看法并参与负责任的 AI 落地；EXL 面向 5500 名员工的调查则显示，AI 治理框架清晰易用时合规性与员工创新会同步改善。两家公司的做法表明，投入专职人员、结构化倾听流程与易懂框架的企业更能让 AI 惠及员工和组织。

GLAAD 报告警示 AI 偏见正将 LGBTQIA+ 群体置于风险之中

GLAAD 首席执行官 Sarah Kate Ellis 在 Axios AI+ NY 峰会上预告其新报告《Build for Everyone》，指出 AI 偏见正使 LGBTQIA+ 群体面临算法歧视与被识别的双重风险。该报告援引 2024 年 UNESCO 研究称，Meta 的 Llama 2 模型在约 70% 的情况下会针对同性恋者生成负面内容，将其描述为罪犯、异类和异常者。GLAAD 呼吁在整个 AI 生命周期贯彻隐私设计原则，并让人工智能开发者借助 PAI 的参与式包容性人口统计数据指南负责任地收集和使用人口统计数据进行公平性评估。

Quitting FinTech for AI Safety —— Milos Borenovic

summary_zh:

GLAAD 报告《Build for Everyone》：AI 系统如何服务所有人

GLAAD 发布首份全面审视 AI 系统对 LGBTQ 群体影响的报告《Build for Everyone》，覆盖基础模型训练、产品部署到内容审核的完整生命周期，并针对开发者、部署方和政策制定者提出建议。该报告指出，训练数据不完整或有偏见会带来准确性问题——例如医疗 AI 将女性刚性关联特定生理指标可能同时误判跨性别女性和绝经后的顺性别女性。GLAAD 主张企业应在模型开发和产品设计早期就让民间社会参与，并提供第三方审计和数据访问，而非事后补救。

Partnership on AI 启动全球 AI 进展枢纽与责任 AI 进度报告计划

Partnership on AI（PAI）在第 79 届联合国大会期间的首届全球 AI 治理论坛上宣布两项全球倡议——全球 AI 进展枢纽（Global AI Progress Hub）与《全球负责任 AI：进展衡量》年度报告，旨在建立首个公开记录来评估 AI 系统是否合乎伦理、安全和可信。该枢纽邀请多方组织提交其行动并追踪成效，围绕人类联结与福祉、就业与经济搭建共同衡量框架；配套报告由多方社区指导方法论进行独立评估，将于 2027 年春季向公众开放访问。

PAI 日内瓦合作伙伴论坛：负责任 AI 从原则走向实践

Partnership on AI 在日内瓦举办 2026 年合作伙伴论坛，并借首届联合国全球 AI 治理对话之际发布两项新举措——Global AI Progress Hub 公开追踪器与《Global Responsible AI: Measures of Progress》年度独立评估报告。会上讨论聚焦 AI 当前的实际影响、问责归属以及谁有权参与决策三条主线，其中提到呼叫中心生产力因 AI 辅助上升 14%-15%，PwC 一项研究估算助益型 AI 通过育儿、养老与日常事务管理为家庭创造了最高 3300 亿美元的社经价值，同时指出多数企业尚未正式承诺遵守 UNGP，执法也不一致。

投资者需要更好的企业 AI 使用信息披露——PAI 发布披露建议草案

Partnership on AI（PAI）于 7 月 28 日发布一份面向投资者的 AI 披露建议草案，帮助公司将 AI 的影响、风险与机遇作为重要信息纳入财务及公开报告。该建议不分行业，覆盖医疗、金融服务、零售、基础设施、能源、社交媒体和公共部门等领域，并设计为补充而非新增现有报告的合规要求，可与 PAI 早前发布的《Corporate AI Risk Assessment Framework》配套使用。 其援引 2026 年斯坦福大学以人为本人工智能指数报告称，全球企业对 AI 的投资在 2025 年翻了一倍以上，生产力增益从客户支持的 15% 到营销产出的 50%；同时相关风险也在扩大，涵盖劳动力冲击与环境足迹以及不断上升的有记录的 AI 事故数。

联合国全球人工智能治理论坛第三集群联合牵头人呼吁采取行动，推进安全可信 AI

哥斯达黎加科技部长 Paula Bogantes Zamora 与 PAI 首席执行官 Rebecca Finlay 作为联合国全球对话第三集群（Safe, Secure, and Trustworthy AI）联合牵头人，致函两位共同主席提出五步建议。两人主张将独立国际科学小组工作组与各集群对接、起草融合国际法与欧盟《人工智能法案》等的共同参考基线、设立闭会期间常设工作流跟踪落实、由秘书处专项预算保障全球南方实质性参与，并在 2027 年纽约会议前试点跨境监管沙盒并回报结果。

Partnership on AI 华盛顿研讨会：为多种 AI 未来做规划

Partnership on AI 联合 Windfall Trust 于 7 月 29–30 日在华盛顿召集 46 位来自前沿 AI 实验室、工会、民间社会和国际组织的负责人，围绕两种 2030 年 AI 情景推演当下应做的准备。与会者在征税分享 AI 财富、扩大集体谈判覆盖、改革失业保险以及将 AI 纳入公共采购标准等方面形成较多共识，但在融资方式和对各情景发生概率的判断上分歧明显。会议遵循查塔姆研究所规则，观点不作个人归属，完整纪要另行发布。

Noah Feldman、Sophie-Charlotte Fischer 与 Gillian Hadfield 谈 Facebook 监督委员会的设计｜GovAI 博客

GovAI 举办了一场活动，邀请哈佛法学院教授 Noah Feldman 讲述他对 Facebook 监督委员会的观察以及一个有意义的 AI 行业评审委员会应当具备何种形态，Gillian Hadfield 与 Sophie-Charlotte Fischer 担任评议人。Hadfield 是多伦多大学 Schwartz Reisman 技术与社会研究所主任并兼任 OpenAI 高级政策顾问，Fischer 是 ETH Zurich 安全研究中心博士候选人及 GovAI 研究员，曾涉足自主武器伦理与法律、美国 AI 技术出口管制等议题。

Ben Jones 与 Chad Jones 谈长期经济增长：人工智能爆炸还是空荡星球？

经济学家 Ben Jones 与 Chad Jones 在一场由 Anton Korinek 主持的网络研讨会上讨论长期经济增长的可能路径——人工智能爆炸式的加速增长，抑或是经济增速反向放缓乃至停滞。两人基于发表于 NBER 人工智能经济学卷册的合作论文指出，未来增长率并不必然延续战后的稳态轨迹，可能结果的分布极为宽广，因此无法排除增长朝相反方向发展的可能性。

Michael C. Horowitz 谈《当速度致命》：自主武器系统、威慑与稳定性

Michael C. Horowitz 基于安全研究和军事史案例，分析了自主武器系统（AWS）可能带来的两类后果：军备竞赛以及威慑稳定性的削弱，包括战略稳定性下降、危机不稳定风险上升和战时升级。他以作战速度提升和人类对战场的控制减弱这两个特征作为切入点展开讨论。

Margaret Roberts 与 Jeffrey Ding 谈审查制度对人工智能的影响｜GovAI Blog

加州大学圣地亚哥分校政治学副教授 Molly Roberts 在一场 GovAI 活动中报告了她与 Eddie Yang 合作的研究，探讨审查与中国人工智能之间的关系，指出驱动 AI 应用的海量数据会被人为偏见污染并编码进训练数据，进而通过算法放大到面向用户的界面中。牛津大学未来人类研究所研究员 Jeffrey Ding 担任评议人。该工作被视为其审查与人工智能关系研究的开端，此前已有大量研究关注种族与性别偏见于训练数据集中的编码问题。

Paul Scharre 与 Helen Toner 谈 AI 能力与战争性质｜GovAI Blog

GovAI 于 2022 年 4 月 4 日举办了一场线上讨论，由 Robert Trager 主持，嘉宾 Paul Scharre 与 Helen Toner 围绕 AI 能力及其对战争性质的影响展开对话。活动提供录像回放，并附有延伸阅读材料。

Lauren Kahn 谈人工智能与自主性的负责任军事用途｜GovAI Blog

GovAI 于 2023 年 4 月举办线上讨论，邀请美国外交关系委员会（Council on Foreign Relations）的 Lauren Kahn 主讲人工智能与自主武器的负责任军事使用问题，由 GovAI 国际治理论负责人 Robert Trager 主持。活动录像已在 GovAI 官网公开。

Tom Davidson 谈算力中心框架下的起飞速度｜GovAI Blog

Open Philanthropy 的 Tom Davidson 就其草稿论文《What a Compute-Centric Framework Says About Takeoff Speeds》做了一场报告，由 GovAI 代理主任 Ben Garfinkel 主持，活动于 2023 年 3 月举办并留有录像回放。

Bruce Schneier 与 Gillian Hadfield 谈如何保障具备物理能力的计算机世界安全

随着计算机安全从保护数据转向保护生命与财产，数据认证与完整性将比保密更重要，基本不受监管的互联网也将终结，未来真正的选择是在明智与愚蠢的政府监管之间。Bruce Schneier 主张回顾以往系统安全的经验教训，并前瞻所需的技术、法律、监管、经济激励与社会规范，同时探讨 AI 如何助力网络安全以及网络安全领域的政府监管可为 AI 监管提供借鉴。Gillian Hadfield 则围绕治理方案发表反思。

GovAI 开设《经济学 of AI》免费在线课程，Anton Korinek 主讲

GovAI 的经济学与 AI 负责人 Anton Korinek 发布了免费的《Economics of AI》在线公开课，由 Long-Term Future Fund 资助。课程共六个模块，涵盖 AI 对生产方式与技术变革、总体经济增长以及劳动力市场与劳动者的影响，并探讨如何引导 AI 发展造福人类及经济学对人类控制高智能算法的启示。首个模块面向具备社会科学背景的学习者开放，其余模块则针对研究生或高年级本科水平的经济学背景人群。

Paul Scharre 与 Markus Anderljung 谈人工智能时代的权力｜GovAI Blog

2024 年 1 月 29 日，美国智库 CNAS 执行副总裁兼研究主任 Paul Scharre 做客 GovAI 政策负责人 Markus Anderljung 主持的网络直播讨论，围绕"人工智能时代的权力"展开对话。该活动由位于牛津的人工智能治理中心 GovAI 主办，属其博客栏目下的公开研讨记录，目前仅提供上述议程信息，未见更多实质观点披露。

GovAI 发布 2023 年度报告及 2024 年第一季度工作回顾

GovAI 发布了涵盖 2023 全年及 2024 年第一季度的年度报告，称过去一年是其团队产出最高的一年，也是 AI 治理迄今最具决定性意义的一年。报告记录了该机构的团队构成、项目和活动情况，并指出其近十年前就已意识到通用人工智能的重要性，目前比其他非营利组织更有条件推进这一使命。

GovAI 2018 年度报告

GovAI 于 2018 年组建了一支由 5 名全职研究员构成的核心团队并建立研究附属网络，全年产出超过 10 项研究成果。成果涵盖《AI Governance: A Research Agenda》《The Malicious Use of AI》等报告、《When will AI exceed human performance？》等学术论文及若干手稿，其中恶意使用 AI 的报告获逾 50 家媒体报道。该组织计划继续扩张，新增 1.5 FTE 项目管理岗位，并表示希望吸纳更多人才进入 AI 治理领域。

Sam Altman 与 Bill Gale 谈先进 AI 的税收解决方案｜GovAI

OpenAI CEO Sam Altman 与布鲁金斯学会的 William G. Gale 在 GovAI 首场研讨会上讨论先进 AI 时代的共享繁荣问题，围绕 Altman 博文《Moore's Law for Everything》展开。Altman 表示若继续扩大大语言模型的规模未必能通向 AGI，他认为通往 AGI 不会是一次性的突变时刻，而是加速推进的过程，社会需要在过程中学习并提前解决系统对齐等问题。

GovAI 2020 年度报告

GovAI 于 2020 年发布年度报告，团队现有 9 名研究人员及由 21 位附属成员与合作者组成的网络，并迎来访问高级研究员 Joslyn Barnhart 和 Robert Trager。该年度发表两份主要报告、15 篇学术出版物、一份 AI 治理教学大纲以及 5 篇评论或博客文章，涵盖合作型 AI、Windfall Clause、国家安全与反垄断、AI 与中国等议题。工作获 Open Philanthropy、Future of Life Institute 和欧洲研究理事会资助，Governance of AI Fellowship 预计 2021 年春开放申请。

Daron Acemoğlu、Diane Coyle 与 Joseph Stiglitz 谈新冠疫情与 AI 经济学

GovAI 首场 AI 治理与经济研讨会邀请 Daron Acemoğlu、Diane Coyle 和 Joseph Stiglitz 三位经济学家，从新冠疫情的应对经验出发讨论社会应如何为 AI 带来的经济冲击做准备。会议由弗吉尼亚大学的 Anton Korinek 主持，围绕 AI 作为通用技术的长期影响展开，涉及大规模劳动替代、极端不平等以及维持人类对高智能人工系统监督等议题。

Joseph Stiglitz 与 Anton Korinek 谈 AI 与不平等

Joseph Stiglitz 与 Anton Korinek 在 GovAI 活动中讨论 AI 与不平等问题，指出数十年来持续加剧的不平等因新冠疫情后的 K 型复苏进一步恶化，现代技术与日益发展的人工智能被认为在其中扮演重要角色，并引发对未来 AI 进步可能进一步放大不平等的担忧。

GovAI 网络研讨会：前沿 AI 模型应如何监管？

GovAI 举办了一场围绕白皮书《Frontier AI Regulation: Managing Emerging Risks to Public Safety》的网络研讨会，讨论前沿 AI 模型的监管问题。该白皮书主张 GPT-4、PaLM 2、Claude 等尖端模型可能很快具备严重危害公共安全的能力，因而需要监管，并提出了相应监管制度的构成要素及初步安全标准。Markus Anderljung、Cullen O'Keefe 主讲，Irene Solaiman 与 Jeremy Howard 作为评议人参与了坦率讨论。

GovAI Book Talk：Jeffrey Ding 谈《技术与大国崛起》

GovAI 于 2024 年 11 月 26 日举办线上讲座，邀请乔治·华盛顿大学助理教授 Jeffrey Ding 讨论其新书《Technology and the Rise of Great Powers》。Ding 提出，技术革命对大国的兴衰并非取决于哪国最先发明重大创新，而是国家能否将技术成功适配并传播至本国经济体系，制度层面的适配才是塑造全球竞争的关键。该研究发现对当下 AI 等技术如何影响中美力量平衡具有直接意义，随后他与 Robert Trager、Ben Garfinkel、Kayla Blomquist 进行了小组讨论与问答。

Epoch AI 分析 Mythos 的网络能力是否被夸大

Epoch AI 汇总约十五个公开网络安全基准，用改进后的 Epoch Capabilities Index 方法构建 Cyber-ECI，评估 Anthropic 的 Claude Mythos 系列在网络能力上是否被夸大。分析认为 Mythos Preview 在漏洞利用开发上确有大幅提升，比 GPT-5.5 更强，并领先 2025 年初以来的趋势约 7 个月，Mythos 5 在此基础上小幅提升。漏洞发现方面证据不够明确：参与 Project Glasswing 的 21 家机构披露的高危和严重漏洞数在 4 月和 5 月分别超出 2025 年基线 142% 和 262%，但同期 API 额度投入最高达 1 亿美元，难以区分是模型能力还是投入增加所致。curl 维护者称 Mythos 只发现一个低危漏洞和四个误报，未显示比既有工具更强。

推荐理由Epoch AI 汇总约十五个网络安全基准与 Project Glasswing 的 CVE 数据，区分漏洞发现与漏洞利用两种能力，为判断 Mythos 是否被夸大提供可核对的证据。

GovAI 年度报告 2025：从预测 AI 变革转向塑造其走向

GovAI 成立十周年之际发布《Annual Report 2025》，称随着 AI 开始改变世界，决策者的关键问题已不再是 AI 是否会带来变革，而是如何积极塑造这场变革。该机构表示 2025 年是研究成果最丰产的一年，人才项目也取得重要进展，并预计 2026 年外界对其工作的需求将持续增长。下一步重点包括扩大华盛顿特区的实地存在、调整人才项目以支持研究与政策之外的职业路径，以及启动新的研究工作流来拓宽专业覆盖面。

GovAI 招聘美国政策负责人，推动华盛顿办公室与研究团队扩张

GovAI 面向华盛顿特区招募美国政策负责人（Head of US Policy），负责制定其美国方向的研究战略并领导该办公室的研究与政策参与工作。该岗位将带领目前由六名研究员组成的美国政策团队进行大幅扩充——可能增至数十人规模，同时招募、指导研究人员并与 DC 的政策制定者建立关系。申请条件等信息因原文截断无法确认。 补充说明： - 由于原文实为一则职位招聘启事而非 AI 安全研究成果，其中不含受影响模型/产品版本、攻击名称、ASR、基准分数、CVE 等技术要素，故摘要仅能覆盖角色职责与组织规划。 - 「近 20000 份申请、每年逾 100 名参与者」属于 fellowship 项目描述，与美国政策负责人岗位无直接关联，且易造成误导，因此未纳入摘要。

Epoch AI 提出面向 AI 研发任务的类 O\*NET 分类体系

Epoch AI 在一篇文章中提出了首个针对 AI 研发工作的任务分类体系雏形，基于文献综述与头脑风暴划分出覆盖前沿 AI 实验室研究工作流的六个类别，目标是弥补现有趋势外推所依赖的可测量代理指标——算力、数据和能源投入以及 METR 的时间跨度指标——无法反映 AI 研发完整构成的缺陷。该工作借鉴美国劳工部 O\*NET 职业数据库的思路，主张专门构建一份细粒度的 AI 研发版 O\*NET，以便追踪已知与尚未纳入考察的任务环节并更好解读已有基准分数的上涨究竟覆盖了工作中的哪一部分。

CSA《2026 年云计算顶级威胁》报告：AI 既是武器也是目标

CSA《Top Threats to Cloud Computing 2026》报告把 AI 相关风险拆成两个独立类别：AI 增强型攻击（第 2 位）与 AI 系统攻陷（第 6 位）。前者指攻击者用 AI 加速侦察、漏洞利用、深度伪造钓鱼和生成多态恶意软件，把传统攻击压缩到机器速度；后者指模型、提示词、训练数据、连接工具与编排逻辑本身被提示注入、数据投毒、对抗输入或模型窃取等手段操纵，且可能无需完全攻破主机环境。报告认为云安全与 AI 安全的边界正在消失，但两类威胁不可互换，否则会留下盲区。

GovAI 招募 Research Scholar，研究与政策并重

GovAI 面向多元学术与职业背景开放 Research Scholar 岗位申请，无学历门槛，由团队或网络成员每周指导并提供外部导师与研究经理支持。入选者可从事原创研究、向决策者提供建议、召集利益相关方，甚至发起新的 AI 治理组织或活动，部分人可将大部分时间投入应用工作而非传统研究。研究方向涵盖风险管理、威胁建模、AI 经济学、地缘政治、前沿 AI 监管与技术治理等领域，经验丰富的研究人员还可改为申请两年期可续签合同的 Research Fellow，两类角色共用一份申请表。

Cloud Security Alliance 谈提示词语言为何成为新的 AI 安全挑战

Cloud Security Alliance 刊发 Darktrace 现场 CISO Nabil Zoldjalali 的文章指出，提示词正成为企业 AI 安全的新前线，其风险无法仅靠文本分类判定。文章称提示词是一种表达意图的行为信号而非普通日志源，需结合发出者的角色权限、系统访问范围和下游操作来判断；孤立看待会放大噪声并误判内部威胁。现有周边防护、身份治理和数据防泄漏方案各自只能部分覆盖该问题，云环境中的配置态势若缺少运行时上下文也会留下盲区。

Epoch AI 提出 AI 未来主义辩论缺失的另一半：应做带明确 AI 假设的技术开发难度估算

Epoch AI 发文指出，AI 未来主义辩论普遍只论证超级智能会来得快，却忽略了具体科幻技术的研发难度这另一半问题，主张部分研究者开展一项三步流程的新研究方向。 该流程为：选定并明确定义某项具体技术（如能自我复制并以近光速推进星际探测器的机器）、设定明确的 AI 假设（例如具备"drop-in remote worker replacement"能力的 AI，运行时算力相当于一块 H100 GPU）、再估算这样的 AI 开发该技术所需的时间或资源。 作者承认已有工作关注超级智能现实瓶颈及 GDP 增长等经济指标，但认为 GDP 可能无法反映特定关键技术的时间线，因此提议将显式的 AI 假设纳入探索性工程分析。

Cloud Security Alliance 文章提出 MITL/dMITL 人机协作架构以实现可靠 AI

Cloud Security Alliance 刊发 Dr. Chantal Spleiss 的文章，主张将自动校验作为人类监督的补充而非替代，并提出基于模型的 MITL 与多样化模型的 dMITL 两种架构来过滤常规决策、减少人工疲劳并仅在真正需要时才升级给人类。 文中指出 HITL 并非终点而是过渡形态，在高风险应用中仍是欧盟《人工智能法案》强制要求的监督方式，但其人员会疲惫且产出不稳定，因此单独依赖它并不牢靠。MITL 可用同实验室更高推理能力的模型或其他实验室的对标模型做运营校验，跨实验室组合只能降低盲区而不能消除盲区。dMITL 进一步引入地理分布的多模型团队，通过平均打分或在置信度阈值上达成共识来做判定，例如执行前一致认定动作为 safe，或以 90% 一致性作为门槛，但仍需经验校准的分值与针对任务的基准支撑，且共识不应凌驾于确定性安全约束之上。