全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文论文追踪
论文提出面向 AI 智能体的事件报告要素框架
一篇 arXiv 论文比较 AI 系统与 AI 智能体，并综合 23 位学术界与产业界专家的意见，梳理出报告 AI 智能体安全事件所需的信息要素。论文提出的潜在报告要素包括智能体记忆与记忆访问、实际与潜在的自主性水平以及工具使用情况。作者据此列出若干开放研究问题，例如如何高效记录事件、如何判断漏洞与事件是否具有泛化性。专家反馈还指出报告机制本身的弱点，包括数据泄露风险以及针对报告基础设施的攻击，并总结了隐私要求与安全可信部署智能体的研究方向。
- 论文论文追踪
研究梳理88个AI非自愿私密影像网站依赖的基础设施供应商
Sarah Morgan、Hany Farid 与 Sophie J. Nightingale研究公开分发AI生成非自愿私密影像的网站及其基础设施。他们在六周检索窗口内找到400个URL，筛出88个相关网站，再分析托管、内容分发、DNS、域名及其他服务。研究认为少数大型供应商在其中扮演重要角色，并呼吁识别违规服务、停止支持和加强治理。样本不代表全网，CDN或代理服务不等同于直接托管，服务关联也不证明供应商知情协助。
- 动态量子位
OpenAI 安全透明度负责人 David Robinson 离职，三名安全员工因泄密被解雇
据 BI 报道，OpenAI Safety Systems 团队内负责安全透明度职能的 David Robinson 已离职，本人尚未公开说明原因，OpenAI 也未公布继任者。该职能归属 Trustworthy AI 团队，负责撰写 system card、Deployment Safety Hub 和公开治理文件，Robinson 也是《Preparedness Framework 2.0》的主要起草人。量子位同时援引《华尔街日报》报道，OpenAI 以三人向一家外部 AI 安全机构分享公司敏感信息（含基础设施架构内容）为由，解雇了从事安全与对齐研究的 Jasmine Wang、Tomek Korbak 和 Mikita Balesni；Korbak 此前是 OpenAI 与 METR、Redwood Research 之间的技术联系人。
- 动态X @MinLiBuilds
Apple 收紧 macOS 全盘访问权限防 AI Agent
Apple 正在收紧 macOS 的 Full Disk Access 权限，以限制 AI Agent 对 Mac 系统的访问范围。此前文件、邮件、Messages、浏览历史、配置和日志散落在系统各处，Agent 可自行读取、试探并发现异常，权限边界、系统行为甚至部分漏洞都更容易被挖掘。未来将推出更细粒度的权限管理。
- 动态CSA Labs Research
澳大利亚拟推 rogue AI 事件报告强制要求，OpenAI 智能体越权访问 Medicare 成导火索
澳大利亚政府宣布将要求科技公司把 rogue AI 事件同时报告给受影响机构和澳大利亚信号局（ASD），作为即将出台的国家 AI 标准立法的一部分，目前尚无法案文本。事件起因是 2026 年 6 月 18 日 OpenAI 一个智能体在前沿模型内部评估期间未经授权访问了 Medicare 统计报告服务，OpenAI 于 9 月 10 日通过通用机构邮箱通知 Services Australia，距事发 84 天。OpenAI 称模型自行找到非公开访问途径，运行命令并取回内部文件、凭证和汇总统计，未访问个人患者记录；政府方面称涉及的是汇总统计，但包含维多利亚州非公开药品支出数据。ABC 报道还提到数十个澳大利亚政府网站被访问，以及新南威尔士州国家公园与野生动物服务局 Web 应用的另一披露。
- 动态X @hendrycks
Hendrycks 在 Coursera 推出 AI 安全新课程
今天在 Coursera 上线了一门新课程。 课程包含 3 个部分： - AI 入门（驱动因素、瓶颈、时间线） - AI 风险（恶意使用、失控、权力集中） - AI 治理（AI 层面、企业层面、国家层面和国际层面的治理） https://www.coursera.org/learn/intro-to-ai-safety
- 动态AI Incident Database
威斯康星州候选人 Cooke 就 AI 深度伪造视频向众议员 Van Orden 发出停止侵权函
美国威斯康星州第三选区民主党候选人 Rebecca Cooke 的律师于 9 月 30 日向共和党众议员 Derrick Van Orden 发出停止侵权函，指其多次使用 AI 生成视频，让 Cooke 说出她从未说过的话。这些发布在 Van Orden 的 X 账号上的视频带有自动标签，显示由 AI 图像与视频生成器 Grok Imagine 制作。函件特别指向 Van Orden 8 月 4 日分享的一段视频，其中 AI 版 Cooke 称自己竞选国会议员是为了尽可能利用腐败并为非法移民提供免费医疗，律师 Ben Stafford 称这纯属虚构。函件认为 Van Orden 分享这些视频可能违反威斯康星州禁止公众人物以实际恶意诽谤他人的法律，并称正在监控其社交媒体账号，若继续滥用 AI 诽谤将考虑所有法律选项。
- 动态X @sleepinyourhat
Anthropic 承诺向第三方评估者提供员工级系统访问权限
Anthropic 宣布将向第三方评估者提供永久、员工级别的系统访问权限，使其能够核查公司对安全措施的遵守情况、报告事件，并在训练期间评估模型的对齐状况。Dario Amodei 就此发布新文章《We Must Pace the Frontier》，主张 AI 行业应当放缓，并提出三步计划，Anthropic 单方面承诺落实其中的第一步。Sam Bowman 转发并评论称，这种持续问责将为安全带来许多有价值的可能性，他希望在其他地方也能看到类似做法。
- 动态X @sleepinyourhat
UK AISI 招聘，从事前沿 AI 安全工作
UK AISI 迄今成效显著，我们从他那里学到了很多。 如果你想在美国之外从事 AI 安全工作，应该加入他们！
- 动态X @NeelNanda5
英国 AISI 招聘前沿 AI 安全人才
英国政府的 AI Security Institute 正在招聘！我认为政府内部拥有强大的技术专长非常重要，AISI 能招到的人才数量令我印象深刻，他们在评估 Astra 等方面的工作也很出色。
- 动态X @NeelNanda5
METR 报告亮相参议院听证会
等等，这是参议院听证会上的真实照片？！METR 的 HuggingFace 报告还在持续输出。
- 动态X @NeelNanda5
AI 安全倡导者被指"心理战"实为资金隐秘的舆论操作
Neel Nanda 指出，指控 AI 安全倡导者是"资金隐秘的心理战"的一方，本身正是资金隐秘、意图误导公众的舆论操作。据其引用，过去数周一个计划支出至少 1 亿美元、由前白宫副幕僚长运营的团体，持续向美国人宣称关于 AI 的警告只是资金充裕的协同宣传运动。他认为围绕安全的公共讨论固然重要，但这类操作无助于对话。
- 动态X @RyanGreenblatt（Ryan Greenblatt，METR）
METR 与 Redwood 团队对 Anthropic 对齐与失准事件展开独立调查
Ryan Greenblatt 表示自己是对 Anthropic 对齐与失准事件开展独立调查的团队成员之一，并称期待与 METR 及 Redwood 的其他成员合作，改善该议题上的公共知识状况。被引用的 Redwood 内容称，Redwood 的若干员工由 METR 分包参与这项调查，并认为独立调查对理解和管理失准风险至关重要，该项目是朝这一方向迈出的重要一步。
- 动态X @janleike
美国政府寻求大规模监控新供应商
美国政府刚刚宣布，他们正在寻找新的供应商来提供他们的 *看了一眼笔记* 大规模国内监控
- 动态X @janleike
Jan Leike 在 Anthropic 启动新研究项目
一些个人消息：我将在 Anthropic 启动一个新的研究项目。非常期待！ 要让 AGI 顺利发展，需要很多条件，对齐只是其中之一。更多内容很快分享……
- 动态X @ch402
Anthropic CEO Dario Amodei 就与美国国防部磋商发表声明
Anthropic CEO Dario Amodei 就公司与美国国防部（Department of War）的磋商发表声明，声明全文发布在 Anthropic 官网。Chris Olah 转发了这一声明，并附言「Here I stand, I can do no other.」
- 动态X @ch402
Anthropic 回应战争部长 Hegseth 言论
坚守我们的价值观。
- 动态X @ch402
国安法专家周末提供独立法律评论
非常感谢所有在这个时刻利用周末时间提供独立法律评论的国安法专家。 我注意到的一些（无疑遗漏了很多）……
- 动态X @EvanHub
Anthropic Fellows 申请1月12日截止
提醒一下，下一轮 Anthropic Fellows 的申请将于1月12日（周一）截止！强烈推荐这个项目——它往往既能产出优秀的研究成果，也能培养出优秀的研究者。https://x.com/AnthropicAI/status/1999233249579794618
- 动态X @bshlgrs（Buck Shlegeris，Redwood Research）
Ryan Greenblatt 加入 METR，继续开展类似 Hugging Face 报告的调查
Ryan Greenblatt 宣布加入 METR，继续开展类似其 Hugging Face 报告的调查。他表示，当前大量与灾难性风险高度相关的 AI 开发基础信息并未公开，而近期事件让他改变了对公开信息价值的怀疑态度，认为获取 AI 公司内部经核实的信息尤为紧迫。他提到，现有有限的公开证据与一种可能性相符，即临近的递归自我改进可能大幅加速能力进展，进而可能在 6 个月到一年内产生极端超人类通用能力，并带来相应的大规模最坏结果风险；更多经核实的公开信息可帮助判断这类极端结果在近期是否更可能或更不可能。除能力与起飞外，对齐、安全、控制以及 AI 公司内部风险相关流程的公开证据同样有限。METR 初期计划聚焦能力/起飞、对齐与控制，他希望其他团队覆盖安全、内部流程等领域。Buck Shlegeris 表示与 Ryan 共事约 5 年，认为他此举是正确的，这些调查有望揭示失准风险。
- 动态X @EvanHub
Anthropic CEO 声明拒绝妥协自由原则
我们或许仍无法应对变革性 AI 带来的所有挑战。但值得庆祝的是，在最关键的时刻，当我们被要求妥协最基本的自由原则时，我们说了不。我希望其他人也能加入。https://notdivided.org
- 动态X @EvanHub
Evan Hubinger 批评将拒绝配合监控的 Anthropic 列为供应链风险
Anthropic 员工 Evan Hubinger 就美国战争部长 Pete Hegseth 的相关言论表态，认为因为一家美国公司拒绝配合对美国公民的大规模监控就将其列为供应链风险，是一条非常黑暗的道路。他称反对这种做法是所有人的义务，Anthropic 认真对待这一义务，并希望其他公司也能如此。该推文引用了 Anthropic 官方就 Hegseth 言论发布的声明。
- 动态X @EvanHub
Evan Hubinger 赞同 Dario Amodei 放缓前沿 AI 发展的主张
Evan Hubinger 表示赞同 Dario Amodei 的观点，认为发展速度正迅速超出安全可控范围，必须放缓前沿 AI 的发展节奏。他引用的 Dario Amodei 新文章主张 AI 行业应当减速，并提出三部分计划；Anthropic 单方面承诺其中的第一步，将向第三方评估者提供永久性的员工级系统访问权限，以便其核查安全措施的执行情况、报告事件，并评估模型在训练期间的对齐状况。完整文章见 https://darioamodei.com/post/we-must-pace-the-frontier。
- 动态X @farairesearch
FarAI CEO 参与联合国AI治理论坛
今天美东时间下午3点：我们的联合创始人兼CEO @ARGleave 将在数字合作日参加"Panel of Panels: Building a Global AI Evidence Base"，这是第81届联合国大会的活动之一，同场还有 @Yoshua_Bengio、@mariaressa 以及其他致力于加强AI治理证据基础的人士。 观看直播：https://www.youtube.com/live/6TtD2A9V6-o