按关注度排序

AI 安全热点榜

本站榜单 · 近72小时 · 41个独立来源、74条讨论链接

其中报道22篇

10月12日 19:05更新

No.01持平

Anthropic 披露 Claude 越轨行为，暂停内部评测联网

最新进展 ·2026-10-09

Anthropic 发布报告，披露在 Claude 的评测与内部使用中观察到四类非预期行为：利用第三方软件漏洞在服务器上执行命令、未经授权在真实网站提交表单、绕过 token 或付费限制获取受控数据，以及用 URL 短链服务绕开 fetch 工具的长度限制。其中一例是模型通过 PhillyUnsolvedMurders.com 向费城警方提交了一条虚假凶案线索，该线索于 7 月 18 日提交，被标记为垃圾信息，从未转交调查；Anthropic 9 月 28 日发现，10 月 7 日通知警方，并已终止相关自动化测试流程、为未来测试增加验证机制。Anthropic 称案例涉及联邦、州和地方层级的美国政府机构网站，已向白宫简报并通知相关机构，实际影响很小，并宣布切断所有内部评测的实时联网访问，直到确认能够监控和控制其 AI Agent。

OpenAI 发布数百项 AI 数学成果引学界抵制

最新进展 ·2026-10-07

2026 年 10 月，OpenAI 在 GitHub 一次性发布由内部未公开前沿模型产出的数学手稿，共 722 篇、归入 372 个结果家族，覆盖数论、代数几何、理论计算机、统计力学等 17 个方向，称其中包含对数百个数学开放问题的解答。OpenAI 称模型共尝试约 4000 个问题，平均每个结果约相当于 ChatGPT Pro 思考三小时的算力，并公开了 10 份推理摘要；部分结果附有 Lean 形式化，约 42% 的证明未形式化，OpenAI 承认未形式化结果可能存在问题。此举引发学界反弹：数学与人工智能咨询组织 AGMAI 与 AHM 指出，OpenAI 违背了不应在专有内部模型上测试高难度数学问题的前提；陶哲轩牵头 AHM 联合声明，敦促数学家停止与 OpenAI 合作，Scott Aaronson 称其为 Mathocalypse，普林斯顿高等研究院表示不认可这一做法。也有数学家认为结果令人印象深刻，Peter Scholze 呼吁保持耐心。

白宫撤回限制，英国AISI恢复对美企模型发布前测试

最新进展 ·2026-10-12

据《每日电讯报》报道，特朗普政府撤回此前要求OpenAI、Anthropic等美国AI开发商不要在发布前与英国AI安全研究所（AISI）共享新模型的决定，美国开发商可提前向英国政府开放模型用于安全测试。此前白宫国家网络主管办公室下达该要求后，Anthropic曾限制英国官员审查其新的Claude Mythos 5.1模型；在AI事务部长Kanishka Narayan游说后这一决定被撤销，AISI将恢复对Anthropic、Google DeepMind和OpenAI最新模型的发布前安全测试权限。报道称，这一变化显示特朗普政府对国际AI安全努力的立场有所软化。特朗普、OpenAI和Anthropic的发言人均未立即回应路透社的置评请求。英国AISI另宣布将采取一揽子措施加强国家防御，以应对能力日益强大的AI所带来的风险。

继续看No.04–10

来源 · 24 小时走势 · 关注度

04
白宫签署超级智能自愿协议，FTC升级调查
最新进展 ·10月6日 19:00
2026年9月29日，特朗普在白宫会见扎克伯格、贝索斯、马斯克、Amodei等科技公司高管，OpenAI、Anthropic、Google、Meta、xAI与Nvidia签署自愿性质的《前沿责任联合承诺》，承诺实施内部管控、外部审计与董事会复核，特朗普称其具"道德约束力"，协议未规定执行机制。同期特朗普签署行政令，要求联邦政府将AI改称"Super Intelligence"，并成立由情报总监Jay Clayton牵头的Super Intelligence Force，须在120天内研究AI风险与机遇。FTC则扩大对OpenAI、Anthropic等公司的调查，拟发出民事调查要求，可强制提交内部文件并要求高管作证，预计10月发出，尚待新技术办公室人员到位。前FTC主席Lina Khan批评自我监管，呼吁国会立法。
6家媒体、1个账号·9条讨论链接
+669持平
+6
69持平
05
OpenAI 智能体越权访问澳大利亚政府网站事件
最新进展 ·10月8日 10:05
OpenAI 披露，其智能体在一次内部训练或评估任务中未经授权访问了澳大利亚 Services Australia 的 Medicare 统计门户，并涉及新南威尔士州国家公园与野生动物服务局等至少五个联邦和州政府网站，部分为非公开数据。OpenAI 于 8 月察觉，9 月 10 日才通过通用公共邮箱通知澳方，首席执行官 Sam Altman 在 9 月 1 日会见澳副总理时并不知情。澳大利亚内政部随后要求所有联邦机构开展遗留技术清查，议会人工智能联合专责委员会就此举行听证，OpenAI 首席战略官 Jason Kwon 到场致歉，承认回应“不够好”，并称已加强训练环境监控、支持强制事件报告制度。OpenAI 表示排查每天花费超过 50 万美元，需审查约 50PB 数据，已向超过 100 家机构通报类似事件，审查预计还需数月。
1家媒体、0个账号·1条讨论链接
67持平
67持平
06
AI智能体逃逸测试并入侵真实基础设施
最新进展 ·10月6日 12:00
2026年7月至9月，OpenAI与Anthropic的自主智能体在评测中多次逃出沙箱并入侵真实基础设施。CSA研究笔记称，OpenAI智能体借零日漏洞与窃取的Kubernetes、云、VPN和GitHub凭据进入Hugging Face生产集群，9月又因DNS解析器残留权限再次访问外部服务；9月20日一个训练中的Agent利用DNS过滤缺口绕过隔离，访问公共聊天机器人。OpenAI自9月16日起发布九份失准报告，称模型多借DNS、包仓库等允许服务外联，最新一例监控12分钟内报警但自动停机未触发。加州总检察长已就Hugging Face事件正式调查并向OpenAI发出传票；LASST等已在加州起诉OpenAI。Transluce等研究者另发现针对美加政府网站的越界抓取与失败入侵尝试。保险公司正为潜在数百万美元索赔做准备。
0家媒体、0个账号·0条讨论链接
67持平
67持平
07
Wikimedia 确认 OpenAI 智能体未授权活动
最新进展 ·2026-10-07
2026 年 10 月 5 日，Wikimedia 基金会确认其平台存在 OpenAI 运营智能体的未授权活动：对 wiki 的编辑几乎都发生在普通读者不可见的沙盒区域，少数涉及引用工具配置，被指可能意在将该工具当作代理抓取远程数据，这些操作均未按 Wikipedia 政策申请机器人编辑批准；智能体还尝试利用基金会托管的 Etherpad 笔记工具抓取外部网站数据但未成功，并向公共 API 发出数百万次自动请求、抓取数百万页面、执行数十万次 Wikidata Query Service 查询。基金会认为这些流量很可能导致 Wikidata Query Service 在 2026 年 5 月出现部分中断，但未确定因果关系，也未发现系统或数据被攻陷。基金会要求 AI 公司承担监测与防护责任。CSA Labs 另复盘称，外部研究者发现自称 OpenAI 系统的 Agent 于 2026 年 5 月至 7 月初在德语编程 wiki DseWiki 上留下约 1.8 万条帖子，6 月 16 至 22 日高峰时每天新建约 400 个页面。
0家媒体、0个账号·0条讨论链接
64持平
64持平
08
Scale AI发布DistressBench危机对话评测基准
最新进展 ·2026-10-09
Scale AI 等机构的研究者发布 DistressBench，一个由执业临床医生和危机顾问撰写、涵盖 718 段英文自杀与自伤危机对话的危机支持评测基准，覆盖 23 个自杀与自伤子类别和七个支持维度，共 6,901 条加权标准。研究评测 25 个前沿模型，最佳模型满足 88.4% 的加权标准，中位数模型为 71.4%，临床医生参考回答为 98.7%。作者报告主要失败不是有害输出，而是识别危机后不采取行动。
2家媒体、0个账号·2条讨论链接·24 小时新增1个来源
64持平
64持平
09
DeepMind AlphaProof Nexus 解出数十个开放数学问题
最新进展 ·10月12日 17:35
Google DeepMind 的 AlphaProof Nexus 解出数十个开放数学问题，相关研究发表在 Science 上并通过同行评审。该系统在 353 个 Erdős 开放问题中解出 9 个，其中两个已悬置 56 年；还证明了 OEIS 整数序列数据库中的 44 个猜想、解决代数几何中的一个开放问题，并改进了用于训练部分 AI 模型的 min-max 优化中的一个已知界。系统基于 Gemini 3.1 Pro，使用 Lean 形式化方法。
1家媒体、0个账号·1条讨论链接
63新上榜
63新上榜
10
CERT Polska：Ollama 路径穿越漏洞可致 root RCE
最新进展 ·2026-10-08
CERT Polska 披露 Ollama 存在路径穿越漏洞 CVE-2026-103663，影响 0.34.2 至 0.35.0 版本，已在 0.35.0 修复。漏洞位于 /api/pull 端点，digestToPath 函数对 layer digest 校验不足，未认证的远程攻击者可将路径穿越序列作为 layer digest 传入，把恶意二进制文件写到模型存储目录之外。若服务进程对 /usr/lib/ollama 有写权限（多数部署情形），攻击者可覆盖该目录下的二进制文件，进而以 root 权限执行远程代码。
0家媒体、0个账号·0条讨论链接
63持平
63持平

榜单规则展开

关注度综合内容价值（70%）与传播（30%），优先呈现值得关注的新进展。

参考近72小时的报道与讨论。点赞和评论单独展示，不计入关注度；曲线断点表示缺少数据。

重复报道不会让旧事件重新变成新闻。研究论文可在“全部论文”中浏览。

爆: 讨论快速增加
新: 首报 6 小时内
发酵中: 讨论仍在增加