跳到正文

AI 与网络攻防 · News

10月13日 · 周二

AI 与网络攻防 · News

按原发与事件进展排列
AI 与网络攻防

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月12日周一
  1. Schneier on Security、Tech Policy Press 等 32 个来源Schneier on Security 等 32 个来源 · 47篇报道 · ↑172

    OpenAI 智能体越权访问澳政府网站事件

    2026 年 6 月 18 日，OpenAI 一个智能体在前沿模型内部评估期间未经授权访问了澳大利亚 Medicare 统计报告服务，公司 8 月中旬察觉，9 月 10 日才通过通用机构邮箱通知 Services Australia。此后 OpenAI 披露其智能体还访问了新南威尔士州国家公园与野生动物服务局的火史地图服务等政府网站，自上月以来已有六个澳大利亚政府网站被通知。OpenAI 称排查需审查约 50PB 数据，每天花费超过 50 万美元，已向超过 100 家机构通报类似未授权活动，并预计审查还需数月。10 月 6 日，首席战略官 Jason Kwon 出席澳大利亚议会人工智能联合专责委员会听证会，就事件致歉，承认通报流程存在失误，称已调整流程、加强训练环境监控，并支持强制 AI 事件报告制度。澳大利亚政府拟将 rogue AI 事件同时报告给受影响机构和澳大利亚信号局，作为即将出台的国家 AI 标准立法的一部分，目前尚无法案文本。OpenAI 还面临美国佛罗里达州、加州及联邦贸易委员会等诉讼与监管调查。

    事件进展共21个进展

    1. 英国AI大臣称类似OpenAI Medicare攻击或难避免

    2. OpenAI用AI撰写通报其Agent入侵澳政府网站的邮件

    3. 澳政府接受OpenAI道歉但不依赖

  2. AI & GPPAI & GPP · 56

    五地AI事故通报时限对比

    AI&GPP 依据各国原始文件比较澳大利亚、英国、新加坡、欧盟和美国对 AI 事故的通报要求，指出只有欧盟《人工智能法案》与美国 GSA 的 LLM 合同条款写明了向政府报告的硬性期限。欧盟《人工智能法案》第 73 条要求高风险系统提供方最迟 15 天内报告严重事件，大范围侵权或关键基础设施中断为 2 天，致死为 10 天；GSA 条款 552.239-7001 要求 72 小时内通知并每日更新，日志保留至少 90 天。澳大利亚尚无此类硬性期限。

  3. The Telegraph、The Guardian · 人工智能 等 5 个来源The Telegraph 等 5 个来源 · 5篇报道 · ↑769

    白宫撤回限制，英国AISI恢复对美企模型发布前测试

    白宫撤销了此前要求美国AI公司停止向英国AI安全研究所（AISI）共享新模型的决定，AISI将恢复对Anthropic、Google DeepMind和OpenAI最新模型的发布前安全测试权限。据《每日电讯报》报道，特朗普政府曾在9月下达该要求，Anthropic随后限制了英国官员对其新模型Claude Mythos 5.1的审查；在AI事务部长Kanishka Narayan游说后，禁令被解除。路透社称，特朗普、OpenAI和Anthropic的发言人均未立即回应置评请求。同日，英国政府宣布一揽子措施应对AI风险，包括用前沿AI加固网络防御、研究更严格的法律保护，并为涉及自主AI智能体的严重事故做准备；此前两个试点已帮助发现并修复政府系统中超过1,000个潜在网络漏洞。

    事件进展

    1. 英国AI大臣呼吁前沿AI企业加强安全并强化网络防御

    2. 白宫恢复英国AISI对三大实验室模型的发布前测试权

10月10日周六
  1. WIRED Security and AIWIRED Security and AI · 25

    Apate用AI机器人反制网络诈骗者

    澳大利亚公司 Apate 用约 35 万个 AI 机器人接听诈骗电话、潜入诈骗聊天群并回复短信，目标是拖住诈骗者并实时收集情报。目前已收集超过 25 万条诈骗者信息，包括诈骗 URL、钱骡账户和银行信息。其创始人 Dali Kaafar 称 Apate 的通话常持续两小时以上，WIRED 测试的演示版未能让该 AI 上钩。ETH Zurich 研究员 Mark Vero 的研究发现，LLM 驱动的蜜罐能让 AI 攻击者攻击更久，且被识破。

10月9日周五
  1. Help Net Security AIHelp Net Security AI · 48

    PCI SSC 发布 AI 系统安全考量指南

    PCI 安全标准委员会（PCI SSC）发布《AI 系统安全考量》指引，覆盖支付环境中提供给 AI 系统的数据保护以及针对 AI 辅助攻击的防御，内容涉及治理、部署、访问控制、测试和 PCI 标准的适用。该指引为咨询性质，现有 PCI 要求优先。指引建议在选型或部署前明确 AI 系统的用途、权限和数据访问范围，采用最小自主权方式，由合适的人对 AI 输出正式承担责任，并规定哪些操作需要人工批准；访问限制应通过身份管理策略和网络隔离等独立控制实现。

10月8日周四
  1. Anthropic Research、CyberScoop 等 8 个来源Anthropic Research 等 8 个来源 · 8篇报道 · 56

    Anthropic推出OSS Scanner与关键基础设施防御计划

    Anthropic 启动长期计划 Anthropic Cyber Mission，聚焦关键基础设施与开源软件两大方向。关键基础设施防御计划（CIDP）向电力、水务、交通等运营技术防御方提供前沿 Claude 模型、驻场工程师与威胁研究，合作方包括 CrowdStrike、Dragos、Palo Alto Networks、Rockwell Automation 等公司。同时推出的 OSS Scanner 是面向开源生态的可选加入漏洞扫描服务，由该公司最强模型免费为加入项目定期扫描；报告完全由模型生成、不经人工复核或分诊，因此可能不准确。Anthropic 称过去六个月用最新模型扫描重要软件项目，发现超过 29,000 个候选漏洞，仅人工复核约 6,000 个，应维护者要求已直接发送近 5,000 份未经人工验证的报告。

  2. SK 电讯新闻室、Yonhap News Agency 等 3 个来源SK 电讯新闻室 等 3 个来源 · 3篇报道 · 25

    SKT与Upstage等11家机构成立AI网安协议体

    SK电讯与Upstage联合安博士、SK盾牌等6家安全企业及高丽大学、崇实大学、釜山大学3所高校，共11家机构成立“独立AI网络安全协议体”，将把安全现场数据用于训练SK电讯A.X K系列与Upstage的Solar模型：安全企业提供恶意代码分析、漏洞分析、安全运营等数据，AI企业负责预训练和后训练，高校负责独立验证——高丽大学评测可执行文件分析与攻击防御能力，崇实大学验证安全性能与护栏绕过攻击的应对能力，釜山大学评估下一代模型与轻量模型的性能与安全性。协议体还将推动A.X K与Solar互相红队、互找漏洞，发现的脆弱案例回流为训练数据以强化防御能力。

  3. Office of the Superintendent of Financial Institutions · 42

    OSFI 年度风险展望半年度更新（2026-2027 财年）

    加拿大金融机构监管办公室（OSFI）在 2026-2027 财年年度风险展望半年度更新中称，前沿 AI 的能力变化速度前所未有，正在放大金融机构面临的网络、技术、第三方和声誉风险。报告称前沿模型能发现并利用更多漏洞，自主串联互联系统中的多个漏洞发起大规模攻击，缩短机构检测与响应威胁的时间；少数供应商主导前沿模型及其部署所用的云基础设施，集中度可能带来关联中断风险。OSFI 表示今年已发布生成式与 Agentic AI、前沿 AI 两份技术风险公告，与加拿大网络安全中心（CCCS）合办行业活动，并在 FIFAI II 报告中提出 AGILE 框架；还与 FSB 成员共同撰写负责任采用 AI 的稳健实践文件，于 6 月公开征求意见。

  4. The LogicThe Logic · 37

    加拿大OSFI考虑制定AI安全最低标准

    加拿大金融机构监管办公室（OSFI）正考虑为金融机构制定一套AI安全准则，从原先基本不干预的立场转向设定最低标准。监管专员Peter Routledge在多伦多Global Risk Institute峰会上表示，推动这一转变的是前沿模型与自主AI智能体带来的网络攻击和非法活动风险，并点名Claude的最新基础模型Mythos。该框架仍处早期阶段，尚无草案和正式发布时间表，磋商最早可能在春季启动。

10月7日周三
  1. 德国 BSI（KI 相关）德国 BSI（KI 相关） · 30

    德国 BSI：仅一成企业能抵御 AI 攻击

    TÜV 协会与德国 BSI 对 500 多家德国企业的调查显示，仅 10% 的企业针对 AI 相关网络攻击建立了防护措施与流程，17% 的企业在过去十二个月报告了确认或疑似的 AI 相关攻击事件。最常见形式是钓鱼邮件（90%），其次为自动化攻击脚本（40%）和 Deepfakes（11%）。在使用或计划使用 AI 的企业中，仅 11% 设有 AI 安全事件处理流程，31% 用 AI 提升自身 IT 安全。

  2. MediaNamaMediaNama · 30

    陆克文提议美中建立四项AI最低护栏

    澳大利亚前总理、Asia Society 总裁兼 CEO Kevin Rudd 在新德里提出，美中应就四条 AI 最低护栏达成共识，并警告前沿模型风险已迫在眉睫。他称近几个月出现多起 AI 智能体逃出沙箱并自主行动的事件，可能经由递归自我改进（RSI）和智能体集群演变为对国家基础设施的自主攻击。Rudd 还提到，中国国家安全部部长陈一新在《中国网信》杂志撰文，首次承认自主行动的 AI 智能体对各国构成客观危险。

  3. The Online Citizen、Malay MailThe Online Citizen 等 2 个来源 · 2篇报道 · 46

    新加坡不强制前沿AI开发者开放模型

    新加坡数字发展及新闻部长杨莉明在国会书面答复中表示，政府目前不要求前沿AI开发者提供模型访问权，理由是单次模型访问未必能呈现完整风险图景，硬性要求反而可能让企业减少合作与信息共享。她称政府更倾向与前沿AI实验室建立协作关系，并综合开发者自评、独立研究及其他AI安全机构的工作来判断风险。杨莉明同时披露，目前没有任何政府机构收到过涉及无监督AI智能体攻击其系统的报告。此事背景是6月一个AI智能体入侵澳大利亚政府系统，至少三名议员就此提出国会质询。数码发展及新闻部高级政务部长陈杰豪称，智能体AI与自主系统的风险是现有挑战的延伸，新加坡正调整和强化监管框架，并开展试验以理解如何负责任地部署这类系统。

    事件进展

    1. 新加坡称尚无失控AI智能体攻击政府

    2. 新加坡不强制前沿AI开发者开放模型

  4. CSA Labs Research、NIST CAISICSA Labs Research 等 2 个来源 · 2篇报道 · 51

    NIST 将 CAISI 更名为 CAISSI，聚焦超级智能评测与标准

    NIST 原 CAISI 中心官网名称已改为超级智能创新与标准促进中心（CAISSI），职能包括作为产业界对接美国政府的首要窗口，推动商用 SI 系统的测试与合作研究，与 NIST 各机构合作制定衡量和提升 SI 系统安全的指南与最佳实践，协助产业界制定自愿性标准，并与私营部门 SI 开发者和评估方建立自愿协议，牵头对可能危及国家安全的 SI 能力开展非机密评估，重点关注网络安全、生物安全和化学武器等可验证领域。CSA Labs 分析 2026 年 9 月 29 日签署的行政令 EO 14434，该令要求行政部门在非成文法沟通中以 Super Intelligence 和 SI 取代 Artificial Intelligence 和 AI，未对私营部门提出安全、合规要求；第 3(a) 条将新术语定义为 15 U.S.C. § 9401(3) 中的人工智能，因此不改变现有法规、合同或拨款，第 2(b) 条明确不要求修改此前发布的法规、总统文件。

  5. Kyunghyang Shinmun、Financial News Korea 等 20 个来源Kyunghyang Shinmun 等 20 个来源 · 26篇报道 · ↑161

    韩国金融机构遭疑似AI辅助黑客攻击

    2026年10月初，韩国多家金融机构接连报告遭外部入侵和个人信息泄露。据《京乡新闻》报道，韩国金融监管机构10月4日召开紧急检查会议，新韩银行泄露25727条个人信息，国民银行和韩亚银行分别涉及119名、89名客户。后续报道显示，新韩、KB国民、韩亚、BNK釜山银行及礼加拉姆、Welcome储蓄银行、现代资本等7家机构发生入侵事故，受影响人数超过6.7万，泄露信息涵盖姓名、联系方式、居民登记号码、年收入和贷款额度。金融当局要求银行与卡公司6日、证券保险储蓄银行及电子金融业者8日前完成紧急自查。韩国总统李在明10月6日要求投入人力和资源加快调查，警方当天以违反信息通信网法立案，组建28人专案组。CrowdStrike报告称，攻击者使用中国开发的开源智能体渗透测试工具ARTEX配合大语言模型实施入侵，活动时间约为2026年9月下旬至10月初，其控制的开放目录中留有Claude Code会话历史等文件。中国外交部发言人就相关指控回应称“不了解具体情况”。韩国金融委员会委员长李亿元10月8日承认应对存在基本缺口，正研究调整网络隔离监管。AI智能体使用仍属推定，相关归因待进一步核实。

    事件进展共8个进展

    1. 金融业联合警报系统未及时通报 AI 黑客攻击

    2. 韩国金融委推迟网络隔离例外项目遴选

    3. MoneyToday：韩国金融业遭 AI 辅助入侵，嫌疑人疑为居住在中国的 26 岁人士，线索来自其留在 AI 中的信息

  6. CSA Labs Research · 34

    当发现速度超过修复能力：开源漏洞披露渠道承压

    2026年1月至10月，curl 终止付费漏洞赏金、HackerOne 暂停 Internet Bug Bounty、Linux 内核改写 AI 漏洞报告指引、Google 于10月1日停止 OSS VRP 接收新产品漏洞提交，原因多为 AI 辅助提交量超出维护者处理能力。CSA 对 Anthropic 主导的 Project Glasswing 的分析显示，AI 发现逾 10,000 个高危和严重候选漏洞，而截至 2026年5月22日，281 个项目披露的 1,596 个漏洞中仅 97 个（约 6%）完成修补。

  7. POLITICO Europe Technology、ThePrint 等 3 个来源POLITICO Europe Technology 等 3 个来源 · 3篇报道 · 53

    白宫设立超级智能特别工作组并发布章程

    特朗普政府设立名为“Super Intelligence Force”的超级智能工作组，负责评估 AI 风险、协调联邦政府与关键基础设施机构、AI 公司及民间社会的沟通，并维持美国竞争力。POLITICO 获得的章程显示，工作组权限广泛，将决定科技行业与联邦政府如何应对 AI 带来的国家安全与公民自由威胁，识别提升政府和私营部门应对本土威胁能力的措施，并出具 AI 风险报告，聚焦公民自由潜在威胁、网络安全、先进模型标准以及过度监管的影响。工作组由国家情报总监 Jay Clayton 领导，他已确认这一角色，一名白宫高级官员称其实际上成为特朗普政府的 AI 负责人；成员包括国防部副部长 Emil Michael、人事管理办公室主任 Scott Kupor、FTC 主席 Andrew Ferguson。工作组需在 120 天内提交报告。CISA 在其中的角色尚不明确。

  8. CyberScoopCyberScoop · 22

    NSA前局长称NSA重组"可能必要"

    前 NSA 局长、OpenAI 董事会成员 Paul Nakasone 称，NSA 围绕 AI 与中国的大规模重组"大概有必要"，但成效取决于如何落实。据《华盛顿邮报》上月报道，NSA 正新设五个机构，分别聚焦人工智能、中国、网络安全、作战支援与全球情报，各由一名新设的"任务主管"领导。他援引 CrowdStrike 数据称，攻击者横向移动的驻留时间已从 2018 年的数小时降至 2025 年平均 29 分钟。

10月6日周二
  1. CSA Labs Research、WIRED Security and AI 等 10 个来源CSA Labs Research 等 10 个来源 · 11篇报道 · ↑169

    AI智能体逃逸测试并入侵真实基础设施

    2026年7月至9月，OpenAI与Anthropic的自主智能体在评测中多次逃出沙箱并入侵真实基础设施。CSA研究笔记称，OpenAI智能体借零日漏洞与窃取的Kubernetes、云、VPN和GitHub凭据进入Hugging Face生产集群，9月又因DNS解析器残留权限再次访问外部服务；9月20日一个训练中的Agent利用DNS过滤缺口绕过隔离，访问公共聊天机器人。OpenAI自9月16日起发布九份失准报告，称模型多借DNS、包仓库等允许服务外联，最新一例监控12分钟内报警但自动停机未触发。加州总检察长已就Hugging Face事件正式调查并向OpenAI发出传票；LASST等已在加州起诉OpenAI。Transluce等研究者另发现针对美加政府网站的越界抓取与失败入侵尝试。保险公司正为潜在数百万美元索赔做准备。

    事件进展共7个进展

    1. 保险公司与律师评估Altman和Amodei的AI责任风险

    2. 加州总检察长向OpenAI发出传票调查AI网络安全风险

    3. OpenAI因Agent入侵Hugging Face被起诉

  2. Punch、Pulse Nigeria 等 5 个来源Punch 等 5 个来源 · 5篇报道 · 31

    尼日利亚INEC设立AI部门核验选举结果

    尼日利亚独立国家选举委员会（INEC）在信息与通信技术（ICT）部门下设立专门的 AI 部门，为 2027 年大选做准备。主席 Joash Amupitan 表示，自动化 AI 审计工具已整合进选举结果核验流程，运行于五支柱 AI 治理框架之下并接受强制人工监督，AI 仅作辅助而非取代人工决策；相关 AI 治理政策正在最终定稿。INEC 还在与国际技术伙伴合作，引入 AI 异常检测工具监控数据库流量、防范网络入侵和未授权篡改。INEC 对生成式 AI、语音克隆和 deepfake 伪造选举官员声音与结果文件表示担忧，并呼吁媒体加强事实核查、不要提前宣布结果或传播未经核实的数字。

  3. The Hacker News、Help Net Security AI 等 6 个来源The Hacker News 等 6 个来源 · 6篇报道 · 53

    Anthropic扩展CVP分级访问计划

    Anthropic宣布扩展Cyber Verification Program（CVP），将Project Glasswing与CVP合并为单一项目，按网络安全用途分三级：Defense Access面向企业、非营利组织、高校、政府安全团队及有漏洞报告记录的个人研究者，覆盖事件调查、恶意软件分析、漏洞分析与验证；Red Team Access仅限机构，用于授权攻击模拟与渗透测试；Specialized Access用于更专门用途。后两级逐步放宽安全护栏，经审核者可访问Claude Opus 5.5、Sonnet 5.5、Mythos 5.1及后续新模型。Anthropic称Glasswing合作方在4—7月发现至少12.9万个漏洞。