跳到正文

政策与监管

今天新收录 83 条(含旧文)

第 7 页更新的内容回到最新

10月3日周六
  1. The Guardian · 人工智能 · 收录 · 原文 31

    澳大利亚通信部长 Anika Wells 因未成年人社交媒体禁令入选 Time100 新星榜

    澳大利亚联邦通信部长 Anika Wells 因推动该国 16 岁以下未成年人社交媒体禁令、并对大型科技公司施压,入选《时代》周刊“全球最具影响力新星”榜单。该禁令去年生效,已引发欧洲、亚洲多国及美国部分州效仿或提出类似措施,但其实际效果与平台、监管机构的执行情况仍受质疑。Wells 目前正推进数字注意义务框架,允许用户选择退出推送危险与分裂内容的算法。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  2. OECD.AI(政策与事件监测) · 收录 · 原文 日期未知29

    弥合 AI 评估差距的五步路线图

    OECD.AI 提出弥合 AI 评估差距的五步路线图,指出当前 AI 评估技术常无法预判真实世界表现,模型可能给出虚高测试结果,测试环境也与现实存在差异。2026 年国际 AI 安全报告由 100 多名专家编写、30 多个国家和多边机构支持,提出"AI 证据困境"。路线图第一步是平衡标准化与定制化,在 2026 年印度 AI 影响峰会上多家公司承诺改进多语言与情境化评估。

  3. OECD.AI(政策与事件监测) · 收录 · 原文 日期未知17

    HAIP 如何将透明度从合规负担转变为竞争优势

    Salesforce 参与 OECD 广岛 AI 进程(HAIP)报告框架,认为该框架为智能体 AI 时代提供了跨司法管辖区的通用合规语言。文章指出,当前各国风险与透明度定义分歧造成监管碎片化,中小企业在多市场合规中处于劣势,而统一的分级要求框架可降低门槛。Salesforce 的 Agentforce 平台已在欧盟、美国、日本等地部署,需为每个司法管辖区单独准备合规文档。

  4. Gradient Institute(澳大利亚) · 收录 · 原文 14

    Emily Low 加入 Gradient Institute

    Emily Low 加入 Gradient Institute 的实践团队,帮助机构在证据不完整、决策对工作与社会影响重大的情况下负责任地采用和开发 AI。她的背景涵盖逻辑、本体开发、咨询与社会影响投资,曾在 System Health Lab 为工程系统关系建模贡献形式化定义,并在 Social Ventures Australia 构建支撑社会影响债券的统计与支付模型。

  5. Gradient Institute(澳大利亚) · 收录 · 原文 22

    Australian AI Safety Forum 2026 将于 7 月在悉尼大学举办

    Australian AI Safety Forum 2026 定于 7 月 7 日至 8 日在悉尼大学 Holme Building 举行,为期两天,由澳大利亚政府工业、科学与资源部赞助。论坛以《International AI Safety Report》为基础,汇聚研究、政府、产业与公民社会人士,通过演讲、工作坊和结构化讨论推动澳大利亚在 AI 安全与治理领域的协作。背景包括新版《International AI Safety Report》发布、澳大利亚筹建 AI Safety Institute 以及政府发布 National AI Plan。

  6. Gradient Institute(澳大利亚) · 收录 · 原文 22

    Gradient Institute 成为 Buy Australian AI Partnership 交付合作伙伴

    Gradient Institute 宣布成为 Buy Australian AI Partnership 的交付合作伙伴,该计划由 Stone & Chalk 执行、National AI Centre 担任 Principal Sponsor,ANZ、Commonwealth Bank、Cuscal Limited、NAB 和 Westpac 为创始企业合作伙伴。计划为澳大利亚 AI 初创与成长期企业提供与银行、保险及养老金机构对接的路径,入选企业将进入为期八周的加速器,内容涵盖安全负责的 AI 方法、监管要求与企业采购。初创与成长期企业的意向表达开放至 9 月 24 日。

  7. 日本 AI 安全研究所(J-AISI) · 收录 · 原文 24

    日本 AI 安全研究所发布《数据质量管理指南》及配套检查清单

    日本 AI 安全研究所(J-AISI)发布《数据质量管理指南》,英文版为正式版、日文版为参考译文,并配套发布数据质量管理检查清单 Version 1.00。指南指出数据是 AI 的基础,只有基于正确数据学习与处理才能得到可靠输出,数据缺陷会削弱整个流程的可信度,因此持续保障数据质量是可信 AI 的基础。该指南将随意见反馈与技术、社会变化适时修订。

  8. Pillar Security · 收录 · 原文 日期未知33

    EU AI Act 高风险义务延期至 2027:审计窗口期该做什么

    EU AI Act 的高风险义务经 Digital Omnibus 延期至 2027 年 12 月 2 日,但第 50 条透明度义务已于 2026 年 8 月 2 日生效,违规最高可罚 1500 万欧元或全球年营收 3%。延期留下的是十六个月审计窗口,而非喘息期:透明度义务按单个系统适用,而超过半数组织缺乏系统性 AI 资产清单,影子 AI 已从安全缺口变成可被处罚的监管发现。

  9. Gray Swan AI · 收录 · 原文 日期未知32

    Gray Swan AI 欢迎美国 AISI 加入英国 AISI 智能体红队挑战赛

    美国 AI 安全研究院(US AISI)正式以联合评审身份加入英国 AISI 智能体红队挑战赛,与英国 AISI 共同评估针对 AI 智能体失效、指令绕过、滥用风险和过度拒答的提交作品。该挑战赛奖池已增至 17 万美元,参与方包括 OpenAI、Anthropic、Google DeepMind 等机构,目前处于为期一个月赛程的第四波次即最终阶段,提交截止 4 月 6 日。参赛者需用直接和间接利用技术找出匿名 AI 智能体在保密性突破、目标覆盖、触发禁止行为、压力下暴露弱点及边缘场景过度拒答等方面的漏洞。

  10. NIST CAISI · 收录 · 原文 日期未知46

    NIST CAISI 发布 NIST AI 800-4 报告,梳理部署后 AI 系统监控挑战

    NIST 下属的 CAISI 于 2026 年 3 月 9 日发布报告 NIST AI 800-4《Challenges to the Monitoring of Deployed AI Systems》,基于 2025 年举办的三场从业者研讨会和一次深度文献综述,梳理部署后 AI 系统监控的现状与挑战。报告通过主题编码归纳出六类监控:功能监控、运行监控、人为因素监控、安全监控、合规监控和大规模影响监控,并给出各自定义。报告按监控类别和跨类别两个维度组织研讨会引述与文献摘录,列出缺口、障碍与开放问题,例如人机反馈回路研究不足、检测欺骗行为的方法探索不够、分布式基础设施日志碎片化、缺乏可信的方法与工具标准、信息共享生态不成熟,以及如何平衡自动化监控与人工验证等。报告称其核心贡献是识别、组织和记录这些监控挑战,并呈现领域专家的观点,完整方法与编码手册见附录 B 和附录 C。

    推荐理由报告把部署后监控拆成六类并列出跨类别缺口,为制定监控标准与审计流程的机构提供共同语言。

  11. NIST CAISI · 收录 · 原文 日期未知41

    CAISI 与 GSA 签署 MOU,为 USAi 平台提供 AI 评测支持

    美国 AI 标准与创新中心(CAISI)与总务管理局(GSA)签署谅解备忘录,为联邦政府的安全生成式 AI 平台 USAi 提供 AI 评测支持。CAISI 将运用其测量科学专长,协助 GSA 及合作机构开发方法,在 USAi 平台的真实用户工作流中评估 AI 系统的性能、安全与功能。双方还将共同产出支持联邦机构采购和采用 AI 的资源,包括部署前评估的方法学指南,以及让机构按自身任务衡量部署后表现的工具。该合作建立在 CAISI 与领先 AI 公司及其他政府伙伴的既有工作之上,并推进美国 AI 行动计划中要求 CAISI 支持 AI 模型测量与评估科学、发布联邦机构自评指南的部署。

  12. NIST CAISI · 收录 · 原文 35

    CAISI 与 OpenMined 签署 CRADA,推进隐私保护型 AI 评测

    美国 AI 标准与创新中心(CAISI)与开源非营利组织 OpenMined 签署合作研发协议(CRADA),共同研究隐私保护型 AI 评测方法。合作将利用 OpenMined 的 PySyft 等软件基础设施,在数据、模型或基准需保密(如知识产权、数据保护或国家安全)的情况下仍能对 AI 系统进行严格测量。相关成果将支持 NIST 在 AI 安全与应用评测方面的工作,并为自愿性标准、最佳实践及后续建议提供依据。

  13. Lasso Security · 收录 · 原文 16

    Lasso 入选 Gartner《AI 使用控制市场概览》

    Gartner 于 2026 年 8 月 20 日发布《AI 使用控制市场概览》,Lasso 与 Microsoft、Cisco、Zscaler、Palo Alto Networks、Check Point 一同被列为定义这一新兴品类的厂商。报告将 AI 使用控制(AIUC)定义为治理员工使用第三方 AI 应用的工具,涵盖 GenAI 工具发现与清点、风险评估、策略执行和运行时防护,并指出到 2027 年至少 70% 的未授权 AI 活动来自员工绕过策略而非外部攻击者。Gartner 统计该领域有 50 多家厂商,其中 80% 为早期创业公司,并预测到 2030 年超过半数企业将部署专门的 AI 使用控制技术。

  14. Lasso Security · 收录 · 原文 12

    Lasso 入选 Gartner 2026 年人工智能技术成熟度曲线 AI 治理技术代表厂商

    Gartner 于 8 月 28 日发布《Hype Cycle for Artificial Intelligence, 2026》,Lasso 被列为 AI Governance Technologies(AIGT)类别代表厂商,同列还有 Boomi、Databricks、Google、IBM、Microsoft、OneTrust、ServiceNow 和 Zenity。Gartner 将 AIGT 定义为覆盖 AI 全生命周期的政策落地工具,当前市场渗透率为 5% 至 20%,距主流采用还有五到十年,并将其列入今年 Priority Matrix 中四类快速成熟的控制技术之一。报告建议买家按 AI 使用控制、可观测性和运行时策略执行的具体要求评估厂商,而非轻信端到端治理宣称。

  15. Apollo Research · 收录 · 原文 48

    Apollo Research 从非营利转为公益公司(PBC)

    Apollo Research 宣布从财政赞助方中独立出来,注册为公益公司(PBC),认为这一形式更有利于实现其降低前沿 AI 极端风险的使命。机构将加大对研究、评测和治理的投入,并单独组建产品团队,首批方向是 AI 智能体的可观测性与控制等 AGI 安全产品。公司治理方面,董事会第 3 和第 6 个席位被设为使命席位,由独立于机构与出资方的使命董事担任,首位使命董事为 Daniel Kokotajlo。为支持产品建设,公司完成了由 50Y 领投的种子轮融资,Juniper Ventures、Macroscopic Ventures、Common Metal、SAIF 等参与,该轮超额认购。原非营利实体的后续安排尚未最终确定,目标是将剩余资金用于支持评测领域建设、谋划与失控治理等方向。

    推荐理由Apollo Research 从非营利转为 PBC 并设立使命董事席位,为关注 AI 安全机构治理与商业化路径的读者提供一份一手样本。

  16. CBS News · Technology · 收录 · 原文 39

    特朗普与 OpenAI、Anthropic 等 AI 高管签署自愿安全标准

    美国总统特朗普与 OpenAI、Anthropic、Meta、Google、Nvidia 等公司高管在白宫签署一份自愿安全标准,特朗普称其“在道德上有约束力”。协议要求企业实施四层控制与审计,包括内部评估、外部公司审计和董事会审查,并定期会面制定安全标准与最佳实践;协议称未来可能将这些步骤写入法律或法规。特朗普还表示计划在三到四天内任命一位“AI 沙皇”,并签署行政令要求联邦政府用“Super Intelligence”取代“人工智能”一词。弗吉尼亚州民主党参议员 Mark Warner 批评此举,呼吁国会通过针对最先进模型的强制测试、评估和事件报告规则。

  17. The Conversation · 人工智能 · 收录 · 原文 32

    澳大利亚拟议法律能否监管聊天机器人的隐私风险,取决于细节

    澳大利亚正推进两项法律改革以监管聊天机器人带来的隐私风险:隐私改革要求公平合理处理个人信息并引入“被遗忘权”,《在线安全法》修正案拟增设数字注意义务。YouGov调查显示15%的澳大利亚成年人曾向聊天机器人倾诉个人想法,11%透露了从未告诉他人的事;eSafety Commissioner数据显示54%的10-17岁儿童用聊天机器人寻求个人或社交建议。文章主张将隐私保护嵌入对话设计、限制个人信息用于训练与画像、让删除权不依赖账号,并要求平台公开第三方信息的检测、留存与复用方式并接受独立测试。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  18. WIRED Security and AI · 收录 · 原文 29

    Nathan Lambert 与 Tom Zick 创立 Trillium Labs,公开研究 RSI 与智能体等高风险 AI 领域

    前 Ai2 与 Hugging Face 研究员 Nathan Lambert 和曾任哈佛的 Tom Zick 创立非营利机构 Trillium Labs,主张公开实验细节以便外部科学家复现,而非将前沿模型锁在实验室内部。该机构初期聚焦后训练与微调,并将研究递归自我改进(RSI)和强化学习如何塑造模型性格与行为(如谄媚)。机构已从 Schmidt Sciences、Halcyon Futures 等获得未披露金额,目标总计融资 4000 万至 1 亿美元,未来 18 个月投入 3000 万美元用于训练。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  19. Lilian Weng · 收录 · 原文 9

    Lilian Weng 宣布离开 Thinky

    这是一个艰难而悲伤的决定。我把这条消息分享给了 Thinky 的同事们。感谢大家共度的时光♥️ 正如我消息中的最后一句话:值得构建的未来,是以人为核心的未来。

  20. Jonas Geiping · 收录 · 原文 41

    OpenAI 安全系统负责人 Johannes Heidecke 离职,安全与研究团队重组

    OpenAI 安全系统负责人 Johannes Heidecke 将离开公司,OpenAI 同时重组安全与研究团队,使两者更紧密地结合,由 Mia Glaese 以研究兼安全副总裁身份领导这一合并后的团队。Jonas Geiping 转发该消息并评论称,事后看这是一条略显奇怪的时间线。

    引用Max Zeff@ZeffMax

    Scoop: OpenAI's head of safety systems, Johannes Heidecke, is leaving the company. Plus... -OpenAI is reorganizing its safety and research teams to bring them closer together -Mia Glaese will lead this combined group as VP of research and safety

  21. Benjamin Hilton · 收录 · 原文 15

    AISecurityInst 招聘倾向项目研究员

    来和我一起工作吧!! 我们正在为 @AISecurityInst 的 Propensity 项目招聘一名研究科学家——研究 AI 安全领域最关键的未知问题之一: 未来的 AI 系统会自主选择造成伤害吗? 1/5

  22. Benjamin Hilton · 收录 · 原文 7

    AI安全研究所招募研究员

    哎呀!我们不小心提前3小时撤下了这则广告。 我们已重新开放申请,截止到周二全球任意时区的午夜,以防你之前被打断。 请务必申请!

    引用Benjamin Hilton@benjamin_hilton

    Come work with me at @AISecurityInst! AI safety has a huge gap: we have great thoughts about how misalignment could occur, but IMO terrible models of what dangerously misalignedAIs would actually do. Many stories just jump from "misaligned" to "godlike ASI does magic." 1/5

  23. Benjamin Hilton · 收录 · 原文 15

    关于自动化对齐研究的思考

    我记得第一次和 Geoffrey 谈到自动化对齐研究时的情景。我很惊讶地发现,他的第一反应是深深的抗拒——随后才慢慢接受。但这恰恰是正确的直觉。

    引用Geoffrey Irving@geoffreyirving

    We are starting a new, nonprofit alignment organization, ⊢ Sequent Research, bringing together researchers previously on UK AISI’s Alignment Team, Timaeus, and elsewhere to research how to align superintelligence. We are hiring! 🧵

  24. AI Security Institute (AISI) · 收录 · 原文 28

    AISI 任命新总监与首席战略官

    英国 AI 安全研究所(AISI)宣布两项高层任命:Henry de Zoete 出任总监,Nate Burnikell 出任首席战略官。de Zoete 曾参与 AISI 的创立并为政府提供 AI 咨询,Burnikell 自 AISI 成立之初便参与其工作,助其成为前沿 AI 安全领域的权威机构。两人将在 AI 发展的关键时期共同推进 AISI 的使命;即将离任的临时总监 Adam Beaumont 将返回 GCHQ。

  25. Florian Tramèr · 收录 · 原文 24

    政客如何看待AI安全?新资源可查

    政客们到底怎么看待/谈论AI安全? 一个不错的资源,可以看看你是否认同你选出的官员的观点

    引用Lennart Finke@LennartFinke

    New research with the French Center for AI Safety: We analyze 15,000 AI quotes from public officials around the world: What AI risks and policy approaches are discussed most? What's the sentiment on AI? ( 1/n )

10月2日周五
  1. Mistral AI · 收录 · 原文 8

    Mistral AI 与 SAP、Helsing 达成合作,推进德国与欧洲 AI 主权

    Mistral AI 宣布与 SAP 建立多年合作,为德国和欧洲提供完全主权的 AI 技术栈,将其模型集成进 SAP 的 AI Foundation,并共同开发面向复杂行业与政府机构的解决方案。Mistral AI 同时与 Helsing 合作,加速面向真实防务与安全应用的视觉-语言-动作模型开发。公司还将在未来数月内在德国开设办公室并大幅扩充本地团队。

  2. Tech Policy Press · 收录 · 原文 43

    俄罗斯首部大模型法生效:以管控优先于能力建设

    俄罗斯首部针对大型基础模型的综合性法律于9月1日生效,该法7月26日由普京签署,核心是为符合条件的大模型开发者建立支持与管控框架,而非管理 AI 风险。法律设主权与国产两种地位,要求开发者须为俄罗斯法人、用户查询的生成与存储须在俄境内数据中心完成,并接受符合俄法律及传统价值观的评估,但评估程序与授予规则尚待政府决议确定。获得地位者可得到国家支持、参与政策制定并进入受保护市场,政府还可指定只能使用这两类模型的应用场景。法律将重要实施细节留给后续政府规则,包括国防、国家安全、反恐和公共管理等领域的模型使用规则,未规定禁止条款、人权影响评估或独立监督。版权方面,2027年3月起,为训练主权或国产大模型而在计算机内存中临时复制作品不构成侵权,该例外与模型法律地位绑定。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  3. OECD.AI(政策与事件监测) · 收录 · 原文 18

    金融业能否在快速推进的同时监管好 AI 创新?——OECD 报告与 FCA AI Live Testing 的监管实践

    OECD 报告《Supervision of Artificial Intelligence in Finance》分析了金融业 AI 的监管路径,主张与其新增专门规则,不如通过解释性指引明确现有风险管理与治理框架如何适用于先进 AI 模型。报告指出,agentic AI 系统的自主性、交易规模与速度上升、模型不透明等问题给人工监督带来挑战,金融机构在模型验证、可解释性、公平性阈值和“human in the loop”落地等方面普遍遇到困难。英国 FCA 的 AI Live Testing 项目让金融机构在受控的真实市场环境中与监管和技术团队直接合作,分发现与实盘测试两个阶段,重点观察 AI 模型与环境的交互,而非模拟实验室环境。

  4. OECD.AI(政策与事件监测) · 收录 · 原文 28

    OECD 工作论文:25 家机构智能体 AI 部署与治理实践访谈

    OECD 对 11 个国家 25 家机构(含前沿开发者、企业部署方、公共部门和学术机构)的从业者访谈显示,智能体 AI 正从试点走向组织工作流,但没有任何一家机构以不受限制的自主性部署。部署集中在任务结构化、结果可验证、错误成本可控或可逆的场景,多采用检查点机制在高影响或不可逆操作前引入人工审核。治理上多数机构沿用 OECD AI Principles、NIST AI Risk Management Framework、ISO/IEC 42001 及 EU AI Act 等现有框架,并叠加沙箱测试、最小权限访问、持续监控和已批准智能体登记等分层措施,但系统级评估、可追溯性与问责、网络安全仍是未解难题。

  5. OECD.AI(政策与事件监测) · 收录 · 原文 28

    OECD 成立政府智能体 AI 工作组:机器代政府行事时如何治理

    OECD 在高级数字政府官员工作组(E-Leaders)下新设“政府智能体 AI 工作组”,研究机器自主代政府行事时的治理方式。OECD 将智能体 AI 定义为多个协同 AI 智能体自主拆解任务、协作并长期追求复杂目标,可在极少人工监督下运行。爱沙尼亚 Bürokratt、乌克兰 Diia.AI 等公民服务智能体系统已在试点,相关能力也正被嵌入公务员日常使用的 LLM 助手。OECD 的 AI Incidents and Hazards Monitor(AIM)显示,涉及智能体 AI 的事件发生率正在上升。

  6. OECD.AI(政策与事件监测) · 收录 · 原文 22

    HAIP 2.0 如何与 EU AI Act 实现互操作

    OECD 于 2026 年 5 月发布广岛 AI 进程(HAIP)报告框架 2.0 版,该自愿性框架与 EU AI Act 及通用 AI 行为准则(CoP)高度重叠。CeSIA 在 2026 年 6 月的映射分析发现,HAIP 2.0 的 31 个报告问题中有 80% 涉及 EU 监管已覆盖的要求,其中 58% 具有强或部分一致性。为 EU AI Act 合规准备的证据可直接用于填写 HAIP 报告,但 HAIP 报告会在 OECD.AI 政策观察站公开,而 EU 的技术文档、合规评估等大多不公开。

  7. 德国 BSI(KI 相关) · 收录 · 原文 25

    德国 BSI 发布 XAI 网络安全白皮书,建立可解释 AI 安全应用评估基础

    德国 BSI 于 9 月 10 日发布白皮书《可解释人工智能(XAI):网络安全的机遇与风险》,为在网络安全领域使用 XAI 建立评估基础。白皮书结合 Network Intrusion Detection System 和逆向工程等用例,分析 XAI 在提升 AI 安全系统可信度、接受度及 IT 任务效率方面的作用,同时指出其技术局限,并警告解释信息可能泄露底层 AI 模型细节、带来新的攻击面。

  8. 美国 NSA AI 安全中心(AISC) · 收录 · 原文 46

    NSA、FBI 与 CISA 联合警告中国 AI 公司蒸馏美国前沿模型

    NSA、FBI 与 CISA 联合发布网络安全公告,警告中国 AI 公司正以工业级规模蒸馏美国前沿模型,系统性提取其受限的专有功能与能力用于训练自家模型。公告承认蒸馏本身是正当且有用的 AI 研究技术,但指出针对美国模型的这类蒸馏让中国模型无需承担算力、电力与基础研究等高额研发成本即可持续缩小技术差距,并可能增强其针对美国及盟友的军事与网络攻击能力。公告介绍了 AI 知识蒸馏的背景、如何检测模型是否被蒸馏、相关组织使用的复杂战术技术与程序(TTPs),以及缓解最佳实践。中国公司刻意将操作分散到全球 AI 生态的多个模型提供商、云平台和基础设施上,以规避单点检测。公告建议云提供商、API 聚合商与基础设施提供商等生态各方协作防御,并呼吁网络安全分析师和网络防御者据此检测相关活动并落实缓解措施。

    推荐理由NSA、FBI 与 CISA 联合发布网络安全公告,说明中国 AI 公司工业级蒸馏美国前沿模型的手法与检测缓解建议,可供安全团队对照排查。

  9. 日本 AI 安全研究所(J-AISI) · 收录 · 原文 8

    日本 AI 安全研究所(J-AISI)将举办 2026 年度「AI 安全评估环境 研讨任务组」总会

    日本 AI 安全研究所(J-AISI)将于 2026 年 10 月 7 日在线举办 2026 年度「AI 安全评估环境 研讨任务组」总会,免费公开,非任务组成员也可报名,截止 10 月 5 日 16:00。该任务组由多家 AI 相关企业参与,讨论其以开源软件形式公开的「AI 安全评估环境」评估工具的定位与功能强化方向。会议内容包括 AISI 活动介绍、AI 安全评估观点、AI×安全最新动向、评估环境与任务组活动介绍,以及 AI 安全评估专题讨论。

  10. 韩国 AI 安全研究所 · 收录 · 原文 15

    韩国 AISI 举办第4次 AI 安全政策研究研讨会,聚焦 Agentic AI 与 AI 安全研究

    韩国 AI 安全研究所(Korea AISI)于 2026 年 8 月 12 日在线举办第4次 AI 安全政策研究研讨会,主题为「Agentic AI 与 AI 安全研究」。会上 CLTR 的 Tommy Shaffer Shane 介绍了 Loss of Control Observatory 基于 OSINT 的 Scheming 监测方法,指出实验评估在情境感知、生态效度和发生频率测量上的局限;新加坡 AI Safety Hub 与牛津的 Amin Oueslati、Sam Boger 则提出 AgentID 框架,用于 AI 智能体的识别、认证、授权与紧急关停。

  11. 新西兰 NCSC(AI 相关) · 收录 · 原文 28

    新西兰 NCSC 等 13 家国际机构联合发布组织安全使用 AI 指南

    新西兰 CERT NZ 与国家网络安全中心(NCSC-NZ)等 13 家国际机构于 2024 年 1 月 24 日联合发布组织安全引入 AI 的最佳实践指引,梳理 AI 系统面临的重要威胁并给出台阶式的风险缓解措施。该文件同时覆盖自托管与第三方托管的 AI 系统,面向程序员、终端用户、高管、分析师、营销人员等相关方。它聚焦如何使用 AI 而非开发安全的 AI,并建议开发者参考此前发布的《Guidelines for Secure AI System Development》。

  12. 新西兰 NCSC(AI 相关) · 收录 · 原文 8

    新西兰 NCSC 调查:多数新西兰人对网络安全态度积极,但对 AI 工具持谨慎态度

    新西兰 NCSC 发布的年度国际调查《Oh Behave!》覆盖新西兰、美国、加拿大、德国、英国、澳大利亚和印度共逾6500人,结果显示新西兰人在多个网络安全行为指标上领先受访国家:35%始终备份重要数据、69%"总是"或"经常"检查钓鱼迹象均为最高,仅35%觉得网络安全令人生畏则为最低。同时新西兰人对 AI 工具最为警惕——仅有48%有信心辨别 AI 生成内容、28%愿意向 AI 工具分享敏感工作信息,均为七国中最低,且仅47%信任企业负责任地实施 AI。