Lauren Kahn 谈人工智能与自主性的负责任军事用途|GovAI Blog
GovAI 于 2023 年 4 月举办线上讨论,邀请美国外交关系委员会(Council on Foreign Relations)的 Lauren Kahn 主讲人工智能与自主武器的负责任军事使用问题,由 GovAI 国际治理论负责人 Robert Trager 主持。活动录像已在 GovAI 官网公开。
各国 AI 安全立法、监管执法与国际协议。
在这个话题内搜索或按分类筛选GovAI 于 2023 年 4 月举办线上讨论,邀请美国外交关系委员会(Council on Foreign Relations)的 Lauren Kahn 主讲人工智能与自主武器的负责任军事使用问题,由 GovAI 国际治理论负责人 Robert Trager 主持。活动录像已在 GovAI 官网公开。
随着计算机安全从保护数据转向保护生命与财产,数据认证与完整性将比保密更重要,基本不受监管的互联网也将终结,未来真正的选择是在明智与愚蠢的政府监管之间。Bruce Schneier 主张回顾以往系统安全的经验教训,并前瞻所需的技术、法律、监管、经济激励与社会规范,同时探讨 AI 如何助力网络安全以及网络安全领域的政府监管可为 AI 监管提供借鉴。Gillian Hadfield 则围绕治理方案发表反思。
GovAI 的经济学与 AI 负责人 Anton Korinek 发布了免费的《Economics of AI》在线公开课,由 Long-Term Future Fund 资助。课程共六个模块,涵盖 AI 对生产方式与技术变革、总体经济增长以及劳动力市场与劳动者的影响,并探讨如何引导 AI 发展造福人类及经济学对人类控制高智能算法的启示。首个模块面向具备社会科学背景的学习者开放,其余模块则针对研究生或高年级本科水平的经济学背景人群。
GovAI 公布 2022 年夏季奖学金项目的结项情况,该项目资助早期职业研究者开展为期三个月的 AI 治理研究课题并建立学术联系。本届研究员来自不同学科且经验各异,部分人开拓全新研究方向,也有人延续既有工作。GovAI 感谢导师们的指导,并表示未来奖学金的申请通道已在官网开放。
GovAI 公布了 2023 年冬季奖学金的结项情况,该项目资助早期职业研究者开展为期三个月的 AI 治理研究课题并建立学术联系。本届冬季研究员来自不同学科、经验水平各异,部分人借此开拓全新研究方向,也有人延续既有工作进行拓展。GovAI 同时感谢各位导师的指导,并表示未来奖学金申请通道可通过其官网了解。
GovAI 公布 2023 年夏季奖学金项目的结项情况,该项目资助青年研究者投入三个月从事 AI 治理研究工作。Fellows 来自不同学科、经验各异,部分人借此进入全新研究领域,也有人延续既有课题,并接受导师指导。
GovAI 公布 2024 年冬季奖学金项目的结项情况,该项目资助新兴研究者投入三个月从事 AI 治理研究工作。参与的研究员来自不同学科、背景各异,部分人借此开拓全新研究方向,也有人延续此前的工作。GovAI 同时感谢各位导师在本季度的指导,并开放未来奖学金的申请意向登记渠道。
GovAI 公布 2024 年夏季奖学金项目的结项情况,该项目资助早期职业人士及刚进入 AI 治理领域的从业者开展为期三个月的研究。本届研究员来自不同学科、背景各异,部分人开拓全新研究方向,另一部分则延续既有课题。GovAI 同时感谢各位导师的指导,并开放未来奖学金的申请意向登记渠道。
GovAI 公布 2025 年冬季奖学金项目的结项情况,本届研究员来自不同学科和专业背景,围绕各自的 AI 治理课题开展了三个月的研究。部分人借此进入全新研究方向,也有人延续既有工作进行拓展,项目方同时感谢导师团队的指导并开放未来奖学金的申请意向登记。
GovAI 发布了涵盖 2023 全年及 2024 年第一季度的年度报告,称过去一年是其团队产出最高的一年,也是 AI 治理迄今最具决定性意义的一年。报告记录了该机构的团队构成、项目和活动情况,并指出其近十年前就已意识到通用人工智能的重要性,目前比其他非营利组织更有条件推进这一使命。
GovAI 于 2018 年组建了一支由 5 名全职研究员构成的核心团队并建立研究附属网络,全年产出超过 10 项研究成果。成果涵盖《AI Governance: A Research Agenda》《The Malicious Use of AI》等报告、《When will AI exceed human performance?》等学术论文及若干手稿,其中恶意使用 AI 的报告获逾 50 家媒体报道。该组织计划继续扩张,新增 1.5 FTE 项目管理岗位,并表示希望吸纳更多人才进入 AI 治理领域。
GovAI 现已重组为非营利组织并正式重启,使命仍是建设全球研究社区,帮助人类应对先进 AI 带来的转型。其核心研究活动基本不变,但因新结构灵活性更高,将扩大领域建设类工作,未来一年内还将举办首届 AI 治理会议并设立学生研究奖。目前正招聘 Chief of Staff 与研究研究员,同时开放夏季奖学金申请。
GovAI 发布 2019 年度报告,总结其团队规模与研究产出。该组织现有 7 名核心研究员及 16 位研究附属人员与合作者网络,当年发表一份重要报告、九篇学术出版物、四篇评论文章以及首篇博士论文。研究工作涵盖美国公众对 AI 的态度、出口管制、AI 标准等多个议题,并获 Future of Life Institute、Ethics and Governance of AI Initiative 及 Open Philanthropy Project 资助。
斯坦福 CRFM 发布论文《In House Evaluation Is Not Enough》,呼吁 AI 开发者投资第三方独立研究者的缺陷调查需求,并建立新的研究者保护、报告与协调基础设施标准。论文由 34 位来自机器学习、法律、安全、社会科学和政策领域的作者共同完成,提出四项贡献:为研究者设计标准化的 AI Flaw Report、提供开发者可采用的法律条款以保护善意研究、设计开发者可实施的缺陷赏金机制,以及建议设立一个集中式机构来协调和分诊跨利益相关方的缺陷。文章指出,独立 AI 评测缺乏法律保护,发现缺陷后也没有负责任地分发发现的机制,导致许多缺陷未被上报,企业无法修复,或只告知一家 AI 开发者而忽略其他受影响公司。
AI Verify Foundation(新加坡)发布了面向组织的负责任 AI 成熟度自查资源,帮助不同阶段的组织定位自身位置并找到对应的指引文档与技术测试工具。该资源集合涵盖从入门级基础框架到进阶实践的内容,并提供一张流程图用于评估组织当前的负责任 AI 进展,以便选择合适的下一步行动。
OpenAI CEO Sam Altman 与布鲁金斯学会的 William G. Gale 在 GovAI 首场研讨会上讨论先进 AI 时代的共享繁荣问题,围绕 Altman 博文《Moore's Law for Everything》展开。Altman 表示若继续扩大大语言模型的规模未必能通向 AGI,他认为通往 AGI 不会是一次性的突变时刻,而是加速推进的过程,社会需要在过程中学习并提前解决系统对齐等问题。
新加坡与卢旺达在新加坡亚洲科技峰会上发布了全球首个小国人工智能行动手册,由新加坡 IMDA 与卢旺达 ICT 和创新部合作制定,并咨询了小国数字论坛成员。该手册针对资源资金不足、数据和人才获取困难等小国共性问题提出应对方案,并以持续更新的活文档形式汇集各国经验策略,配套提供 AI Verify 等实用测试工具。
GovAI 于 2020 年发布年度报告,团队现有 9 名研究人员及由 21 位附属成员与合作者组成的网络,并迎来访问高级研究员 Joslyn Barnhart 和 Robert Trager。该年度发表两份主要报告、15 篇学术出版物、一份 AI 治理教学大纲以及 5 篇评论或博客文章,涵盖合作型 AI、Windfall Clause、国家安全与反垄断、AI 与中国等议题。工作获 Open Philanthropy、Future of Life Institute 和欧洲研究理事会资助,Governance of AI Fellowship 预计 2021 年春开放申请。
IMDA 发布了《Testing LLM-based Applications for Safety and Reliability》入门套件,将业界与政府的新兴最佳实践整合为一套实用且自愿采用的指南,适用于各行业的 GenAI 应用。该套件提供分步指引,帮助企业识别风险、采用稳健的测试方法并评估其应用是否达到基线级安全与可靠性,覆盖五类常见风险:模型幻觉与不准确、决策偏见、不良内容、数据泄露以及易受对抗性提示词攻击。
AI Verify Foundation 举办了 AI Assurance Exchange 交流会,活动页面同时列出多场相关会议回顾,涵盖可信生成式 AI——PDPC 咨询指南对组织的意义、AI Assurance Exchange @ ISE 与 ATxSummit 2026、Standards in Action,以及 AI 生成代码的未来等议题。