欧盟委员会于9月17日提出 EU KIDS Act 提案,将监管对象从 AI 的有害输出扩展到互动设计本身。针对面向未成年人的 AI 伴侣和一般对话式聊天机器人,第 14 条要求供应商避免采用可能造成情感依赖、模拟人际关系的设计功能和系统行为,默认不得复用未成年人此前互动中的信息,除非出于安全需要;部署前须评估风险,上线后持续监测,微型和小型企业可免于事后监测义务。报道指出执行难点在于如何界定参与何时变成依赖、共情式回应是否构成关系。
The Verge AI、TechCrunch AI 等 6 个来源The Verge AI 等 6 个来源 · 6 篇报道 · 24 小时新增 9 个来源关注度67↑967
9 月 23 日纽约联合国大会高级别周期间,尼日利亚、奥地利、比利时、巴西、墨西哥、菲律宾等国政府与联合国人权办公室、红十字国际委员会、The Elders 及 Future of Life Institute 在尼日利亚之家共同举办论坛,呼吁立即就自主武器系统启动条约谈判。奥地利外长 Beate Meinl-Reisinger 表示,各国已就未来文书的要素达成一致,11 月的 CCW 审议会议必须决定启动谈判。尼日利亚国防部长 Christopher Musa 指出,这类技术已经存在且越来越易获取,影响将超出少数技术先进国家,需要共同理解和有效规则以保留有意义的人类控制。联合国负责裁军事务的副秘书长 Izumi Nakamitsu 称近期通过的报告是起点而非上限,生死决定不能交给机器。
美国民主党众议员 Ro Khanna 计划提出《人类对 AI 的控制法案》,在联邦政府确立安全标准并由专门机构批准前,禁止 AI 进行递归自我改进或自行修改核心目标、隔离机制与终止协议。法案将设立新的联邦机构,对 OpenAI、Anthropic、Google DeepMind、xAI 等公司的前沿模型实施训练与部署许可制度、开展审计并制定安全规范,还将在各前沿 AI 实验室派驻独立审计员直接向政府汇报。安全标准包括气隙测试环境、沙箱和紧急关停的 kill switch,监管范围延伸至开发所用的高性能半导体,并强化企业及员工的法律责任,故意关闭安全机制或部署未授权 AI 的员工将承担刑事责任,企业发布模型须购买大规模责任保险。法案同时推动国际协议与针对性出口管制,以约束中国等竞争对手的高风险 AI 开发。由于众议院在 11 月中期选举前不太可能投票,实际立法可能还需时日。
美国加州民主党众议员 Ro Khanna 提出《人类控制 AI 法案》,拟在联邦政府建立安全护栏,并由指定机构批准前,禁止具备递归自我改进能力或可自主修改自身核心目标的 AI 模型。法案将设立一个新的联邦机构,对 OpenAI、Anthropic、Google DeepMind、xAI 等前沿 AI 开发者行使监管权,职责包括模型训练与部署的许可制度、前沿 AI 系统审计,以及维持持续测试与人类监督的安全要求。法案还要求每家前沿实验室配备相关人员。
韩国科学技术信息通信部下属 AI 安全研究所对自主体 AI Agent 开展提示注入攻击评测,各模型平均防御率为 53.3% 至 93.9%,提交给国会的材料写明目前未确认有能完全阻断此类攻击的 LLM;在向 AI 内部存储信息植入恶意指令的攻击中,所有受测模型均出现防御失败,实验中成功窃取认证密钥、配置信息、系统设置和个人信息。韩国金融保安院随后制定并公布《金融领域 AI 智能体安全评估标准》,将 AI 智能体的执行层纳入金融 AI 红队评测范围,标准分为数据投毒、模型投毒、数据与模型提取、规避攻击、AI 智能体安全 5 个领域共 17 个检查项,其中 10 项针对 AI 智能体引入后新增的威胁,重点包括执行权限与隔离管理、外部工具调用与审批流程、可执行任务范围与结果核验、自主执行限制与紧急中止能力;金融保安院表示已分析国内外主要 AI 智能体安全威胁及应对方案并据此提炼检查项,并将把这些内容纳入 AI 红队测试基准,计划今年年底前在金融行业开展试点。