欧盟委员会欧盟委员会 · 欧盟委员会召开前沿AI安全科学小组特别会议
欧盟委员会召开人工智能科学专家组特别会议，专家组就前沿AI安全与安全风险向委员会提出建议。该专家组由60名独立专家组成，为欧盟AI Office和各成员国主管部门提供系统性风险、模型分类、评估方法及跨境市场监督方面的咨询。专家组近期在调查多起失控事件，并与AI Office共同拟定了一套面向涉事模型开发企业的问题。负责技术主权、安全与民主的执行副主席Henna Virkkunen出席会议。
政策与监管 · 精选
政策与监管 · 精选
- 欧盟委员会欧盟委员会 ·
Tech Policy PressTech Policy Press · 欧盟委员会提出《欧盟儿童法案》监管AI伴侣
欧盟委员会于9月17日提出 EU KIDS Act 提案，将监管对象从 AI 的有害输出扩展到互动设计本身。针对面向未成年人的 AI 伴侣和一般对话式聊天机器人，第 14 条要求供应商避免采用可能造成情感依赖、模拟人际关系的设计功能和系统行为，默认不得复用未成年人此前互动中的信息，除非出于安全需要；部署前须评估风险，上线后持续监测，微型和小型企业可免于事后监测义务。报道指出执行难点在于如何界定参与何时变成依赖、共情式回应是否构成关系。
The Verge AI、TechCrunch AI 等 6 个来源The Verge AI 等 6 个来源 · 6 篇报道 · Anthropic 更新使用政策，禁止辱骂 Claude
Anthropic 一年多来首次更新使用政策，新增禁止对 Claude 实施“持续且无必要的虐待或残忍行为”的条款，违规者可能被警告、限流、限制、暂停或终止访问，终止对话是主要执行方式。该条款仅适用于用户反复无明确目的地虐待模型的极端情形，不涉及常见的用户不满、反驳、黑暗创作主题或模型测试与研究。此前自 8 月更新起，Claude 已被训练在遭遇持续有害或辱骂性互动时结束对话，新政策则直接禁止用户发起这类对话。政策同时把原先分散的限制整合为对欺骗性商业或政治宣传的禁令，禁止虚假账号、伪造新闻站点及影响行动工具与基础设施，选举章节更名为“不得破坏民主进程”，聚焦欺骗选民与干扰选举，并取消对个性化投票和竞选定向的全面禁令；武器禁令扩展到软件和无人机武器化，并更明确禁止未经同意的监控。
BerlingskeBerlingske · 丹麦拟立法禁止未经同意分享AI深度伪造
丹麦文化部长 Zenia Stampe（激进自由党）提出法案，要求未经本人同意不得分享逼真模仿他人外貌与声音的 AI 数字仿制品，即深度伪造。法案核心目标之一是让社交媒体等平台快速删除非法的数字仿制品，是否属于 satire 将由法院裁定。Stampe 表示 satire 仍应被允许，但承认划清界限会很困难，她本人也经历过自己发布的照片被改成看似她在说话的 video。
QuartzQuartz ·
Ro Khanna 提出禁止自改进 AI 法案
美国加州民主党众议员 Ro Khanna 提出《人类控制 AI 法案》，拟在联邦政府建立安全护栏，并由指定机构批准前，禁止具备递归自我改进能力或可自主修改自身核心目标的 AI 模型。法案将设立一个新的联邦机构，对 OpenAI、Anthropic、Google DeepMind、xAI 等前沿 AI 开发者行使监管权，职责包括模型训练与部署的许可制度、前沿 AI 系统审计，以及维持持续测试与人类监督的安全要求。法案还要求每家前沿实验室配备相关人员。
CNA、Monetary Authority of Singapore 等 3 个来源CNA 等 3 个来源 · 5 篇报道 · 新加坡MAS发布金融业AI风险管理指引
新加坡金融管理局（MAS）发布《人工智能风险管理指引》，对金融机构使用AI提出监管预期，适用于所有金融机构和各类AI技术，并允许机构按自身AI使用规模与风险状况调整落实方式。指引要求董事会与高管层对AI风险实施有效监督并明确问责，在AI全生命周期内识别、评估和管理风险并采取相称控制措施，涵盖数据治理、测试、人工监督、网络安全、监控和变更管理；对第三方开发、运营或提供的AI，金融机构仍须承担风险管理责任并取得充分保证，若风险超出自身风险偏好，应考虑限制、暂停或更换该服务。指引于2027年10月7日生效。MAS还就2025年11月发布的咨询文件发布反馈回应，明确AI指通过数据或输入习得前提生成输出的机器系统或模型，涵盖机器学习、深度学习、自然语言处理、计算机视觉、生成式AI（含大语言模型）与AI智能体，仅基于预设规则的计算器、RPA和蒙特卡洛模拟等不在范围内；MAS表示2027年将就智能体AI发布补充指引。
Financial News Korea、DailySecu 等 4 个来源Financial News Korea 等 4 个来源 · 4 篇报道 · 韩国推进AI智能体安全评测标准
韩国科学技术信息通信部下属 AI 安全研究所对自主体 AI Agent 开展提示注入攻击评测，各模型平均防御率为 53.3% 至 93.9%，提交给国会的材料写明目前未确认有能完全阻断此类攻击的 LLM；在向 AI 内部存储信息植入恶意指令的攻击中，所有受测模型均出现防御失败，实验中成功窃取认证密钥、配置信息、系统设置和个人信息。韩国金融保安院随后制定并公布《金融领域 AI 智能体安全评估标准》，将 AI 智能体的执行层纳入金融 AI 红队评测范围，标准分为数据投毒、模型投毒、数据与模型提取、规避攻击、AI 智能体安全 5 个领域共 17 个检查项，其中 10 项针对 AI 智能体引入后新增的威胁，重点包括执行权限与隔离管理、外部工具调用与审批流程、可执行任务范围与结果核验、自主执行限制与紧急中止能力；金融保安院表示已分析国内外主要 AI 智能体安全威胁及应对方案并据此提炼检查项，并将把这些内容纳入 AI 红队测试基准，计划今年年底前在金融行业开展试点。
事件进展
Meta Transparency Center、The Herald 等 3 个来源Meta Transparency Center 等 3 个来源 · 3 篇报道 · Meta监督委员会裁决AI伪造英国政客视频案
Meta 独立监督委员会 9 月 17 日裁定，Meta 对 AI 深度伪造的规则“持续且根本性地不足”，推翻 Meta 原判，要求删除两段 AI 生成视频。第一起涉及苏格兰工党地方议员 Dorothy McHugh，视频发布于 2025 年 11 月，伪造其发表针对难民的不当言论，音频与面部动作不同步，与一张多名女性合影同处一个相册，合计观看超 5000 次；两人举报后 Meta 系统未转人工审核、两次申诉均失败。委员会多数认定该视频违反仇恨行为规则，本应加注“High Risk AI”标签。Meta 表示将在 7 天内执行。McHugh 称，下架理由是视频包含针对难民的仇恨言论，而非有人伪造了她的影像和言论，因此并未解决其关切。