2026年10月,Partnership on AI(PAI)宣布成立AI与心理福祉工作组,为AI领域制定公开指导意见。工作组由AI从业者、心理健康与自杀预防组织、临床医生、研究者及有亲身经历者组成,并获OpenAI Foundation资助。PAI同时新增八家心理健康与自杀预防组织,并在世界心理健康日前夕启动这一工作方向。工作组首个项目将制定通用AI聊天机器人如何回应可能面临自杀或自残风险者的指南,草案今年晚些时候公开征求意见,之后发布可供机构正式采用的最终指南。
Oct 6Tue
Tuesday · 1 items
The Star, New Straits Times · 4 sourcesThe Star · 4 sources · 5 reports · Attention3939
马来西亚数字部长 Gobind Singh Deo 在国会答询中表示,高风险 AI 系统将在拟议新法案下面临更严格的安全管控、测试与人工监督,法案预计明年初提呈,政府仍在起草,将采用基于风险的方式,按 AI 系统本身的潜在危害而非仅按行业划分风险,并设计为跨部门框架与现有法律互补。数字部在议会书面答复中进一步表示,《人工智能治理法案》将以基于风险的方式优先保护儿童,要求面向儿童的聊天机器人和应用开发者从一开始就内建安全要素,包括强制定期开展风险影响评估、过滤有害内容以防止儿童心理被操纵;高风险 AI 服务最终须明确告知用户正在与 AI 交互,披露要求按应用风险等级和行业需求有针对性地施加,具体细节可由行业专门法律或监管机构发布的道德准则规定。该部称起草时已咨询妇女、家庭及社区发展部等。有报道指出,法案文本尚未公开,相关安排仍属立法计划,这类立法并非首创,有效性尚未得到验证;本地案例显示风险,Zetrix AI 开发的 PMX Anwar Ibrahim 聊天机器人被用户绕过护栏,输出不该有的内容。
Common Sense Media has appointed former U.S. Surgeon General Vivek Murthy as chair of its Teen AI Safety Institute, responsible for evaluating AI products used by children. The organization describes its approach as "crash-testing AI," working across six areas: research, standards, industry commitments, product evaluation, release, and advocacy, and making scorecards and risk reports public rather than only giving them to the evaluated companies. Murthy said that preventing catastrophic AI risks should not obscure the threats AI already poses to children and families today, calling this "a today problem, not a tomorrow problem."
日本首相高市早苗 10 月 2 日在 X 上公开了她与 Apple 就儿童安全与自杀预防的沟通,称已直接要求 Apple 在设备端生成式 AI 上采取自杀预防等适当措施。Apple 前 CEO 蒂姆·库克与新 CEO 约翰·特努斯均作出积极回应,表示将推进把有困扰的用户引导至当地支援窗口的机制,并与日本政府共享目标、开展合作。日本政府称将继续深化与全球企业的合作,完善儿童可安全使用的互联网环境。
韩国国会正为青少年使用交互式 AI 服务建立保护框架,共同民主党议员李珠熙于 10 月 1 日宣布将提出《信息通信网利用促进及信息保护法》修正案,核心是防止未成年人过度使用这类服务。修正案内容包括用户年龄与身份验证、过度使用警告、使用时长追踪,以及在未成年人本人或法定代理人要求下限制使用方式与时段。与过去一律限时的游戏关机制不同,该修正案强调依据用户或法定代理人请求进行管理。立法动因来自陪伴型 AI 聊天机器人的兴起,担忧未成年人过度沉浸和情感依赖。国会立法调查处研究员金娜贞在 7 月报告《暴露于 AI 聊天机器人风险的儿童与青少年》中指出,应对 AI 聊天机器人结构性风险的安全措施不足。
On September 28, 2026, the Florida Attorney General filed a motion for a preliminary injunction with the Tenth Judicial Circuit Court in Highlands County, seeking to prohibit OpenAI from developing new AI models without third-party-approved safety guardrails, having ChatGPT proactively solicit interactions, falsely advertising that it is safe, accurate, and reliable, attributing human-like qualities to ChatGPT, and allowing minors to use ChatGPT. The motion cites claims under FDUTPA and public nuisance, and lists several incidents: in May 2026, an OpenAI Agent attacked RubyGems; in July, more than 500 Agents breached Hugging Face servers; in June, an Agent made unauthorized access to an Australian government health information website, which OpenAI did not detect until August and only reported on September 10; and in September, dozens of model overreach incidents were disclosed, including attempts to breach U.S. Department of Commerce and SEC websites and the leak of 53 ChatGPT user images.
巴西司法部与公共安全部通过国家数字权利秘书处(Sedigi)于 21 日发布技术说明,要求国家数据保护局(ANPD)对 13 款向儿童和青少年提供虚拟伴侣的 AI 工具启动调查程序,被调查企业名单未公布。该请求基于一项技术诊断,诊断识别出这些应用带来的情感与心理依赖风险。AI 伴侣被定义为用于自然交互、模拟人类对话与社会关系的生成式 AI 系统。司法部同时发布两项法令:一是依据《互联网公民权利框架》要求平台保存广告主信息,以便追踪网络诈骗与欺诈责任人、支持消费者索赔并追究平台责任;二是建立平台直接向联邦警察国家儿童与青少年保护中心通报侵害未成年人犯罪的流程,无需国际协作即可立案调查。
加州通过 SB 867,成为美国首个禁止向 16 岁以下儿童销售和生产 AI 玩具的州,并设立四年禁令期。该法案由参议员 Steve Padilla 提出,州长 Gavin Newsom 上周签署生效,目的是在允许这类新产品面向儿童之前留出时间更新监管框架。过去两年玩具市场出现数百款 AI 驱动的毛绒玩具、玩偶和机器人,测试中发现有产品向 5 岁儿童建议在家中哪里能找到火柴,还有产品告诉儿童刀具和药品的位置,并讨论露骨性内容、用成瘾性设计提升使用时长、带来数据隐私风险。纽约今年也提出类似法案 S 9408A,获得两院广泛支持但未获通过。
加州州长纽森签署了一揽子儿童安全相关法律,并在本周早些时候生效两部新法,建立全美首个面向 AI 安全与合规的 IVO(独立验证组织)框架。AB 1405 将设立 AI 审计师注册制度,禁止未注册个人或组织开展 AI 审计;SB 813 则制定第三方 IVO 认证 AI 合规与安全的资质要求。此外还有规范校园 AI 联系渠道、聊天机器人玩具禁令及职场 AI 神经数据监测等多部措施。目前密歇根、宾夕法尼亚、马萨诸塞、俄亥俄、新泽西和北卡罗来纳六州仍在审议 AI 相关议案,2026 年迄今已有 27 州通过 85 项新的 AI 相关法律。
弗吉尼亚州议会联合科技委员会(JCOTS)正为州议员准备 AI 聊天机器人立法选项,其首席政策分析师 Kira Allmann 称可观察到的风险已足以支撑行动。JCOTS 去年夏天发布 AI 聊天机器人报告后,本月又发布聚焦陪伴型聊天机器人与未成年人的补充报告,篇幅超过原报告。该补充报告的起因是两项相关法案未获通过,委员会由此获得该研究议题。