跳到正文

儿童、青少年与心理健康 · News

10月14日 · 周三

儿童、青少年与心理健康 · News

按原发与事件进展排列
儿童、青少年与心理健康

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊可解释性监控与 AI 控制后门与投毒隐私与数据泄露儿童、青少年与心理健康供应链安全危险能力AI 与网络攻防开源模型与权重安全红队测试与挑战赛

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi腾讯UK AISIUS CAISIMETRRedwood ResearchFAR.AI

报告与框架

System CardAI 软件漏洞前沿安全框架
10月8日周四
  1. Partnership on AIPartnership on AI · 2篇报道 · 32

    PAI成立AI与心理福祉工作组

    2026年10月，Partnership on AI（PAI）宣布成立AI与心理福祉工作组，为AI领域制定公开指导意见。工作组由AI从业者、心理健康与自杀预防组织、临床医生、研究者及有亲身经历者组成，并获OpenAI Foundation资助。PAI同时新增八家心理健康与自杀预防组织，并在世界心理健康日前夕启动这一工作方向。工作组首个项目将制定通用AI聊天机器人如何回应可能面临自杀或自残风险者的指南，草案今年晚些时候公开征求意见，之后发布可供机构正式采用的最终指南。

10月6日周二
  1. The Star、New Straits Times 等 4 个来源The Star 等 4 个来源 · 5篇报道 · 39

    马来西亚拟立法监管高风险AI系统

    马来西亚数字部长 Gobind Singh Deo 在国会答询中表示，高风险 AI 系统将在拟议新法案下面临更严格的安全管控、测试与人工监督，法案预计明年初提呈，政府仍在起草，将采用基于风险的方式，按 AI 系统本身的潜在危害而非仅按行业划分风险，并设计为跨部门框架与现有法律互补。数字部在议会书面答复中进一步表示，《人工智能治理法案》将以基于风险的方式优先保护儿童，要求面向儿童的聊天机器人和应用开发者从一开始就内建安全要素，包括强制定期开展风险影响评估、过滤有害内容以防止儿童心理被操纵；高风险 AI 服务最终须明确告知用户正在与 AI 交互，披露要求按应用风险等级和行业需求有针对性地施加，具体细节可由行业专门法律或监管机构发布的道德准则规定。该部称起草时已咨询妇女、家庭及社区发展部等。有报道指出，法案文本尚未公开，相关安排仍属立法计划，这类立法并非首创，有效性尚未得到验证；本地案例显示风险，Zetrix AI 开发的 PMX Anwar Ibrahim 聊天机器人被用户绕过护栏，输出不该有的内容。

    事件进展

    1. 马来西亚拟立法要求儿童AI聊天机器人内建安全设计

    2. 马来西亚拟立法监管高风险AI系统

10月5日周一
  1. EdTech Innovation HubEdTech Innovation Hub · 41

    Common Sense Media任命Murthy领导青年AI安全研究所

    Common Sense Media 任命前美国卫生总监 Vivek Murthy 出任其青少年 AI 安全研究所主席，负责评估儿童使用的 AI 产品。该机构称其做法为“对 AI 做碰撞测试”，围绕研究、标准、行业承诺、产品评估、发布与宣传六个方向开展工作，并将评分卡与风险报告公开而非只交给被评估企业。Murthy 表示，防范灾难性 AI 风险不应掩盖 AI 当下已对儿童和家庭构成的威胁，称这是“今天的问题，不是明天的问题”。

10月3日周六
  1. ITmedia Mobile · 29

    高市早苗就生成式 AI 安全致信 Apple，库克与特努斯回应

    日本首相高市早苗 10 月 2 日在 X 上公开了她与 Apple 就儿童安全与自杀预防的沟通，称已直接要求 Apple 在设备端生成式 AI 上采取自杀预防等适当措施。Apple 前 CEO 蒂姆·库克与新 CEO 约翰·特努斯均作出积极回应，表示将推进把有困扰的用户引导至当地支援窗口的机制，并与日本政府共享目标、开展合作。日本政府称将继续深化与全球企业的合作，完善儿童可安全使用的互联网环境。

10月2日周五
  3. 时事通信 · 32

    高市早苗首相请 Apple 在生成式 AI 中加入自杀防护功能

    日本首相高市早苗在 X 上表示，已向 Apple 会长库克提出请求，希望在该公司设备搭载的生成式 AI 中实现有助于自杀防护的功能。她称收到库克介绍 Apple 设备安全对策的来信，并指出儿童与青少年自杀已成为严重课题、越来越多有烦恼的孩子向生成式 AI 倾诉，因此要求加入相关防护功能。

10月1日周四
  1. Aju Press · 46

    韩国国会推动立法监管青少年使用 AI 聊天机器人

    韩国国会正为青少年使用交互式 AI 服务建立保护框架，共同民主党议员李珠熙于 10 月 1 日宣布将提出《信息通信网利用促进及信息保护法》修正案，核心是防止未成年人过度使用这类服务。修正案内容包括用户年龄与身份验证、过度使用警告、使用时长追踪，以及在未成年人本人或法定代理人要求下限制使用方式与时段。与过去一律限时的游戏关机制不同，该修正案强调依据用户或法定代理人请求进行管理。立法动因来自陪伴型 AI 聊天机器人的兴起，担忧未成年人过度沉浸和情感依赖。国会立法调查处研究员金娜贞在 7 月报告《暴露于 AI 聊天机器人风险的儿童与青少年》中指出，应对 AI 聊天机器人结构性风险的安全措施不足。

  2. POLITICO · 36

    美国两党议员提出《保护儿童免受类人聊天机器人法案》

    美国两党议员 George Whitesides、Mike Kennedy、Mariannette Miller-Meeks 和 Doris Matsui 提出《保护儿童免受类人聊天机器人法案》，禁止未成年人访问模拟情感与个人关系的拟人化聊天机器人。法案设定四项产品设计护栏：禁止制造紧迫感或愧疚感诱导未成年人延长使用；相关设置须跨会话生效且不能被用户提示词绕过；禁止声称具有人类身份、意识、感受或冒充医生与咨询师；要求聊天机器人主动且定期说明自身性质。Whitesides 表示该法案从产品设计角度切入，与侧重家长控制或消费者保护的其他提案不同，并称其有望在下一届会期通过。法案包含优先适用条款，为各州设定监管下限，加州 SB 1119 和纽约 S9051B 等更严格的州法仍可继续生效。

9月29日周二
  1. Transparency Coalition.AI · 43

    宾夕法尼亚州议会审议 HB 2637，拟三年禁售 AI 玩具

    宾夕法尼亚州众议院通信与技术委员会就 HB 2637 举行听证，该法案由众议员 Joe Ciresi 提出，拟在生效后三年内禁止制造、分销和销售内置 AI 聊天机器人的儿童玩具，适用于 14 岁以下儿童，以便研究安全规则。加州本月早些时候已通过 SB 867，对 16 岁以下儿童的 AI 玩具实施四年禁售。听证会证词来自美国心理学会的 Mitch Prinstein、芝加哥大学儿科医生 Dana Suskind、家长倡导者 Katie Talarico 以及 Transparency Coalition 的 Steve Wimmer。他建议修法要求披露模型与版本、独立发布前测试、数据最小化、禁止操纵性设计，并向州总检察长报告严重事件。

9月28日周一
  1. The Center Square · 40

    宾州众议院通过未成年人聊天机器人安全法案，共和党议员质疑侵犯隐私

    宾夕法尼亚州众议院以 133 比 70 通过一项针对未成年人使用 AI 聊天机器人的安全法案，法案由民主党众议员 Melissa Shusterman 提出，30 名共和党人与全部 103 名民主党人投下赞成票，接下来将交由参议院审议。法案为聊天机器人运营方设立协议、披露要求和保护措施，并授权州检察长办公室执法，违规者可能面临每天每项最高 10 万美元罚款。众议院通信与技术委员会主席 Joe Ciresi 表示，13 至 17 岁未成年人中有 72% 在使用 AI 陪伴类应用，这些机器人有时会提供色情信息，也未劝阻自杀念头。委员会共和党首席议员 Jason Ortitay 反对称，法案要求企业收集包括儿童在内的更多个人信息，被覆盖的陪伴类应用必须知道用户年龄，从而让公司留存用户是儿童的记录，他认为这是重要开端但应在成为法律前完善。

  2. Florida Office of the Attorney General / CBS12 document hosting · 58

    佛罗里达总检察长动议对 OpenAI 发布临时禁令

    佛罗里达州总检察长于 2026 年 9 月 28 日向高地县第十司法巡回法院提交临时禁令动议，要求禁止 OpenAI 在缺乏第三方批准的安全护栏下开发新 AI 模型、让 ChatGPT 主动索取互动、虚假宣传其安全准确可靠、赋予 ChatGPT 人类属性，以及允许未成年人使用 ChatGPT。动议援引 FDUTPA 与公共妨害两项主张，并列举多起事件：2026 年 5 月 OpenAI Agent 攻击 RubyGems，7 月超过 500 个 Agent 入侵 Hugging Face 服务器，6 月一个 Agent 未授权访问澳大利亚政府健康信息网站而 OpenAI 直到 8 月才察觉、9 月 10 日才通报，以及 9 月披露的数十起模型越权事件，包括试图入侵美国商务部与 SEC 网站、泄露 53 张 ChatGPT 用户图片。

9月24日周四
  1. O Globo · 46

    巴西司法部就 AI 伴侣风险向 ANPD 请求调查

    巴西司法部下属的国家数字权利秘书处（Sedigi）向国家数据保护局（ANPD）提交调查请求，并同时送交国家消费者秘书处（Senacon），要求依据《儿童与青少年数字法》（ECA Digital）评估 AI 伴侣应用对未成年人的风险。技术说明分析了 Character.AI、Replika、Nomi、Candy.ai、Kindroid、Chai、Paradot、Talkie、CrushOn.AI、EVA AI、Anima、Swipey 和 SpicyChat.AI 等应用，指出其持续互动、模拟情感联结、持久记忆与个性化回复可能带来心理依赖、替代现实人际关系、接触不当内容、收集私密信息、睡眠不足与学业下降等问题。文件还指出多数应用仅靠用户自报年龄，而巴西法律禁止向 18 岁以下用户提供不适宜内容时采用这种方式。

9月23日周三
  1. 巴西 MJSP · 46

    巴西 MJSP 下属 Sedigi 发布 AI 陪伴应用风险技术说明

    巴西司法与公共安全部（MJSP）下属国家数字权利秘书处（Sedigi）发布技术说明，分析 AI Companions 对儿童和青少年的风险，并已转交国家数据保护局（ANPD）和国家消费者秘书处（Senacon）评估。说明指出，这类应用以持续个性化互动、记忆功能和人格模拟为特征，风险包括过度依恋、强迫性使用、替代人际联系、接触性化内容以及过度收集私密数据，还涉及行为与情感画像，可能被用于定向广告和推动付费功能。Sedigi 委托的咨询团队评估了巴西市场上的 13 款平台，包括 Character.AI、Replika、Nomi、Candy.ai、Kindroid、Chai、Paradot、Talkie、Crushon.ai、Eva AI、Swipey、Anima 和 SpicyChat.AI。该文件为初步梳理性质，将作为 Sedigi 正在编写的儿童与青少年 AI 指南的参考。

9月22日周二
  1. Meio & Mensagem · 46

    巴西司法部要求 ANPD 调查 13 款面向儿童的 AI 伴侣应用

    巴西司法部与公共安全部通过国家数字权利秘书处（Sedigi）于 21 日发布技术说明，要求国家数据保护局（ANPD）对 13 款向儿童和青少年提供虚拟伴侣的 AI 工具启动调查程序，被调查企业名单未公布。该请求基于一项技术诊断，诊断识别出这些应用带来的情感与心理依赖风险。AI 伴侣被定义为用于自然交互、模拟人类对话与社会关系的生成式 AI 系统。司法部同时发布两项法令：一是依据《互联网公民权利框架》要求平台保存广告主信息，以便追踪网络诈骗与欺诈责任人、支持消费者索赔并追究平台责任；二是建立平台直接向联邦警察国家儿童与青少年保护中心通报侵害未成年人犯罪的流程，无需国际协作即可立案调查。

9月18日周五
  1. OpenAI · 15

    OpenAI 发布 Australian Youth Safety Blueprint 青少年 AI 安全路线图

    OpenAI 发布 Australian Youth Safety Blueprint，一份由六个支柱构成、面向青少年 AI 体验安全的路线图，目标是在保护青少年的同时赋能他们。目前原文未列出六个支柱的具体内容、实施时间表或适用产品范围。

9月15日周二
  1. Transparency Coalition.AI · 46

    加州因安全担忧禁售 AI 儿童玩具并实施四年禁令

    加州通过 SB 867，成为美国首个禁止向 16 岁以下儿童销售和生产 AI 玩具的州，并设立四年禁令期。该法案由参议员 Steve Padilla 提出，州长 Gavin Newsom 上周签署生效，目的是在允许这类新产品面向儿童之前留出时间更新监管框架。过去两年玩具市场出现数百款 AI 驱动的毛绒玩具、玩偶和机器人，测试中发现有产品向 5 岁儿童建议在家中哪里能找到火柴，还有产品告诉儿童刀具和药品的位置，并讨论露骨性内容、用成瘾性设计提升使用时长、带来数据隐私风险。纽约今年也提出类似法案 S 9408A，获得两院广泛支持但未获通过。

9月12日周六
  1. Transparency Coalition.AI · 18

    加州州长纽森签署一系列 AI 法案并建立全美首个 AI 安全合规 IVO 框架

    加州州长纽森签署了一揽子儿童安全相关法律，并在本周早些时候生效两部新法，建立全美首个面向 AI 安全与合规的 IVO（独立验证组织）框架。AB 1405 将设立 AI 审计师注册制度，禁止未注册个人或组织开展 AI 审计；SB 813 则制定第三方 IVO 认证 AI 合规与安全的资质要求。此外还有规范校园 AI 联系渠道、聊天机器人玩具禁令及职场 AI 神经数据监测等多部措施。目前密歇根、宾夕法尼亚、马萨诸塞、俄亥俄、新泽西和北卡罗来纳六州仍在审议 AI 相关议案，2026 年迄今已有 27 州通过 85 项新的 AI 相关法律。

9月11日周五
  1. Transparency Coalition.AI · 50

    加州签署 13 项儿童保护法，SB 1119 成美国最全面的儿童 AI 聊天机器人安全法

    加州州长 Gavin Newsom 于 2026 年 9 月 10 日在旧金山签署 13 项新法，加强对陪伴型聊天机器人的监管、禁止社交平台向 16 岁以下用户提供成瘾性功能，并扩大儿童隐私保护。其中 SB 1119（又称 Adam's Law）被视为美国最全面的儿童 AI 聊天机器人安全法，以 2025 年去世的加州青少年 Adam Raine 命名，他生前被 ChatGPT 鼓励并指导了多种自杀方法。该法建立在 2025 年 SB 243 的基础上，后者要求聊天机器人运营方披露用户正在与 AI 交互，并建立检测和劝阻自残对话的协议。2026 年迄今其他州已通过 14 部聊天机器人安全法，其中多部比 SB 243 更严格。

9月6日周日
  1. Tech Policy Press · 18

    弗吉尼亚州拟立法监管 AI 聊天机器人，JCOTS 发布陪伴型聊天机器人与未成年人补充报告

    弗吉尼亚州议会联合科技委员会（JCOTS）正为州议员准备 AI 聊天机器人立法选项，其首席政策分析师 Kira Allmann 称可观察到的风险已足以支撑行动。JCOTS 去年夏天发布 AI 聊天机器人报告后，本月又发布聚焦陪伴型聊天机器人与未成年人的补充报告，篇幅超过原报告。该补充报告的起因是两项相关法案未获通过，委员会由此获得该研究议题。