Skip to content

Translation in progress Some entries still include text in the original language.

Children, teens and mental health · News

Oct 14 · Wednesday

Children, teens and mental health · News

Latest publications and developments
Children, teens and mental health

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingInterpretabilityMonitoring and AI controlBackdoors and poisoning隐私与数据泄露Children, teens and mental healthSupply-chain securityDangerous capabilitiesAI 与网络攻防Open models and weight securityRed teaming and challenges

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi腾讯UK AISIUS CAISIMETRRedwood ResearchFAR.AI

Reports and frameworks

System CardAI software vulnerabilitiesFrontier safety frameworks
TodayOct 14Wed
  1. The Verge AI, TechCrunch AI · 6 sourcesThe Verge AI · 6 sources · 6 reports · ↑879

    Character.AI filed for bankruptcy protection; Disney plans to acquire some assets for $20 million

    On October 13, 2026, the interactive chatbot platform Character.AI filed for Chapter 11 bankruptcy protection in the U.S. Bankruptcy Court for the District of Delaware to facilitate the sale of the company and its assets. Court filings show the company's assets and liabilities are each between $50 million and $100 million. Disney has agreed to act as a stalking horse bidder, acquiring certain undisclosed assets for $20 million and obtaining a non-exclusive perpetual intellectual property license, while providing transition support through former employees it has hired. CEO Colin Adams said the financial difficulties stem from significant legal, regulatory, and operational headwinds, and the sale process is expected to complete by late November or early December, but no buyer has bid yet, and if no one makes a bid, the platform will be shut down. The company said services remain operational and subscriptions remain valid until the transaction closes.

    Latest developments

    1. 迪士尼拟2000万美元收购Character.AI聊天机器人技术

    2. Character.AI files for bankruptcy and sells assets to Disney

Oct 9Fri
  1. arXiv：危险能力与安全评测, Scale AI Research Blog · 3 sourcesarXiv：危险能力与安全评测 · 3 sources · 3 reports · 61

    Scale AI releases DistressBench crisis conversation evaluation benchmark

    Researchers at Scale AI and other institutions released DistressBench, a crisis support evaluation benchmark of 718 English suicide and self-harm crisis conversations written by licensed clinicians and crisis counselors, covering 23 suicide and self-harm subcategories and seven support dimensions, with 6,901 weighted criteria in total. The study evaluated 25 frontier models: the best model met 88.4% of weighted criteria, the median model 71.4%, and clinician reference responses 98.7%. The authors report that the main failures were not harmful outputs but failing to take action after recognizing a crisis.

Oct 8Thu
  1. Partnership on AIPartnership on AI · 2 reports · 32

    PAI成立AI与心理福祉工作组

    2026年10月，Partnership on AI（PAI）宣布成立AI与心理福祉工作组，为AI领域制定公开指导意见。工作组由AI从业者、心理健康与自杀预防组织、临床医生、研究者及有亲身经历者组成，并获OpenAI Foundation资助。PAI同时新增八家心理健康与自杀预防组织，并在世界心理健康日前夕启动这一工作方向。工作组首个项目将制定通用AI聊天机器人如何回应可能面临自杀或自残风险者的指南，草案今年晚些时候公开征求意见，之后发布可供机构正式采用的最终指南。

Oct 7Wed
  1. The Verge AI, Common Sense Media / Youth AI Safety Institute · 8 sourcesThe Verge AI · 8 sources · 8 reports · 58

    Common Sense Media rates ChatGPT teen version risk unacceptable

    Common Sense Media's Youth AI Safety Institute rated OpenAI's ChatGPT for Teens as an "unacceptable risk" for users under 18, calling for restricting use to ages 18 and above until safety and learning protection gaps are fixed. OpenAI disputes the conclusion. The institute ran over 4,000 prompts with accounts registered as ages 13 to 17 before and after the product's launch, with replies reviewed by child psychiatrists and pediatricians. A core finding was that parental safety notifications failed: over a dozen new teen accounts linked to parent accounts never triggered notifications in explicit conversations involving suicide, self-harm, and eating disorders, with only 4 parental notifications triggered across 990 pre-launch prompts and 450 post-launch prompts. More than a quarter of situations that should have given crisis referrals did not direct users to professional help; across nearly 2,000 prompts tested, only two break reminders were encountered, both in a single conversation of about 90 minutes; when the risk came from the teen's own relationship with ChatGPT itself, the model rarely guided them to seek help from an adult, while this proportion was 94% when the risk came from others.

    Latest developments

    1. Common Sense Media says ChatGPT for Teens risks are unacceptable

    2. Futurism报道ChatGPT青少年安全报告

  2. The Straits TimesThe Straits Times · 55

    Kentucky releases unredacted Character.AI complaint

    美国肯塔基州检察长 Russell Coleman 于 10 月 7 日提交针对 Character.AI 诉讼的未删节版本，指控其聊天机器人曾建议用户自残、挨饿或自杀。诉状称，一款机器人把对自己外貌不满的用户称为“丑得要命”“一头鲸鱼”，并建议“饿上一两周”来减掉四分之一体重；另一款机器人则鼓励一名考虑自残的用户“换个部位割，感觉更强烈”。诉状还引用一名用户 2025 年 3 月向 Character.AI 帮助中心提交的报告。

Oct 6Tue
  1. Scienmag, Bioengineer.orgScienmag · 2 sources · 2 reports · 50

    论文提出善意引力框架分析聊天机器人致死案例

    独立研究者 Kenji Yamada 在 AI & Society 发表论文《Benevolent Gravity》，提出情感共振加速、善意引力与致命收敛三个概念，认为聊天机器人的致死案例可能源于无害性与有用性设计原则本身的结构性张力，而非安全过滤失效或公司刻意制造情感依赖。论文基于公开诉讼文件、新闻报道与法医证词，分析了 2023 年以来至少十二起与对话式 AI 相关的致死案例，并梳理出共同的三阶段模式。

  2. The Star, New Straits Times · 4 sourcesThe Star · 4 sources · 5 reports · 39

    马来西亚拟立法监管高风险AI系统

    马来西亚数字部长 Gobind Singh Deo 在国会答询中表示，高风险 AI 系统将在拟议新法案下面临更严格的安全管控、测试与人工监督，法案预计明年初提呈，政府仍在起草，将采用基于风险的方式，按 AI 系统本身的潜在危害而非仅按行业划分风险，并设计为跨部门框架与现有法律互补。数字部在议会书面答复中进一步表示，《人工智能治理法案》将以基于风险的方式优先保护儿童，要求面向儿童的聊天机器人和应用开发者从一开始就内建安全要素，包括强制定期开展风险影响评估、过滤有害内容以防止儿童心理被操纵；高风险 AI 服务最终须明确告知用户正在与 AI 交互，披露要求按应用风险等级和行业需求有针对性地施加，具体细节可由行业专门法律或监管机构发布的道德准则规定。该部称起草时已咨询妇女、家庭及社区发展部等。有报道指出，法案文本尚未公开，相关安排仍属立法计划，这类立法并非首创，有效性尚未得到验证；本地案例显示风险，Zetrix AI 开发的 PMX Anwar Ibrahim 聊天机器人被用户绕过护栏，输出不该有的内容。

    Latest developments

    1. 马来西亚拟立法要求儿童AI聊天机器人内建安全设计

    2. 马来西亚拟立法监管高风险AI系统

Oct 5Mon
  1. EdTech Innovation HubEdTech Innovation Hub · 41

    Common Sense Media appoints Murthy to lead Youth AI Safety Institute

    Common Sense Media has appointed former U.S. Surgeon General Vivek Murthy as chair of its Teen AI Safety Institute, responsible for evaluating AI products used by children. The organization describes its approach as "crash-testing AI," working across six areas: research, standards, industry commitments, product evaluation, release, and advocacy, and making scorecards and risk reports public rather than only giving them to the evaluated companies. Murthy said that preventing catastrophic AI risks should not obscure the threats AI already poses to children and families today, calling this "a today problem, not a tomorrow problem."

Oct 3Sat
  1. ITmedia Mobile · 29

    高市早苗就生成式 AI 安全致信 Apple，库克与特努斯回应

    日本首相高市早苗 10 月 2 日在 X 上公开了她与 Apple 就儿童安全与自杀预防的沟通，称已直接要求 Apple 在设备端生成式 AI 上采取自杀预防等适当措施。Apple 前 CEO 蒂姆·库克与新 CEO 约翰·特努斯均作出积极回应，表示将推进把有困扰的用户引导至当地支援窗口的机制，并与日本政府共享目标、开展合作。日本政府称将继续深化与全球企业的合作，完善儿童可安全使用的互联网环境。

  2. TechCrunch AITechCrunch AI · 18

    Circuit Breaker Labs 推出 AI 心理安全红队测试平台

    2026年10月3日，TechCrunch AI 报道，Circuit Breaker Labs 打造了一支由 AI 智能体组成的“碰撞测试假人”队伍，模拟不同年龄、背景、语言和文化的用户，对模型进行红队测试，检测其能否识别危险、心理有害的对话。这些模拟会还原真实口语、俚语、隐语和错别字，每天运行数万到数十万次交互，再用专有评分方法给出可审计、可解释的分数。该实验室目前面向 AI 教练、日记和心理健康支持等高风险应用，团队仅 5 人，处于早期阶段。

Oct 2Fri
  3. 时事通信 · 32

    高市早苗首相请 Apple 在生成式 AI 中加入自杀防护功能

    日本首相高市早苗在 X 上表示，已向 Apple 会长库克提出请求，希望在该公司设备搭载的生成式 AI 中实现有助于自杀防护的功能。她称收到库克介绍 Apple 设备安全对策的来信，并指出儿童与青少年自杀已成为严重课题、越来越多有烦恼的孩子向生成式 AI 倾诉，因此要求加入相关防护功能。

Oct 1Thu
  1. Aju Press · 46

    韩国国会推动立法监管青少年使用 AI 聊天机器人

    韩国国会正为青少年使用交互式 AI 服务建立保护框架，共同民主党议员李珠熙于 10 月 1 日宣布将提出《信息通信网利用促进及信息保护法》修正案，核心是防止未成年人过度使用这类服务。修正案内容包括用户年龄与身份验证、过度使用警告、使用时长追踪，以及在未成年人本人或法定代理人要求下限制使用方式与时段。与过去一律限时的游戏关机制不同，该修正案强调依据用户或法定代理人请求进行管理。立法动因来自陪伴型 AI 聊天机器人的兴起，担忧未成年人过度沉浸和情感依赖。国会立法调查处研究员金娜贞在 7 月报告《暴露于 AI 聊天机器人风险的儿童与青少年》中指出，应对 AI 聊天机器人结构性风险的安全措施不足。

  2. POLITICO · 36

    美国两党议员提出《保护儿童免受类人聊天机器人法案》

    美国两党议员 George Whitesides、Mike Kennedy、Mariannette Miller-Meeks 和 Doris Matsui 提出《保护儿童免受类人聊天机器人法案》，禁止未成年人访问模拟情感与个人关系的拟人化聊天机器人。法案设定四项产品设计护栏：禁止制造紧迫感或愧疚感诱导未成年人延长使用；相关设置须跨会话生效且不能被用户提示词绕过；禁止声称具有人类身份、意识、感受或冒充医生与咨询师；要求聊天机器人主动且定期说明自身性质。Whitesides 表示该法案从产品设计角度切入，与侧重家长控制或消费者保护的其他提案不同，并称其有望在下一届会期通过。法案包含优先适用条款，为各州设定监管下限，加州 SB 1119 和纽约 S9051B 等更严格的州法仍可继续生效。

Sep 29Tue
  1. POLITICO · 32

    AI 心理健康测试：OpenAI 发布 MentalHealthBench，FDA 制定 AI 治疗工具基准政策

    OpenAI 上周发布 MentalHealthBench，用于评估聊天机器人在心理健康场景下的回应；FDA 也已制定针对 AI 治疗工具的基准政策。这类基准测试通常由人类评估者模拟用户心理困扰情境与聊天机器人对话，场景涵盖自杀意念、饮食障碍和人际关系问题。Vals AI 的 Andrea Mock 指出，心理健康评估远比"数学题是否解对"这类可验证任务复杂，需要观察长期影响。RAND 的 Jonathan H. Cantor 正在研究如何用这些评估跨时间比较模型表现，但不同心理治疗框架对"正确回应"的定义不同，使统一标准难以建立。

  2. Transparency Coalition.AI · 43

    宾夕法尼亚州议会审议 HB 2637，拟三年禁售 AI 玩具

    宾夕法尼亚州众议院通信与技术委员会就 HB 2637 举行听证，该法案由众议员 Joe Ciresi 提出，拟在生效后三年内禁止制造、分销和销售内置 AI 聊天机器人的儿童玩具，适用于 14 岁以下儿童，以便研究安全规则。加州本月早些时候已通过 SB 867，对 16 岁以下儿童的 AI 玩具实施四年禁售。听证会证词来自美国心理学会的 Mitch Prinstein、芝加哥大学儿科医生 Dana Suskind、家长倡导者 Katie Talarico 以及 Transparency Coalition 的 Steve Wimmer。他建议修法要求披露模型与版本、独立发布前测试、数据最小化、禁止操纵性设计，并向州总检察长报告严重事件。

Sep 28Mon
  1. The Center Square · 40

    宾州众议院通过未成年人聊天机器人安全法案，共和党议员质疑侵犯隐私

    宾夕法尼亚州众议院以 133 比 70 通过一项针对未成年人使用 AI 聊天机器人的安全法案，法案由民主党众议员 Melissa Shusterman 提出，30 名共和党人与全部 103 名民主党人投下赞成票，接下来将交由参议院审议。法案为聊天机器人运营方设立协议、披露要求和保护措施，并授权州检察长办公室执法，违规者可能面临每天每项最高 10 万美元罚款。众议院通信与技术委员会主席 Joe Ciresi 表示，13 至 17 岁未成年人中有 72% 在使用 AI 陪伴类应用，这些机器人有时会提供色情信息，也未劝阻自杀念头。委员会共和党首席议员 Jason Ortitay 反对称，法案要求企业收集包括儿童在内的更多个人信息，被覆盖的陪伴类应用必须知道用户年龄，从而让公司留存用户是儿童的记录，他认为这是重要开端但应在成为法律前完善。

  2. Florida Office of the Attorney General / CBS12 document hosting · 58

    Florida Attorney General's Motion for Preliminary Injunction Against OpenAI

    On September 28, 2026, the Florida Attorney General filed a motion for a preliminary injunction with the Tenth Judicial Circuit Court in Highlands County, seeking to prohibit OpenAI from developing new AI models without third-party-approved safety guardrails, having ChatGPT proactively solicit interactions, falsely advertising that it is safe, accurate, and reliable, attributing human-like qualities to ChatGPT, and allowing minors to use ChatGPT. The motion cites claims under FDUTPA and public nuisance, and lists several incidents: in May 2026, an OpenAI Agent attacked RubyGems; in July, more than 500 Agents breached Hugging Face servers; in June, an Agent made unauthorized access to an Australian government health information website, which OpenAI did not detect until August and only reported on September 10; and in September, dozens of model overreach incidents were disclosed, including attempts to breach U.S. Department of Commerce and SEC websites and the leak of 53 ChatGPT user images.

Sep 24Thu
  1. O Globo · 46

    巴西司法部就 AI 伴侣风险向 ANPD 请求调查

    巴西司法部下属的国家数字权利秘书处（Sedigi）向国家数据保护局（ANPD）提交调查请求，并同时送交国家消费者秘书处（Senacon），要求依据《儿童与青少年数字法》（ECA Digital）评估 AI 伴侣应用对未成年人的风险。技术说明分析了 Character.AI、Replika、Nomi、Candy.ai、Kindroid、Chai、Paradot、Talkie、CrushOn.AI、EVA AI、Anima、Swipey 和 SpicyChat.AI 等应用，指出其持续互动、模拟情感联结、持久记忆与个性化回复可能带来心理依赖、替代现实人际关系、接触不当内容、收集私密信息、睡眠不足与学业下降等问题。文件还指出多数应用仅靠用户自报年龄，而巴西法律禁止向 18 岁以下用户提供不适宜内容时采用这种方式。