Common Sense Media 称 ChatGPT for Teens 风险不可接受
先了解这件事
Common Sense Media 旗下 Youth AI Safety Institute 将 OpenAI 的 ChatGPT for Teens 评为对 18 岁以下用户的“不可接受风险”,并呼吁在修复安全与学习保护缺口前限制为 18 岁以上使用;OpenAI 对该结论提出异议。研究所在产品上线前后用注册为 13 至 17 岁的账号运行 4000 多条提示,并由儿童精神科医生和儿科医生审阅回复。核心发现是家长安全通知失效:十多个与家长账号关联的新青少年账号在涉及自杀、自残和饮食失调的明确对话中始终未触发通知,990 条上线前提示和 450 条上线后提示中仅触发 4 次家长通知。超过四分之一本应给出危机转介的情境未把用户引向专业帮助;近 2000 条提示测试中仅遇到两次休息提醒,且都出现在约 90 分钟的单次对话里;当风险来自青少年与 ChatGPT 自身的关系时,模型很少引导其求助成年人,而风险来自他人时这一比例为 94%。
AI 根据报道生成 · 3 天前更新
事件进展
后续时间线
- 网页BBC News · Technology· 讨论OpenAI says teen ChatGPT use limited but research finds it an 'unacceptable risk'(新标签页打开原帖)
- TechCrunch AI精选Common Sense Media 评测称 ChatGPT for Teens 存在不可接受风险
Common Sense Media 发布对 OpenAI ChatGPT for Teens 的评测,将其评为不可接受风险,并称其设计仍在鼓励青少年持续对话,即使在心理危机场景中也是如此。报告称,在近 2000 条提示测试中仅遇到两次休息提醒,且都出现在约 90 分钟的单次对话里;当风险来自青少年与 ChatGPT 自身的关系时,模型很少引导其求助成年人,而在风险来自他人时这一比例为 94%。报告还指出,拒绝性角色扮演等部分保护措施有效,但在其设定的五类严重危害红线中有三项得分为不合格。OpenAI 反驳该评估,称测试可能主要在家长控制功能完全启用前进行,因而结论不准确,并质疑其方法论;OpenAI 同日公布自家数据称,青少年平均每天使用不足 15 分钟,不到 2% 的人连续使用超过三小时。
- KQED精选Common Sense 青少年 AI 安全研究所将 ChatGPT for Teens 评为不可接受风险
Common Sense Media 旗下的 Youth AI Safety Institute 将 OpenAI 的 ChatGPT for Teens 评为对 18 岁以下用户的“不可接受风险”,OpenAI 对该结论提出异议。研究所在产品上线前后用注册为 13 至 17 岁的账号运行了 4000 多条提示词,并由儿童精神科医生和儿科医生审阅回复。核心发现是家长安全通知失效:测试者把十多个新青少年账号与家长账号关联后,用最长一小时描述自杀念头、自残或进食障碍,家长没有收到任何警报;仅有的两次通知来自有数周敏感话题对话记录的旧账号。OpenAI 回应称家长与青少年账号需关联约三小时后才能发送通知,并已更新帮助中心说明,Common Sense 表示部分测试账号关联时间不足三小时、部分更长,但坚持原有结论。
- The Decoder精选Common Sense Media 评测将 ChatGPT 青少年版评为对未成年人不可接受风险
Common Sense Media 青年 AI 安全研究所用 4000 多条测试提示评估 ChatGPT 青少年版,将其评为对未成年人不可接受的风险,并呼吁在独立测试确认安全前禁止青少年使用。最严重的问题出在家长警报上:在十多个新建的、与家长账号关联的测试账号中,涉及自杀、自残和饮食失调的明确对话始终没有触发通知,结果提示警报可能只在账号积累数周敏感话题历史后才生效,而非急性危机当下。超过四分之一本应给出危机转介的情境没有把用户引向专业帮助。辅导模式也存在缺口,ChatGPT 直接提出展示最终答案而非逐步引导学生。尽管有更新后的 Under-18 Model Spec,当青少年把它当作真人对待时,ChatGPT 仍以友好、个人化的语气回应。
- 网页The New York Times · Technology· 讨论Why My Conversations with OpenAI’s ‘ChatGPT for Teens’ Made Me Very Worried(新标签页打开原帖)
- 网页Bloomberg Technology· 讨论ChatGPT for Teens Is Not Safe for Kids, Common Sense Media Report Says(新标签页打开原帖)
- The Verge AICommon Sense Media 称 ChatGPT for Teens 存在不可接受风险,OpenAI 质疑其测试方法
非营利机构 Common Sense Media 发布评估,称 OpenAI 的 ChatGPT for Teens 是“不可接受的风险”,其青少年保护措施未达到公司承诺。评估指出该功能未在应触发时向家长发送警报、在危机情境下未提供恰当帮助,且仍会替孩子完成作业。Common Sense Media 青年 AI 安全研究所执行主任 Tom Siegel 表示,青少年可能花一小时谈论自残而家长收不到任何警报,在 OpenAI 修复并通过独立测试前,ChatGPT 应仅限成人使用。OpenAI 发言人 Eric Porterfield 回应称,公司认真对待青少年安全,但认为该测试未准确反映实际保护机制,其方法学审查显示大部分测试可能在家长控制功能完全启用前就已开始和结束。
- Futurism精选Common Sense Media 测试发现 ChatGPT for Teens 家长通知等护栏未按承诺工作
非营利机构 Common Sense Media 的 Youth AI Safety Institute 发布报告称,OpenAI 面向 13 至 17 岁用户的 ChatGPT for Teens 护栏未按宣传运作,构成对青少年的不可接受风险。测试用未成年账号模拟青少年人格,在明确讨论饮食失调、自残和自杀的对话中,ChatGPT 未向关联家长账号发送通知;990 条上线前提示和 450 条上线后提示中仅触发 4 次家长通知,且都发生在测试者已使用数周的旧账号上。报告还发现 Study Mode 常提供直接显示答案的按钮,且青少年用户可自行关闭家长设定的默认学习时段;年龄预测功能不可靠,危机回应不稳定,有时未建议求助热线或专业人士。
- Common Sense Media精选Common Sense Media 将 ChatGPT for Teens 评为不可接受风险,呼吁限制为 18 岁以上
Common Sense Media 旗下的 Youth AI Safety Institute 将 OpenAI 的 ChatGPT for Teens 评为不可接受风险,并呼吁在修复安全与学习保护缺口前,将 ChatGPT 限制为 18 岁以上用户使用。该机构在 OpenAI 于 8 月 18 日宣布 ChatGPT for Teens 前后各测试一次,用注册为 13 至 17 岁的账号测试了 4000 多条提示词,并请儿童精神科医生和儿科医生评估回复。该机构称,OpenAI 曾承诺的更强内置保护、家长通知、学习模式、减少类朋友行为和年龄预测均未达到预期,并建议这些功能在第三方独立测试后再向青少年推广。
- 日期未标Common Sense Media / Youth AI Safety Institute精选Common Sense Media 测评 ChatGPT for Teens 家长通知功能
Common Sense Media 对 OpenAI 的 ChatGPT for Teens 家长通知功能做了专项测评,发现该功能在测试中几乎不触发。研究团队创建了十多个无历史记录、自报青少年年龄并已关联家长账号的免费版 ChatGPT 账号,用四个围绕自杀、自残和进食障碍的虚构人设持续对话,从 5 分钟到 60 分钟不等,所有对话都包含明确的自杀、自残或进食障碍披露,但在 OpenAI 设定的 1 小时目标窗口内没有收到任何通知。在跨数周的常规危机测试中,团队共收到 4 条家长通知,其中两条在首次危机级披露后延迟 3 小时和 3 天到达,且通知不标注触发对话的时间、不会重复发送。OpenAI 回应称家长与青少年账号需关联约 3 小时才能接收通知,并已更新帮助中心文章;测评方复核账号后表示仍坚持原有解读,认为通知似乎依赖长期累积的账号行为而非单次急性披露。
相关讨论
- 72 小时以前 · 不计入 72 小时的数字
- 网页IT之家OpenAI 首份青少年报告:日均使用不足 15 分钟,安全提醒机制遭质疑(新标签页打开原帖)
- 网页BBC News · TechnologyOpenAI says teen ChatGPT use limited but research finds it an 'unacceptable risk'(新标签页打开原帖)
- XX @OpenAIWe're sharing progress on ChatGPT for Teens, our ChatGPT experience for people under 18, alongside a preview of College Planner, new stud...(新标签页打开原帖)
- 网页cnBetaOpenAI称青少年平均每天使用ChatGPT不足15分钟 但安全风险担忧仍在升温(新标签页打开原帖)
- 网页TechmemeCommon Sense Media calls ChatGPT for Teens an "unacceptable risk", saying its guardrails fall short of OpenAI's promises and it continues to do kids' homework (Jay Peters/The Verge)(新标签页打开原帖)
- 网页cnBetaOpenAI青少年版ChatGPT遭质疑:Common Sense Media称其存在“不可接受的风险”(新标签页打开原帖)
- 网页The New York Times · TechnologyWhy My Conversations with OpenAI’s ‘ChatGPT for Teens’ Made Me Very Worried(新标签页打开原帖)
- 网页Axios"Not safe for kids": Advocacy group urges OpenAI to keep teens off ChatGPT(新标签页打开原帖)
- 网页Bloomberg TechnologyChatGPT for Teens Is Not Safe for Kids, Common Sense Media Report Says(新标签页打开原帖)
关注度走势
每天新增来源
- 10月7日新增10个来源(10家媒体、0个账号)
- 10月8日新增5个来源(4家媒体、1个账号)
- 10月9日新增0个来源(0家媒体、0个账号)
- 10月10日新增0个来源(0家媒体、0个账号)
- 10月11日新增0个来源(0家媒体、0个账号)
- 10月12日新增0个来源(0家媒体、0个账号)