Skip to content

Translation in progress Some entries still include text in the original language.

EventPast event

Common Sense Media 称 ChatGPT for Teens 风险不可接受

7 reports7 reporting sourcesLatest report

Start here

AI overview

Common Sense Media 旗下 Youth AI Safety Institute 将 OpenAI 的 ChatGPT for Teens 评为对 18 岁以下用户的“不可接受风险”,并呼吁在修复安全与学习保护缺口前限制为 18 岁以上使用;OpenAI 对该结论提出异议。研究所在产品上线前后用注册为 13 至 17 岁的账号运行 4000 多条提示,并由儿童精神科医生和儿科医生审阅回复。核心发现是家长安全通知失效:十多个与家长账号关联的新青少年账号在涉及自杀、自残和饮食失调的明确对话中始终未触发通知,990 条上线前提示和 450 条上线后提示中仅触发 4 次家长通知。超过四分之一本应给出危机转介的情境未把用户引向专业帮助;近 2000 条提示测试中仅遇到两次休息提醒,且都出现在约 90 分钟的单次对话里;当风险来自青少年与 ChatGPT 自身的关系时,模型很少引导其求助成年人,而风险来自他人时这一比例为 94%。

Generated by AI from reports · Updated 3 days ago

Latest developments

2 developments
  1. · 6 reports
    Common Sense Media 称 ChatGPT for Teens 风险不可接受
    Common Sense Media:Common Sense Media 将 ChatGPT for Teens 评为不可接受风险,呼吁限制为 18 岁以上
  2. · 1 reports
    Futurism报道ChatGPT青少年安全报告
    Futurism:Common Sense Media 测试发现 ChatGPT for Teens 家长通知等护栏未按承诺工作

Progress timeline

Oct 8
  1. TechCrunch AISelected
    Common Sense Media 评测称 ChatGPT for Teens 存在不可接受风险

    Common Sense Media 发布对 OpenAI ChatGPT for Teens 的评测,将其评为不可接受风险,并称其设计仍在鼓励青少年持续对话,即使在心理危机场景中也是如此。报告称,在近 2000 条提示测试中仅遇到两次休息提醒,且都出现在约 90 分钟的单次对话里;当风险来自青少年与 ChatGPT 自身的关系时,模型很少引导其求助成年人,而在风险来自他人时这一比例为 94%。报告还指出,拒绝性角色扮演等部分保护措施有效,但在其设定的五类严重危害红线中有三项得分为不合格。OpenAI 反驳该评估,称测试可能主要在家长控制功能完全启用前进行,因而结论不准确,并质疑其方法论;OpenAI 同日公布自家数据称,青少年平均每天使用不足 15 分钟,不到 2% 的人连续使用超过三小时。

  2. KQEDSelected
    Common Sense 青少年 AI 安全研究所将 ChatGPT for Teens 评为不可接受风险

    Common Sense Media 旗下的 Youth AI Safety Institute 将 OpenAI 的 ChatGPT for Teens 评为对 18 岁以下用户的“不可接受风险”,OpenAI 对该结论提出异议。研究所在产品上线前后用注册为 13 至 17 岁的账号运行了 4000 多条提示词,并由儿童精神科医生和儿科医生审阅回复。核心发现是家长安全通知失效:测试者把十多个新青少年账号与家长账号关联后,用最长一小时描述自杀念头、自残或进食障碍,家长没有收到任何警报;仅有的两次通知来自有数周敏感话题对话记录的旧账号。OpenAI 回应称家长与青少年账号需关联约三小时后才能发送通知,并已更新帮助中心说明,Common Sense 表示部分测试账号关联时间不足三小时、部分更长,但坚持原有结论。

Oct 7
  1. The DecoderSelected
    Common Sense Media 评测将 ChatGPT 青少年版评为对未成年人不可接受风险

    Common Sense Media 青年 AI 安全研究所用 4000 多条测试提示评估 ChatGPT 青少年版,将其评为对未成年人不可接受的风险,并呼吁在独立测试确认安全前禁止青少年使用。最严重的问题出在家长警报上:在十多个新建的、与家长账号关联的测试账号中,涉及自杀、自残和饮食失调的明确对话始终没有触发通知,结果提示警报可能只在账号积累数周敏感话题历史后才生效,而非急性危机当下。超过四分之一本应给出危机转介的情境没有把用户引向专业帮助。辅导模式也存在缺口,ChatGPT 直接提出展示最终答案而非逐步引导学生。尽管有更新后的 Under-18 Model Spec,当青少年把它当作真人对待时,ChatGPT 仍以友好、个人化的语气回应。

  2. The Verge AI
    Common Sense Media 称 ChatGPT for Teens 存在不可接受风险,OpenAI 质疑其测试方法

    非营利机构 Common Sense Media 发布评估,称 OpenAI 的 ChatGPT for Teens 是“不可接受的风险”,其青少年保护措施未达到公司承诺。评估指出该功能未在应触发时向家长发送警报、在危机情境下未提供恰当帮助,且仍会替孩子完成作业。Common Sense Media 青年 AI 安全研究所执行主任 Tom Siegel 表示,青少年可能花一小时谈论自残而家长收不到任何警报,在 OpenAI 修复并通过独立测试前,ChatGPT 应仅限成人使用。OpenAI 发言人 Eric Porterfield 回应称,公司认真对待青少年安全,但认为该测试未准确反映实际保护机制,其方法学审查显示大部分测试可能在家长控制功能完全启用前就已开始和结束。

  3. FuturismSelected
    Common Sense Media 测试发现 ChatGPT for Teens 家长通知等护栏未按承诺工作

    非营利机构 Common Sense Media 的 Youth AI Safety Institute 发布报告称,OpenAI 面向 13 至 17 岁用户的 ChatGPT for Teens 护栏未按宣传运作,构成对青少年的不可接受风险。测试用未成年账号模拟青少年人格,在明确讨论饮食失调、自残和自杀的对话中,ChatGPT 未向关联家长账号发送通知;990 条上线前提示和 450 条上线后提示中仅触发 4 次家长通知,且都发生在测试者已使用数周的旧账号上。报告还发现 Study Mode 常提供直接显示答案的按钮,且青少年用户可自行关闭家长设定的默认学习时段;年龄预测功能不可靠,危机回应不稳定,有时未建议求助热线或专业人士。

  4. Common Sense MediaSelected
    Common Sense Media 将 ChatGPT for Teens 评为不可接受风险,呼吁限制为 18 岁以上

    Common Sense Media 旗下的 Youth AI Safety Institute 将 OpenAI 的 ChatGPT for Teens 评为不可接受风险,并呼吁在修复安全与学习保护缺口前,将 ChatGPT 限制为 18 岁以上用户使用。该机构在 OpenAI 于 8 月 18 日宣布 ChatGPT for Teens 前后各测试一次,用注册为 13 至 17 岁的账号测试了 4000 多条提示词,并请儿童精神科医生和儿科医生评估回复。该机构称,OpenAI 曾承诺的更强内置保护、家长通知、学习模式、减少类朋友行为和年龄预测均未达到预期,并建议这些功能在第三方独立测试后再向青少年推广。

Date not provided
  1. Date not given
    Common Sense Media / Youth AI Safety InstituteSelected
    Common Sense Media 测评 ChatGPT for Teens 家长通知功能

    Common Sense Media 对 OpenAI 的 ChatGPT for Teens 家长通知功能做了专项测评,发现该功能在测试中几乎不触发。研究团队创建了十多个无历史记录、自报青少年年龄并已关联家长账号的免费版 ChatGPT 账号,用四个围绕自杀、自残和进食障碍的虚构人设持续对话,从 5 分钟到 60 分钟不等,所有对话都包含明确的自杀、自残或进食障碍披露,但在 OpenAI 设定的 1 小时目标窗口内没有收到任何通知。在跨数周的常规危机测试中,团队共收到 4 条家长通知,其中两条在首次危机级披露后延迟 3 小时和 3 天到达,且通知不标注触发对话的时间、不会重复发送。OpenAI 回应称家长与青少年账号需关联约 3 小时才能接收通知,并已更新帮助中心文章;测评方复核账号后表示仍坚持原有解读,认为通知似乎依赖长期累积的账号行为而非单次急性披露。

Related discussion

Total 9 items

Attention trend

New sources per day

6 days total15 ·Maximum10(Oct 7)·Today0

  • Oct 7New10 sources (10 outlets,0 accounts)
  • Oct 8New5 sources (4 outlets,1 accounts)
  • Oct 9New0 sources (0 outlets,0 accounts)
  • Oct 10New0 sources (0 outlets,0 accounts)
  • Oct 11New0 sources (0 outlets,0 accounts)
  • Oct 12New0 sources (0 outlets,0 accounts)

Hourly attention

Current attention57·Peak in the comparable period79(Oct 7 21:00)·Change over the comparable past 24 hours 0%

020406080Oct7Oct9Oct11Oct12

Related events