综述:100项研究显示青少年AI风险防护多停留在设想阶段
Systemization of Knowledge (SoK): Human-Centered AI Safety for Youth
Saha等人综述100篇论文:80条风险-对策关联中50%仅提议、18%已评估(Table 5)。
- 青年在学校、家庭、照护和公共服务中接触AI,但文献缺少风险是否已有对策、对策是否实施并评估的整体图。作者认为只看生成式AI只能得到部分画面。
- 按PRISMA纳入100篇2019至2026年的HCI与S&P实证论文。风险主按YAIR编码,隐私参照Solove,对策按MIT缓解分类,记下提议、实施或评估;未覆盖处再归纳,连成风险-对策矩阵。
- 风险跨YAIR六类和作者增补的三类。Table 5里,80条风险-对策关联中50%仅提议、18%已评估;36类风险中14%没有对策。作者称现有评估常测技术表现,而不是免于伤害。
- 作者称检索为英文并强调HCI会议,临床、法律、产业和平台安全代表性较低;映射有解释判断,频率不是流行率,部分模型已变化。覆盖100篇论文与三套分类的阶段编码,未报告编码一致性或自行运行的模型。
- Benchmarks
- 100篇实证论文(2019–2026)YAIR taxonomySolove’s taxonomyMIT AI Risk Mitigation Taxonomy
- Metrics
- 对策证据阶段风险-对策关联成熟度YAIR覆盖(完全/部分/无对应)
一项系统综述梳理了100项涉及儿童与青少年接触AI的实证HCI研究,覆盖学校、家庭、照护机构和公共服务等场景。研究使用YAIR风险分类和MIT Mitigation Taxonomy对策分类,对风险与防护措施进行映射,发现多数风险只对应提出或设想中的对策,已实施的对策很少,经过评估的更少,且现有评估多衡量技术性能而非是否真正防止了伤害。作者据此指出风险覆盖的空白区域和未经检验的防护措施,并提出HCI研究加强青少年AI安全的具体方向。
Paper analysis
What problem does this paper attempt to solve?
文献还缺一张图:青年AI有哪些风险、有无对策、对策是否已实施并评估。
HCI与S&P文献还没有一张同时回答三件事的图:青年与AI互动产生了哪些风险、每项风险有没有对策、对策是只被提议还是已经实施并评估。
- 场景:作者把青年AI安全定义为,保护18岁以下者免受因与AI互动或暴露于AI而产生的伤害。青年在学校、家庭、照护和公共服务中使用AI;作者认为这些系统会塑造学习、养育、社会支持和照护,只看一类系统只能得到部分画面。
- 作者举的后果:2025年,16岁男孩自杀前,家长起诉称ChatGPT认可了自杀想法并提供自伤相关信息;西班牙警方调查一名17岁少年被控用AI制作并出售16名女同学的假裸照。作者引用的研究称,最强现有系统大约漏掉三分之一青年与生成式AI的风险互动;在青少年描述涉及自杀想法、性侵犯或物质使用的危机时,伴侣聊天机器人近80%回应不当,仅10%导向相关支持。
- 现有做法的缺口:风险分类提供共同词汇,但不显示哪项风险有对策、对策只是提议还是已设计、有没有在实践中评估。作者认为近期工作大量集中在生成式AI和聊天机器人,而让AI对儿童和青年更安全需要超出生成式AI。
- 本文的做法:围绕三个问题——有哪些风险、已有哪些对策、还缺什么——系统综述100篇实证论文,用YAIR组织风险(隐私参照Solove,并保留框架外类别),用MIT AI Risk Mitigation Taxonomy组织对策,矩阵区分提议、实施和评估。
What related research exists?
作者将本文放在青年在线安全、风险与缓解分类,以及两篇GenAI青年综述之旁。
作者把本文放在青年在线安全传统、AI风险与缓解分类,以及两篇GenAI青年综述之间。
青年在线安全
- 平台伤害与治理:HCI在线安全研究长期关注骚扰、非自愿影像、错误信息和有害内容暴露,并写出平台设计与治理把这些伤害不均衡地分给不同人群。
- 从成人监控到青年参与:早期保护强调家长控制和监控工具;其后的工作认为限制性做法会损害自主和信任,并主张把青年当作管理自身安全的主动参与者。
- AI带来的延伸:作者认为保护青年还要处理AI系统自身行为与决策产生的风险,而不只是有害用户、内容和平台实践。作者还认为,能保护最不能自保者的系统往往会抬高所有人的安全下限,青年需要的选择和控件许多成人也会看重。
风险分类与缓解分类
- 通用与青年词表:Weidinger等(2022)为语言模型编目风险,Slattery等(2024)覆盖更广的AI系统。YAIR把词表适配到发展情境,区分对青年用户独特或被放大的风险。Solove(2006)把隐私伤害分为信息收集、处理、传播和侵入。
- 缓解分类:MIT AI Risk Mitigation Taxonomy按类型和生命周期阶段分类缓解措施。作者指出它不针对青年,也不记录某项缓解有多成熟。
- 作者引用的部署评估:最强系统大约漏掉三分之一风险互动;在模拟的青少年危机(自杀想法、性侵犯或物质使用)中,伴侣聊天机器人近80%回应不当,仅10%转介支持。作者认为,存在一项防护,并不等于它保护了青年。
最接近的综述与编码基线
- Oguine等(2026):考察GenAI研究如何概念化和评估青年在线安全,写出安全常由成人利益相关者和技术信号定义,而非青年的生活经验,并呼吁参与式、与发展对齐的评估。
- Chang等(2026):综合已报告的青年GenAI伤害。作者明确用这两篇对照本文。
- 本文的编码框架与语料:YAIR、Solove和MIT分类;语料是CHI、CSCW/PACM HCI、DIS、FAccT、AIES、IEEE S&P、USENIX Security、SOUPS上2019–2026年的100篇实证论文。作者称区别有三点:不限于生成式AI,覆盖教育、家庭、照护和公共服务;风险与对策成对看;每项对策记下是提议、实施还是评估,从而分开只写在纸上的回应、建了但没测的回应,以及只测组件准确率而非免于伤害的评估。
How does the paper address this problem?
按PRISMA纳入100篇论文,用YAIR、Solove和MIT分类编码,并记录对策阶段。
按PRISMA做系统综述,把报告的风险和对策分别挂到YAIR、Solove和MIT AI Risk Mitigation Taxonomy上,盖不住的部分再归纳,连成风险-对策矩阵。
检索、筛选与纳入
- 检索:第一作者检索ACM Digital Library、IEEE Computer Society Digital Library和USENIX proceedings,会议为CHI、CSCW/PACM HCI、DIS、FAccT、AIES、IEEE S&P、USENIX Security、SOUPS。关键词分青年、AI系统、安全/风险/伤害三类,检索式见表1。
- 数量:三库识别750条。正文称去除15个重复DOI后剩735条,表2筛选列合计也是735。Figure 1写筛前再排除非研究文章52篇,与重复合计排除67篇;标题和摘要审阅683篇,按相关性排除566篇,全文117篇,不符合纳入标准排除17篇,纳入100篇。
- 纳入标准:英文、全文、实证、未撤稿;研究一个AI系统;直接、通过相关利益相关者,或通过分析影响他们的系统或数据,涉及18岁以下者;报告与青年互动或暴露于AI相关的风险或对策。排除海报、扩展摘要、研讨会论文和书籍章节。边界案例由第一作者与末位作者看全文。纳入论文为2019–2026年。
- 安全会议:产出低仍保留。作者称那里青年向AI风险工作少,本身是给相关社区的发现。
抽取、证据阶段与分析
- 抽取字段:见表4,包括年份、会议、技术、方法、样本与人群;风险及可用的YAIR类别和编号;对策及MIT域和子类;证据阶段;主张来源;人群关系(第一人称、跨边界、利益相关者叙述、审计);主张所在章节。
- 证据阶段:方法节记为proposed、designed or implemented、evaluated,并称后一阶段包含前一阶段。只在引言或相关工作里提到的对策,不记到该文名下。主张来源分为观察或评估、参与者担忧、作者预期的后果、转引自既有文献;最后一类不作为新观察。
- 编码:归纳主题分析。风险先对照YAIR六类和84个编号风险,隐私对照Solove;对策对照MIT四个控制域下的23个子类。框架认不出的条目先归纳,再聚成主题。第一作者与末位作者每周讨论。第一作者再对照YAIR中层定义、编号风险表和MIT子类定义做两轮核对。
- 矩阵:每个对策族连到其记录论文里所针对的风险,并记下阶段。Figure 2和Figure 3是分类的两部分;正文没有给出图中逐格计数。
风险与对策如何归类
- 风险:沿用YAIR六类:行为与社会性发展、心理健康、毒性、误用与剥削、偏见/歧视、隐私。隐私按Solove分为信息收集、处理、传播。框架外再保留三类:控制、能动性与权力;可用性、无障碍与数字排斥;系统可靠性。工作定义在附录Table 6。
- 对策四域:技术与安全控制;运营流程控制;透明与问责控制;治理与监督控制。Table 6分别对应约束模型或系统、开发与部署周围的流程、让青年和利益相关者理解并质疑或纠正,以及谁参与决策、是否部署、谁有权负责。
- 青年定义:从幼年到青春期晚期,即18岁以下。作者还按数字安全研究的用法,把他们当作at-risk users:发展、社会和制度条件提高伤害暴露,并加大与设计、控制技术者之间的权力不对称。
这篇综述如何记下“有没有回应”
- 阶段,而不是新跑的模型指标:看语料里每条对策停在提议、设计或实施,还是已经评估,以及评估测的是组件表现还是免于伤害。
- 论文未报告:编码者间一致性系数,以及作者自行运行的模型实验。
What experiments did the paper conduct?
Table 5:80条风险-对策关联中50%仅提议、18%已评估。
实验设置
- 被综述论文:100篇,2019–2026,英文实证。表2纳入数:CHI 71,CSCW/PACM HCI 10,FAccT 10,DIS 4,AIES 2,IEEE S&P 1,USENIX Security 1,SOUPS 1。
- 筛选规模:识别750;Figure 1中标题摘要683、全文117、纳入100。安全会议低产出仍纳入。
- 编码:风险对照YAIR六类与84个编号风险,隐私对照Solove;对策对照MIT四域23子类;框架外类别由归纳产生。
- 阶段:方法节为提议、设计或实施、评估,后阶段包含前阶段。Table 5把Designed与Implemented分成两行;风险按达到的最高阶段计。
- 主张口径:观察或评估、参与者担忧、作者预期、转引文献分开;转引不算新观察。只出现在引言或相关工作的对策不计入。
- 论文未报告:编码者间一致性、重复次数、伤害流行率,以及作者自行运行的模型。本综述没有作为攻击或防御实验去跑的基线模型。
主结果
据Table 5。下表是互斥计数:对策共52项,风险-对策关联共80条,风险按最高阶段计共36类,各类百分比合计为100%。None一行上,对策和关联在表中为破折号。
Swipe horizontally to read the table
阶段 对策(共52) 关联(共80) 风险最高阶段(共36) Proposed 24(46%) 40(50%) 11(31%) Designed 1(2%) 1(1%) 1(3%) Implemented 14(27%) 25(31%) 9(25%) Evaluated 13(25%) 14(18%) 10(28%) None — — 5(14%) - 作者在§5.5.1把关联列里“只有提议”和“已经评估”的对比,写成识别风险与看见对策确能保护青年之间的距离。
- 摘要称多数风险只配到提议或构想中的对策,实施的少,评估的更少,且现有评估常测技术表现而非免于伤害。该说法与关联列同向;风险按最高阶段的一列里,已评估一行并不低于已实施一行。
- 作者认为因此有三类研究需求:覆盖缺失处发展回应,评估尚未评估的防护,并检查评估测的是免于伤害还是组件表现。
语料中的风险图景
- YAIR六类:行为与社会性发展包括替代推理与练习、挤占人际交流、扰乱家庭互动、边界违反和强化有害行为。心理健康包括过度依赖、成瘾和情感依赖,情感支持不充分,以及系统和防护本身造成的痛苦。毒性包括不当生成内容,以及推荐和展示带来的暴露。误用与剥削包括合成性影像、胁迫和名誉侵害,绕过防护,事后救济失败,以及误导输出。偏见/歧视包括自我表征扭曲、对他人的刻板印象、获取与保护不平等,以及规范性评估和不平等的机构对待。
- 隐私与增补类:隐私按收集(监视、盘问)、处理(聚合、不安全、二次使用、排除)、传播(保密破裂、披露、扭曲)组织。作者称没有Invasion的独立证据。增补类覆盖成人和机构控制、对生成材料的所有权,发展与认知不匹配、误解儿童和难以从错误恢复、特殊需要,以及防护与脆弱性评估易错、错误评估和干扰性干预、不可验证的协助。
- 作者的总读法:单独看§4.1像模型故障目录;合在一起,作者认为许多伤害发生在系统周围的关系上,例如儿童与父母、学生与学校、家庭与公司。
对策、分类法空格与作者解读
- 四域里作者点出的限制:技术控制包括限制生成、适配儿童语言、控制辅助的量与时机、改进危机检测、限制伴侣依恋并支持脱离。作者称约束生成仍可能在允许任务内出错;逐步写作支持在低熟练学生中增加依赖,因为延长的反馈在课堂时间限制下增加处理负担;简单俚语定义或一般风险指令的改进幅度小,更丰富的语境脚手架同时降低漏检和误报,但作者称计算成本随之大幅增加。人工复核把时间、专业知识和费用转给教师、照护者和服务者;作者举例,有研究要审阅全部180本AI生成的书。作者称监测只有在机构能回应时才有用,检出更多问题可能给编制或资源不够的服务制造它们履行不了的义务。
- 分类覆盖:作者称34类风险中12类被YAIR完全覆盖,16类仅部分覆盖,6类无对应;部分覆盖几乎横跨每个YAIR类别。无对应的6类集中在作者增补的三类,其余两类是偏见/歧视中的规范性评估,以及隐私中儿童数据的二次使用。MIT分类没有位置安放六组延伸:防护的发展性适配、教学脚手架、伴侣脱离设计、AI素养教育、儿童-家庭同意、教育者资源。四个MIT子类在语料中没有对策:model security、model alignment、whistleblower protection、governance disclosure。
- 空对策与无证据项:§5.1称二次使用是唯一没有提议对策的风险;作者认为研究者与儿童一样把它视为自己够不着的事,并交给监管,同时称Reyes等显示该监管遵从弱。YAIR点名但语料无实证证据的例子包括极端内容、金融剥削、饮食失调内容和长期发展效应。作者把缺口分成方法上不可及、学科上隔离、时间上达不到,并称只有第一类能在单篇HCI研究里处理。作者还称,没有一篇被综述论文在用户有机会适应机制之后再评估防护。
其他消融与分析
- 论文未报告消融或参数扫描。
- Figure 1:筛前排除67(重复15、非研究52),相关性排除566,全文排除17。
- 表2识别数合计750:CHI 209,IEEE S&P 394,CSCW/PACM HCI 64,FAccT 35,DIS 19,AIES 14,USENIX Security 12,SOUPS 3。
- §5.1的“二次使用无提议对策”与Table 5中5类风险最高阶段为None不是同一行标题下的计数;论文未说明两套计数如何对应。
- 作者称教学脚手架与伴侣脱离做法没有长到能判断依赖或依恋是否下降的评估;论文未给缺失篇数。
- 作者称语料频率不应解读为伤害流行率或严重度。
What are some points that can be further explored?
作者在§5.6列出检索、映射和频率解释上的局限,§5.5另写后续方向。
作者指出的局限与后续方向
- 检索:作者称检索为英文,会议范围写在§5.6所指的Section 6(列表见§3),强调HCI,临床、法律、产业和平台安全研究代表性较低;后续可看相邻领域如何处理青年AI风险(§5.6)。
- 映射:把来源报告的关切映射到YAIR、Solove和MIT需要解释判断;一件事可有多重后果,关切可以跨类。作者建议以后验证映射,尤其是现有分类里代表性较差的青年特有风险和对策(§5.6)。
- 频率:识别的是文献中出现哪些关切,不是实践中伤害多常发生。作者写明不应把语料频率当成流行率或严重度,并称需要更大规模和纵向研究(§5.6)。
- 年龄与视角:证据跨年龄,包括把青少年和青年成人合并的研究,以及经由父母、教师或专家看儿童经验的研究。作者建议区分发展阶段,并在适当时纳入青年自己的视角(§5.6)。
- 模型会变:部分研究考察的原型建在此后已变化的模型上。作者称具体行为和防护可能变化,关系、制度和发展上的问题仍相关,因而需要纵向和部署后研究(§5.6)。
- §5.5写出的方向:把对策从提议做到评估,并报告对青年的后果、假阳性与假阴性、随时间的适应或规避,以及教师、父母和服务者的劳动;把家庭、学校、同伴、平台和服务之间的中系统做成设计对象,包括报告路径、交接和共享可见性;青年HCI与对齐研究协作,为儿童数据二次使用做设计与流程回应,不宜直接对儿童研究的风险改从法律、临床或心理证据综合,并更好覆盖年幼儿童、残障与性别多元青年、边缘化社区和作者所称的Majority World。结论把目标写成与AI一起的安全青年发展。
实验覆盖范围
- 语料为2019–2026年100篇英文实证论文;表2纳入CHI 71、CSCW/PACM HCI 10、FAccT 10、DIS 4、AIES 2、IEEE S&P 1、USENIX Security 1、SOUPS 1。
- 风险编码对照YAIR六类和84个编号风险,隐私对照Solove的收集、处理、传播;对策对照MIT四域23子类,阶段记为提议、设计或实施、评估。
- Table 5汇总52项对策、80条关联和36类风险的阶段;§5.1另按34类风险报告YAIR覆盖为完全12、部分16、无对应6。
- 作者称综述不限于生成式AI,场景包括教育、家庭、照护和公共服务;安全会议产出低仍纳入。
- 论文未报告编码者间一致性统计、伤害流行率、作者自行运行的模型实验,以及消融。作者写明被综述研究均未采用纵向设计。
Summarize the main content of the paper
作者称多数风险-对策关联停在提议,并主张把目标扩向安全的青年发展。
Saha、Yu与Wang的SoK,用100篇HCI与S&P实证论文,把青年AI风险和对策按成熟度连在一起。
- 问题:青年在学校、家庭、照护和公共服务里接触AI。作者认为只列出风险不够,还要知道对策是写在纸上、已经做出,还是评估过,以及评估测的是不是免于伤害。
- 做法:PRISMA综述,年份为2019–2026。风险主用YAIR,隐私辅以Solove,对策用MIT缓解分类;框架盖不住的条目另行归纳。青年定义为18岁以下。阶段按提议、实施和评估记录。
- 风险范围:语料写出行为与社会发展、心理健康、毒性、误用与剥削、偏见/歧视、隐私,以及作者增补的控制与能动性、可用性与排斥、系统可靠性。作者称隐私未见Solove所说Invasion的独立证据。34类风险里,12类被YAIR完全覆盖,6类没有对应(§5.1)。
- 成熟度:Table 5中,80条风险-对策关联有40条(50%)停在提议、14条(18%)已评估;52项对策里24项(46%)仅提议、13项(25%)已评估。36类风险按最高阶段计,5类(14%)没有对策。§5.1另称二次使用是唯一没有提议对策的风险;论文未说明这与Table 5的5类如何对应。
- 作者的结论:许多伤害位于系统周围的关系,而不只是模型故障;技术控制可以约束模型,更难的是周围的基础设施和关系。作者建议把对策推进到评估,把跨场景衔接本身当作设计对象,并把目标从减少伤害扩到支持青年发展所需的条件。评估应看对青年的后果、用户适应防护之后它是否仍有效,以及教师和一线成人能否维持这些防护。