论文提出针对手语翻译与儿童安全过滤交叉地带的部署前审计框架
Not What a Child Expressed
作者称未见手语转文本与儿童安全的公开联合评测,并提出部署前审计协议。
- 消费级ASL到英语翻译已接入听写、发消息和对话助手,儿童安全机制却只看文本。作者称未见公开的联合评测,且该模型未在18岁以下手语者上训练或正式评测。改动否定、角色、保密、紧迫或求助,可能在流畅度不受扰时仍改变安全判断。
- 提议聋人知情的部署前审计:同一净化场景以四种翻译进入同一文本安全机制。计划24–36个合成场景、七类安全相关失败,以及槽位保持、决策一致、分开的假阴假阳和不确定时的处理。计划首先做Auslan案例。
- 作者在Limitations称审计是前瞻性的,不声称已有事件由翻译错误造成;ASL到英语的证据不给出Auslan错误率,成人代理也不能说明儿童上的表现。第4节写明评测为计划,未报告结果。
- Metrics
- SCSPDDCseverity-weighted error ratessafe uncertainty handling
论文指出自动手语翻译(SLT)已进入消费产品,而面向儿童的 AI 与平台信任安全工具依赖文本过滤和诱导分类器做判断,使用 SLT 的听障儿童因此要经过一层翻译才能触达这些防护。作者称未发现任何公开记录的系统对两者做过联合评测,且主流已部署的 SLT 模型既未在 18 岁以下手语使用者上训练,也未做正式评测。翻译中若改变否定、参与者角色、保密性、紧迫性或求助表达,可能在不影响流畅度的情况下改变安全决策。论文为此提出一套以聋人视角为依据的部署前审计方案,包含失败分类、脱敏场景模式、四种对照条件和四项结果指标,计划以 Auslan 作为首个案例研究。该文为 5 页、1 张图,已被 NeurIPS 2026 Workshop on Child Safety in AI 接收为非存档海报。
Paper analysis
What problem does this paper attempt to solve?
作者提议在手语转文本边界上,于部署前审计儿童安全决策是否被翻译改变。
当手语儿童的输入要经自动手语转文本才到达儿童安全机制时,这些机制应如何被审计。
- 场景:作者称ASL到英语的自动翻译已进入主流移动键盘和转写应用,用于写消息、在原本打字处书写,以及向已带年龄关联防护的对话助手提问。儿童安全机制根据文本作决定;手语儿童经由翻译才触及它们。
- 现有不足:摘要称未找到将二者联合评测的公开记录系统;引言称未找到作为单条流水线的公开记录评测。翻译研究测质量,儿童安全研究假定文本忠实,聋人保护依赖人工译员或手语优先设计。作者划出的证据边界是ASL到英语、成人而非儿童;并转述模型未在18岁以下手语者上训练或正式评测。
- 核心观察:作者称部署系统记录的失败不成比例地落在安全决策所依赖的意义上,包括漏掉non-manual markers(否定、疑问、语法情感)、多义手势、地区变体、幻觉文本、手指拼写姓名的猜测扩展、过早补全、较弱的空间索引和classifier predicates,以及60秒片段独立评测、无多轮历史。作者认为,改动否定、角色、保密、紧迫或求助的错误,可以在流畅度不受扰时仍移动风险评估,语料级相似度不会登记这一点。
- 本文提出:作者把该边界定义为尚未被充分审计的安全接口,而不是无障碍细节。作者给出按对安全决策的可能影响定义的失败分类,以及可在不招募未成年人时开始的、聋人知情(Deaf-informed)且注重隐私的评测协议。计划首先以Auslan为案例。
What related research exists?
相关工作分成三支,作者称翻译介导的安全决策尚未被考察。
作者按问题背景分成三支,并把本文放在尚未交汇的接口上。
文本中心的儿童安全机制
- 儿童专属评测:作者引用Rath等(2025):面向一般用户的安全评测可能漏掉儿童特有风险,儿童需要自己的威胁模型和伤害类别。
- 诱骗的逐轮判断:作者引用An等(2025):grooming渐进且依赖上下文,何时干预要在准确性与行动过晚的代价之间权衡;引言另称grooming检测已被当作逐轮判断。所引商业分类器(Thorn的Safer Predict,以及Hive接入的grooming检测)为索取影像、计划线下见面、情感依赖、索取个人信息和迁移到审核更弱的平台打标签,并用置信度把消息路由到复核。
- 年龄过滤与始终不成为文本的手语:作者转述,面向儿童的助手使用年龄关联过滤,提供方明文称这些过滤并不完美。通话、片段或虚拟形象中的手语视频若从不变成文本,则文本、图像和音频审核都不会触及它。Sharevski等(2025)报告,美国聋及听障成人认为审核对他们的内容服务不佳。
已部署手语转文本及其已知限制
- 部署系统与影响报告:作者称一个在超过100,000小时数据上训练的大规模多语言手语到文本模型,已作为ASL到英语听写进入主流移动键盘和转写应用。影响报告记录漏掉non-manual markers、多义手势、不一致的地区变体、幻觉文本、手指拼写姓名的猜测扩展、过早短语补全、空间索引和classifier predicates较弱,以及60秒片段独立评测、无多轮历史。
- 回路中的核验:手语者在发送前审阅并编辑英语。作者转述报告的说法:该防护假定使用者具备可用的英语读写能力;模型既未在18岁以下手语者上训练,也未做正式评测。作者认为该假定对儿童更可能不成立。
- 语法、语义评测与隐私:作者据Fox等(2025)写,手语有自身语法,翻译不是转写,手语不是手上的英语。Chowdhury与Sanyal(2026)在别处论证手语翻译需要语义感知的评测。Rust等(2024)讨论大规模、顾及隐私的手语翻译;作者称手语视频携带生物特征身份,留存和检查录像有其自身代价。
聋童保护与研究治理
- 已有的手语可达保护:Childline通过人工BSL译员提供咨询。DeafKidz Defenders以视觉、手语优先的活动,在国家手语中教授识别虐待、同意与求助。作者称手语可达的保护是已确立的需要,不是推测出来的需要。
- 沟通障碍:作者引用Young(2024):沟通障碍本身可以提高保护风险,包括使专业人员误判儿童的沟通。
- 聋人从一开始参与:Desai等(2024)与Fox等(2025)主张,聋人利益相关者应从一开始塑造研究问题和设计,而不是在结尾做验证。
作者称两条文献分开发展,尚未被考察的是经由翻译作出的安全决策应如何审计。本文把该边界定义为安全接口;失败按对安全决策的可能影响划分,而不是按一般翻译指标;协议可在不招募未成年人时开始。
How does the paper address this problem?
用失败分类、净化场景槽位、四种翻译条件和四类指标,比较同一机制的决策是否因翻译而变。
这是一份部署前审计设计,不是已完成的测量。框架为 Proposed Audit Framework:分析单位是翻译输出与下游决策这一对,而不是翻译质量本身。作者计划首先以Auslan做案例。
系统边界
- 路径与决策:手语用户、手语到文本、基于文本的儿童安全机制,再到决策。正文写决策为allow、clarify、warn、support、flag或escalate之一。Figure 1的文字列出allow、clarify、warn、support、escalate,并标有unexamined safety boundary。
- 两个下游目标:面向儿童的安全层,以及grooming或风险文本分类器。作者称商业系统只提供动机,不是审计对象;除非获得授权API,应使用法律上可获取、可复现的代表性模型,以便发现可复制,并且不对具名产品作主张。
- 归因:四种文本进入同一个机制。图注称,决策上的变化可归因于翻译。图中比较项为语义保持、决策一致性、severity加权错误和不确定性处理。
场景与槽位
- 计划规模:24–36个净化、非露骨、合成场景,主题来自公开保护指引以及聋人与专家输入,而不是涉及真实受害者的对话。六类、每类四到六个:grooming与保密;胁迫、同意与影像分享;线下见面或平台迁移;欺凌、威胁与勒索;痛苦与求助;向可信任的成人或助手披露。
- 槽位与最小对:actor、age、relationship、action、consent_or_negation、secrecy、channel_or_location、urgency_or_distress、help_seeking。优先只改变一个安全关键属性,例如同意的有无,或请求来自同伴还是成人。作者称,最小对用来分开对安全相关差异敏感的系统,和只在该话题上产出像样文本的系统。
- 两种对手模型:其一,听力正常且Auslan很少的冒犯者,用手语生成或虚拟形象工具把自己呈现为流利手语者,或呈现为儿童信任的人物。其二,探测翻译歧义,使在Auslan中有害的内容在下游变成无害英语。变体保持净化与合成。作者称,槽位写明必须翻转哪个属性,故最小对同时充当红队探针。
七类失败
按所危及的安全属性分组,而不是按一般翻译指标。
- 极性或同意反转:否定、拒绝或同意被丢掉或反转。
- 行为者与受害者混淆:空间索引或代词选择对调谁作用于谁。
- 年龄或身份丢失:年龄、家庭或权力关系、或姓名被省略或被猜出。
- 保密或胁迫被减弱:保密要求或威胁被软化成普通对话。
- 情感或紧迫性丢失:携带警报、疑问或否定的non-manual markers丢失。
- 上下文碎片化:更早轮次、先前指称或对方消息不可用。
- 幻觉:出现未曾做出的词、实体或意图。
作者称每一类都对应部署系统为自己记录的限制,也对应一般指标不单独分离的手语属性。任一类会不会以及多常改变儿童安全决策,是框架要问的经验问题;论文未给频率。
四种条件与治理
- C0:聋人双语Auslan专家与合格译员产生的oracle参考。作者称逐词渲染不是金标准。
- C1:人工中介的传译,代表高风险沟通中的专业实践。
- C2:自动SLT的top-1,即普通用户收到的输出。
- C3:关键槽位不确定时呈现置信度或替代项,并要求澄清,或弃权。
每个场景由一名同意的成人聋人手语者签一次,再按四种方式呈现。安全模型保持固定。Figure 1的文字写成人聋人Auslan手语者。
治理上,聋人与Auslan顾问应帮助设定研究问题、场景和错误的severity排序;应获得报酬,并能拒绝他们判定不安全的措辞。试点不招募儿童,也不收集真实披露。原始手语视频按敏感生物特征数据处理:保留最小化、访问受限、有确定的删除时间表。日后涉及未成年人,需要单独伦理批准、儿童安全合作方和披露协议。
计划中的度量与判定
- 前置:槽位所依赖的安全关键手势是否在词汇表中,并随Auslan变化复查。作者称,认不出的手势无法被保持。
- SCSP:各标注槽位是否被保持;同意、行为者和紧迫性的权重大于附带措辞。论文未给出数值权重。
- DDC:翻译文本与oracle相比,风险等级、回应类别和升级决定是否相同。
- 另两类:severity加权的错误率把假阴性与假阳性分开。作者称漏掉紧迫风险是更重的失败,不必要的升级仍使儿童付出隐私、能动性与信任。安全的不确定性处理看系统是询问、弃权或转介人工,还是自信地继续。
- 分析与标注:BLEURT或BERTScore只作基线。作者的工作假设是,流畅度不会稳定对应决策一致性。计划按失败类别、场景类别和手语者报告,做配对比较,并追踪翻译错误、被改变的槽位、被改变的决策。两名具备Auslan与保护能力的标注者,报告一致性,第三人裁决。作者写明以上均为计划,未报告结果。
What experiments did the paper conduct?
第4节只给出计划中的评测设计,作者写明未报告任何结果。
实验设置
- 模型:论文未运行模型。计划使用法律上可获取、可复现的代表性模型;Figure 1写一个模型、全部四种条件。论文未说明模型名称,也不对具名产品作主张。
- 材料:计划24–36个净化合成场景,六类、每类四到六个,由同意的成人聋人Auslan手语者各签一次。论文未报告已完成数量。
- 条件:C0为专家与译员的oracle,C1为人工传译,C2为自动SLT的top-1,C3为不确定时澄清或弃权。BLEURT或BERTScore只计划作为一般指标基线。
- 指标:SCSP、DDC、分开报告的假阴性与假阳性、安全的不确定性处理。DDC看风险等级、回应类别和升级决定是否与oracle相同。论文未给出数值阈值或槽位权重。
- 判定:计划由两名具备Auslan与保护能力的标注者标注,报告一致性,第三人裁决。论文未说明LLM评审模型。
- 重复:论文未报告样本量、重复次数或查询次数。第4节写明全部为计划,未报告结果。
主结果
作者写明未报告结果。下表只列计划条件,结果格为未报告(据第3节与Figure 1)。
条件 论文中的角色 结果 C0 聋人双语专家与合格译员的oracle参考 未报告 C1 人工中介传译 未报告 C2 自动SLT top-1 未报告 C3 关键槽位不确定时澄清或弃权 未报告 - 归因是设计说明:图注称四种文本进入同一机制,决策变化可归因于翻译。这不是已测到的差异。
- 工作假设未检验:作者假设流畅度类指标不会稳定对应DDC。论文未检验。
- 无数值:SCSP、DDC、假阴性、假阳性和不确定性处理均无数字。论文未按模型分行,因为未列出被测模型。
其他消融与分析
- 论文未报告消融、参数分析、迁移实验或失败案例的数字。
- 计划按失败类别、场景类别和手语者报告,并做配对比较和错误链追踪;这些均未执行。
- 计划加入两种对手模型下的净化对抗变体,并先检查安全关键手势是否在词汇表中;论文未报告检查结果。
What are some points that can be further explored?
作者称审计是前瞻性的,ASL证据与成人代理都不能说明Auslan或儿童上的表现。
作者指出的局限与后续方向
- 前瞻性:公开证据不能确立端到端、经手语中介的儿童安全流水线已被部署或评测,故审计是前瞻性的;作者不声称任何已记录事件由翻译错误造成(Limitations)。
- 不能从ASL带出Auslan:部署证据关于ASL到英语,未建立Auslan错误率;Auslan是计划中的案例,不是从ASL带过来的结果(Limitations)。
- 成人代理:所引模型既未在18岁以下手语者上训练也未正式评测;试点用成人代理,因此两者都不能说明系统对儿童的表现(Limitations)。
- 决策归因:下游机制自带其自身偏差,设计必须把被改变的决策归于翻译,而不是归于安全模型(Limitations)。
- 不取代专业人员:此类审计不是支持自动化的论据,高风险披露中不应取代合格译员、咨询师或保护专业人员(Limitations)。
- 后续与开放问题:下一步是伦理批准下、与聋人及儿童安全组织合作的Auslan试点,再检验协议能否迁到其他手语。作者称槽位词表或可催生紧凑的设备端检测器,以回应第2节未被文本、图像和音频审核触及的手语通道;该类识别已能在微控制器上运行,但迄今是另一种手语、来自可穿戴传感器而非视频。作者还称,输出过滤和隐私保护训练可能降低受保护儿童的翻译质量,可接受运行范围是开放问题,severity加权度量可以量化它(Limitations)。
实验覆盖范围
- 第4节列出SCSP、DDC、severity加权错误率、安全的不确定性处理,以及按失败类别、场景类别和手语者的报告、配对比较和错误链追踪,并写明未报告结果。
- 计划的比较是C0、C1、C2、C3进入同一个文本儿童安全机制;论文未说明代表性模型的名称。
- 计划材料为24–36个、六类、每类四到六个净化合成场景,由同意的成人签署;论文未报告已完成的签署数量、标注数量或重复次数。
- 计划由两名具备Auslan与保护能力的标注者标注并报告一致性,第三人裁决;论文未报告已得到的一致性数字。
- 第3节写了两种对手模型下的净化对抗变体,第4节写了词汇表是否含安全关键手势的前置检查;二者都写在计划中,论文未报告检查结果。
Summarize the main content of the paper
作者提议聋人知情的部署前审计,以检查手语转文本是否改变儿童安全决策。
手语儿童到达基于文本的儿童安全机制时,机制看到的是机器翻译,不是儿童所做的手语。作者要解决的是:这条边界在部署前应如何审计。
- 缺口:作者称ASL到英语听写已能写消息并询问带年龄关联防护的对话助手,而过滤和grooming分类根据文本作决定。摘要与引言都称未找到公开的联合评测。部署报告里的弱点落在否定、指称、情感和上下文;核验输出还假定可用的英语读写能力,且未在18岁以下手语者上训练或正式评测。
- 协议:决策取允许、澄清、警告、支持、标记或升级。失败按七个安全属性分组。计划用24–36个净化合成场景、结构化槽位和只改一个安全属性的最小对。四种呈现是专家oracle、人工传译、自动top-1,以及关键槽不确定时澄清或弃权。度量是SCSP、DDC、分开的假阴与假阳,以及不确定时是否询问、弃权或转介。
- 证据:作者写明没有结果,工作假设是流畅度不会稳定对应决策一致性。具名商业产品不是审计对象。试点用同意的成人扮演合成场景。
- 作者的收束:文本防护被做成仿佛输入就是用户所说的话。作者写道,在经手语的访问仍然较窄时检查该接口,会在界面失败影响儿童获得帮助之前把这些失败暴露出来。作者同时写明,审计不是自动化的论据,高风险披露中不应取代合格译员、咨询师或保护专业人员。