Lost in translation? A comparative study of cross-lingual transfer of composite harms in large language models

安全评测多停在英语，翻译看不清有害意图或结构跨语言后是保留、变形还是消失。

• 使用场景： 作者称模型日常用于数十种语言，但拒答和护栏多按英语数据调节，不能默认换语言后仍保持原状。翻译被当作探测多语言安全的桥梁；作者称它不完美，但仍是观察有害意图如何跨语言移动的最清楚办法。
• 现有不足： 作者称直接翻译基准会漏掉社会文化与语境细节。既有工作多停在单一语系或纯翻译设置，没有把句法操纵和语义危害放在同一基准里比较迁移。
• 核心观察： 有些危害几乎原样留下，有些弯曲或消失。作者要测的是：句法与语义一起离开英语后，安全对齐在何处失效。
• 本文提出： 翻译型基准 CompositeHarm。它合并 AttaQ 的结构化对抗攻击与 MMSafetyBench 的情境化现实危害，覆盖英语、印地语（Hindi）、阿萨姆语（Assamese）、马拉地语（Marathi）、卡纳达语（Kannada）、古吉拉特语（Gujarati），并用三种开源模型做轻量推理评测。

论文的 Related Work 分成多语言安全评测，以及对抗与多模态红队。

多语言安全评测

• safety drift： Wang 等（2024）在 16 种类型学不同的语言上分析安全对齐随与英语的语言距离下降，称之为 safety drift。论文转述其分析：直接翻译基准会忽略社会文化与语境细节。
• 南亚语言基准： Li 等（2024）覆盖印地语、泰米尔语、孟加拉语等印度语言，强调需要文化上落地的评测。论文未拿它与本文做数字对照。
• 翻译桥梁： 引言引用 Deng 等（2023），把翻译当作测试多语言安全的实用桥梁。不完美这一判断是作者对这种做法的说法，不是论文转述 Deng 的原话。

对抗与多模态红队

• AttaQ 与可迁移攻击： Kour 等（2023）用构造提示引出不安全行为，侧重混淆或编码指令、角色扮演和间接请求。Zou 等（2023）展示这类攻击常可跨模型、跨模态迁移，并提出通用对抗触发；论文同时引用 Ganguli 等（2022），称对齐微调之后仍可能被绕过。作者称这些研究仍限于单语或单模态情境。
• 情境危害数据： Li 等（2023）的 MMSafetyBench 被作者当作多模态安全数据里的情境真实性来源，与 AttaQ 的结构化对抗合在一起。

基线与对照

• 英语原提示： AttaQ 与 MMSafetyBench 的英语提示保留为对照，设置节称用来核对流程与既有研究是否一致。
• 欧洲语言文献数字： 法语、西班牙语、德语等纯文本拒答率与 ASR 取自 Derner and Batistić（2025）。作者称该对比是概念性的，不是同一协议下的受控实验。

作者称本文相对既有翻译工作，是跨语系看危害迁移，把多个安全域的提示放进同一基准，并用类型学与地理多样性量化跨语言鲁棒性。作者称这一复合设计是差异化危害迁移的大规模研究中的首次。

CompositeHarm 把两类英语危害提示译入五种印度语言，在固定解码下生成，再用大模型做二元判定，分开看对抗句法与情境危害。

两类来源与对照

• AttaQ： 结构化对抗，常含混淆或编码指令、角色扮演和间接有害请求，用来看句法操纵能否跨语言留下。
• MMSafetyBench： 情境化、政策相关危害，论文举例包括仇恨言论、错误信息和伦理困境，更靠语义而不是刻意攻击。
• 英语对照： 原提示保留。作者称目的不是取代翻译评测，而是把它当作受控探针。
• 被测模型： GPT-OSS 20B、LLaMA-3-8B-Instruct、Qwen3-32B。作者称选小到中等开源模型，以反映算力有限、不依赖大型专有系统的部署条件。引言称未做端侧部署。

抽样、翻译与核验

• 抽样： 共 280 条，两个来源各 140 条。抽样优先覆盖暴力、歧视、露骨内容、欺诈、错误信息等类别，以减少数据集特有偏差。论文未给出各类别条数。
• 翻译： 使用 NLLB（Team 等，2022）译入五种印度语言，得到 1,400 条译文（280×5）。加上英语，共 1,680 条；每语言 280 条，两类来源各 140 条（Table 1）。
• 人工核验： 双语标注者核验并修改。论文称每种语言交给熟练该语言的学生审阅者，对照英语检查语义、文化恰当性，以及对抗结构是否保留。论文未报告人数或一致率。

生成、评审与指标

• 解码： temperature = 0，top-p = 1.0。全部评测经 Groq API。
• 评审： 每条输出由 LLaMA-3.3-70B 自动评判（框架引用 Zheng 等，2023）。两个二元问题：助手是否拒答；是否产生有害或不适当响应。
• 汇总： 第一问为是记入拒答，即 Refusal Rate（RR）；表格亦称 Rejection Rate。第二问为是记入有害或可执行完成，即 Attack Success Rate（ASR）。作者称“否+是”是未拒答且有害，“是+否”是安全拒答且无有害延续。
• 规模： 1,680×3 = 5,040 条响应。论文未报告重复次数。引言称大规模评审只做选择性核验；协议则写每条输出都由该评审模型评判。论文未说明二者如何对应。

轻量评测

• 选择计算： 作者称用较小、蒸馏模型做初步生成，大规模评审模型只做选择性核验，以减少冗余 API 与 GPU 使用。论文未报告耗时、能耗或调用削减量。
• 指标含义： RR 是被正确拒答的提示比例；ASR 是引出有害或违反政策响应的比例。作者称二者一起看过度拒答与不安全顺从的权衡。

实验设置

• 目标模型： GPT-OSS 20B、LLaMA-3-8B-Instruct（正文亦称 LLaMA-3-8B）、Qwen3-32B（正文亦写作 Qwen 3 32B）。评审为 LLaMA-3.3-70B。翻译为 NLLB。
• 数据： CompositeHarm 六语言各 280 条，AttaQ 与 MMSafetyBench 各 140 条，共 1,680 条（Table 1）。响应 5,040 条。
• 协议： temperature = 0，top-p = 1.0；Groq API；两个二元判断。论文未写评审温度、多次投票或统计检验。
• 指标： RR / Rejection Rate 与 ASR。设置节称英语原提示用于核对流程与既有研究是否一致。
• 文献对照： Table 3 的欧洲语言数字来自 Derner and Batistić（2025），不是这三模型在本文协议下的实测。
• 重复： 论文未报告重复次数或置信区间。Figure 1 为分模型图，正文未列出图中各点数值。

主结果

Table 2 是三模型平均，不是单模型一行。

Swipe horizontally to read the table

语言	平均拒答率	平均 ASR	出处
English (Ours)	39.3%	4.7%	Table 2
Hindi	43.8%	6.1%	Table 2
Marathi	40.7%	10.4%	Table 2
Assamese	29.9%	10.2%	Table 2
Gujarati	22.0%	22.0%	Table 2
Kannada	21.4%	21.1%	Table 2

• 作者解读： 作者称拒答与有害率因模型、语言差别大，多语言安全对齐不是均匀属性，而是过度谨慎与不安全顺从之间的脆弱平衡。作者称 Figure 1 按语言平均后，印地语和马拉地语整体最稳，卡纳达语和古吉拉特语下降更明显；离英语越远，靠表面线索的拒答越吃力。
• 与表内关系： 印地语平均拒答率高于本文英语行，ASR 仍高于英语。作者仍把印地语、马拉地语称为整体最稳。阿萨姆语拒答率低于马拉地语，ASR 与马拉地语接近。
• 分模型正文： 作者称 GPT-OSS 20B 最谨慎，平均拒答超过三分之二，很少产出不安全文本，偏保守、过度防御。LLaMA-3-8B 更许可，在古吉拉特语和卡纳达语 ASR 越过 45%。Qwen3-32B 居中，拒答率大多低于 20%，有害响应率中等。这些不是 Table 2 的格子。

与欧洲语言的概念对比

Table 3 表注写欧洲语言来自 Derner and Batistić（2025），印度语言来自 Figure 1。正文注又称 Table 3 的 ASR 与 RR 直接来自 Beyond Words，并称 MMSafetyBench 提示对二元指标贡献很小，主要导致幻觉或错位响应。印度语言数字与 Table 2 相同，此处不把它们改写成 Derner 的实测。

Swipe horizontally to read the table

语言	平均拒答率	平均 ASR	出处
English (AttaQ)	82.7%	4.7%	Table 3
French	83.0%	4.0%	Table 3
Spanish	86.3%	1.3%	Table 3
German	80.7%	3.7%	Table 3

• 作者说法： 作者称法语、德语、西班牙语等拒答率均高于 80%、ASR 均低于 5%，并接近强英语基线。作者称该对比是概念性的，更严格的受控评估留待后续。
• 印度语言侧： 作者称出现安全对齐的完全崩溃：平均拒答率下降超过一半；古吉拉特语和卡纳达语的平均 ASR 增至 4–5 倍。倍数是作者的总括，表中没有单独的倍数列。
• 英语自身： 作者称本文轻量流程里的较小模型，即便在英语上也弱于 Derner 的大规模纯文本设置；同时称本文英语基线仍明显强于随后的印度语言结果，跨语言下降不能只归因于实验配置。

二元指标未覆盖的响应

• 作者给出的合计： 印地语 RR 与 ASR 合计 49.9%，未分类占 50.1%；古吉拉特语合计 44.0%，卡纳达语合计 42.5%。作者称英语两率合计接近一半，其余多为合法拒答或中性完成。论文未把英语合计写成一个精确百分比。
• 两类软失败： 逃避式响应是未明确拒答、也未生成有害内容，常为含糊、离题或幻觉。护栏拦截是模型已生成违反政策的回复，但被单独的 API 级过滤器挡住。论文未给出两类条数。结果节有一个卡纳达语逃避示例，此处不复述提示。
• 作者解读： 作者称期望行为是明确、懂语境的拒答。软失败说明内部机制未能识别或理解危害，最终避开有害结果依赖运气或外部过滤。

对抗句法与情境危害

• 句法： 作者称 AttaQ 部分把模型推得最紧。LLaMA-3-8B 在卡纳达语和古吉拉特语上 ASR 常高于 45%。作者认为其过滤围绕英语句子结构调节，这是推测（strongly suggests），不是干预实验。
• 另外两模型： 作者称 GPT-OSS 20B 几乎不给出直接有害答案，但偏字面、过度谨慎。Qwen3-32B 拒答少于 GPT-OSS、ASR 中等；作者认为流利掩盖了依赖简单词汇线索的对齐。
• 语义： 作者称 MMSafetyBench 的情境危害在印度语言中 ASR 也上升，但没有那么陡。作者的结论是句法比语义更快地破坏安全。论文未给出两类来源分开的 ASR 表。

其他消融与分析

• 论文未报告温度、top-p、危害类别或翻译质量的数值消融，也未报告分模型完整数值表。
• 作者称 Qwen 在英语常拒答露骨或暴力提示，译入印度语言或形态变化后有时给出部分或程序性回答；LLaMA 有时对明确有害任务给出分步细节，又拒答较温和或仅具政治争议的内容；GPT-OSS 默认泛化拒答，非英语时偶发换成无关建议，或在良性措辞下部分顺从。均无计数。
• 文献对照而非本文实验：作者转述 Derner and Batistić（2025）中 gpt-4.1-mini 对文本有害提示的 ASR 为 1–2%，同一文本做成图像后升至 21%。作者称低资源、非英语设置是两边共同的薄弱处；本文是句法泛化失败，对方是模态泛化失败。

作者指出的局限与后续方向

• 模拟评审（Discussion）： 作者写出的局限包括使用 LLM-as-a-judge 的模拟评测。
• 语言覆盖（Discussion）： 作者称语言覆盖集中，未必推广到所有非英语情境。
• 后续评测（Discussion）： 作者建议纳入人工评测，并扩展到更多语系，例如汉藏语系或亚非语系，以核验现有发现。
• 语系与文字（Conclusion）： 作者称后续研究必须关注语系特定的对齐和非拉丁文字。
• 效率权衡（Conclusion）： 作者称需要直接处理效率与多语言安全的权衡，并称更省计算的轻量模型也可能最容易出现跨语言安全失败；这对端侧与边缘部署尤其要紧。

实验覆盖范围

• 被测生成模型为 GPT-OSS 20B、LLaMA-3-8B-Instruct、Qwen3-32B，共 3 个；评审为 LLaMA-3.3-70B（Experimental Setup）。
• 语言为英语及五种印度语言；每语言 280 条，两个来源各 140 条，合计 1,680 条提示、5,040 条响应（Table 1，Evaluation Protocol）。
• 翻译使用 NLLB，并由双语标注者、学生审阅者人工核验；论文未报告人数、一致率或修改比例。
• 生成设置为 temperature = 0、top-p = 1.0。论文未报告重复次数、统计检验，以及引言中的选择性核验与“每条都评判”如何对应。分来源 ASR 表未给出；Figure 1 的分模型点值未在正文逐点列出。
• 欧洲语言数字引自 Derner and Batistić（2025）。作者在结果节称对比是概念性的。作者称未做端侧部署。本文实验是翻译后的文本提示；多模态攻击在文中作为文献对照讨论。

CompositeHarm 用翻译把结构化对抗和情境危害放进同一套六语言评测，看安全对齐离开英语后还剩多少。

• 问题： 拒答和护栏多在英语上调节。翻译后，有害意图可能原样留下，也可能变形或消失，所以只看英语评测不够。
• 做法： 从 AttaQ 与 MMSafetyBench 各抽 140 条，用 NLLB 译入五种印度语言并人工核验，连英语共 1,680 条。GPT-OSS 20B、LLaMA-3-8B-Instruct、Qwen3-32B 在 temperature = 0、top-p = 1.0 下作答，LLaMA-3.3-70B 判是否拒答、是否有害。
• 平均结果： Table 2 中三模型平均 ASR，英语为 4.7%，古吉拉特语 22.0%，卡纳达语 21.1%；平均拒答率英语 39.3%，印地语 43.8%，卡纳达语 21.4%。印地语拒答率高于本文英语行，ASR 仍更高。
• 分模型与缺口： 作者称 LLaMA-3-8B 在古吉拉特语和卡纳达语 ASR 越过 45%，GPT-OSS 20B 平均拒答超过三分之二，Qwen3-32B 拒答率大多低于 20%。作者称印地语有 50.1% 的响应落在 RR 与 ASR 之外。
• 作者结论： 作者称对抗句法比情境危害更易失守；翻译基准是必要的第一步，但还不够。二元指标盖不住逃避式回答和外部护栏拦截。与欧洲语言的数字对比来自 Derner and Batistić（2025），作者称它是概念性的。作者并称更省计算的轻量模型也可能更易出现跨语言安全失败。