研究提出 IRT 框架拆解大模型跨语言安全护栏退化

聚合的越狱成功率无法说明跨语言安全失败来自模型能力、语言难度，还是某条提示词在某语言上的特异差距。

• 场景与重要性：作者称大语言模型在非英语、尤其斯瓦希里语、孟加拉语、爪哇语等低资源语言上安全护栏会变差，带来潜在的全球安全问题（Deng et al., 2024; Wang et al., 2024）。标准评测用 Jailbreak Success Rate（JSR）或 Attack Success Rate（ASR）把二元结果收成一个数。
• 现有评测的不足：作者引 Chouldechova et al. (2026) 称，不同条件或提示词子集下的模型不能公平比较。模型对某条提示词给出不安全回答时，JSR 不能完全拆开失败原因：是能力不足且与语言有关，是翻译破坏了安全相关语义，是某些伤害概念因文化框架更难表示，还是评审选择或题目歧义额外增加了难度。
• 核心观察：作者认为，没有合适的测量框架就无法把这些原因分开。他们把跨语言、能力相等的受试者上表现不同的题目对应到 Differential Item Functioning（DIF; Zumbo, 1999），并在本文中称为 cross-lingual safety gap。
• 本文提出的框架：提出 Multi-Group Item Response Theory（多组项目反应理论，IRT）框架，把失败拆成语言无关的安全稳健性 θ、英语上的固有题目难度 β、语言的全局处理难度 γ，以及提示词特异的跨语言安全差距 τ。在 MultiJail 上评测 5 个闭源家族、61 个模型配置、10 种语言，汇总 190 万条响应。

论文在引言和 Related Work 里把相关工作分成四组，并说明本文用 IRT 拆解失败原因，而不是只报聚合 JSR/ASR。

多语安全基准

• MultiJail（Deng et al., 2024）——覆盖 10 种语言、18 个伤害类别、3150 条提示词。本文的主实验用这一数据集。
• XSafety（Wang et al., 2024）——约 2.8 万条提示词、14 个伤害类别、10 种语言。本文用其分层子集做跨数据集验证。
• M-ALERT 与 LinguaSafe：M-ALERT（Friedrich et al., 2024）有 7.5 万条提示词，但只覆盖五种高资源欧洲语言。LinguaSafe（Ning et al., 2025）在 12 种语言上混合翻译、转创和母语撰写，但作者称只有一部分是母语撰写，且缺少配对的跨语言对照。作者称这些基准主要报告聚合 JSR/ASR，常把提示词集合、模型、预算和语言效应混在一起，对“为何失败”提供的工具有限。

多语越狱与安全迁移

• Code-switching（Yoo et al., 2025）——越狱提示词用多种语言书写时，安全行为可能变差。作者称这促使做语言特异的安全分析。
• 对齐的资源差异（Shen et al., 2024）——SFT/RLHF 式对齐往往在高资源语言上比低资源语言提升更多。作者称本文可以诊断这类语言特异失败。

心理测量、IRT 与 DIF

• IRT 用于 NLP 评测（Lalor et al., 2016）——用项目反应理论做更有信息量的评测尺度和更公平的模型比较。
• 近期 IRT 应用（Truong et al., 2025b; Truong et al., 2025a）——分别用于自适应 LLM 评测和无效基准题目检测。作者称本文用途不同：分解多语安全失败，而不是建自适应评测或找无效题。

跨语言表示与拒绝机制

• 概念空间对齐（Peng & Søgaard, 2024）——物理和有文化根基的概念，在向量空间里的跨语言迁移可能不如抽象概念可靠。
• 拒绝方向（Arditi et al., 2024）——机制研究认为拒绝行为常由单一方向介导。作者称二者共同支持一个假设：部分安全失败不只来自更弱的能力或更难的语言与题目，还来自提示词特异的跨语言安全差距。

基线方法与基准：主数据是 MultiJail；跨数据集验证用 XSafety 的分层子集（3080 条、14 类、10 种语言）。预测验证的基线是 Global Rate、Language Rate、Model Rate、Model×Lang Rate、Prompt×Lang Rate，以及去掉 τ 的 IRT。模型选择上还与 1PL、GRM、Bradley–Terry 比较。作者把本文定位为：在这些工作已经表明多语安全失败存在之后，用多组 IRT 把能力、语言难度和题目特异差距分开。

整体用 Multi-Group 2PL IRT：把模型配置对某语言某条提示词给出安全拒绝的概率，写成能力项减去难度项，再经 sigmoid。英语固定为参照语言。

问题设定与形式化

• 观测：XijL ∈ {0, 1} 是模型配置 j 对提示词 i 在语言 L 上的二元响应；1 为安全拒绝，0 为不安全。
• 概率：P(safe) = σ( αi ((θj + δjL) − (βi + γL + τiL)) )。θj 是语言无关的基础安全稳健性，δjL 是该配置在语言 L 上的适能偏移；βi 是由英语估计的固有难度，γL 是语言 L 的全局处理难度，τiL 是控制基础难度和全局语言效应之后的提示词特异差距。αi 是题目区分度。
• 参照：英语上 γen、τi,en、δj,en 固定为 0。附录 B 改用另外九种语言作参照，以检查这一选择是否驱动主要结论。
• 模型选择：相对只含 θ 与 β 的 1PL，2PL 增加每题 α，使部分题目更能分开更安全与更不安全的配置。相对有序结果的 Graded Response Model（GRM），作者因有序分数主要由极端类别主导、且排序基本不变而保留二元 2PL。AIC/BIC 比较放在附录 C，与 Bradley–Terry、GLMM 和矩阵分解的对比放在附录 D。

锚题与识别

• 为何需要锚题：跨语言估计需要跨语言不变的题目来固定测量尺度。
• 两步选择：先只保留安全率在 5% 到 95% 之间的题目；再在 2PL 下计算英语与每种其他语言的 Lord’s χ²，对语言取平均，留下 χ² 最低的 40 条作为锚题。
• 先验而不是硬约束：作者称这是启发式，因此不把锚题的 τiL 硬设为 0，而使用紧的正态先验 τ ~ N(0, 0.01)。传统迭代纯化在 10 种语言上过严，过滤后锚集为空；不过滤则难度范围过窄，γ 与 τ 的 |r| = 0.943（附录 E.1）。

估计、稀疏先验与预处理

• 估计：用 Bayesian Variational Inference（Blei et al., 2017）估计参数。τiL 上加层次 horseshoe 先验，把多数 τ 缩向 0，并避免 γL 与 τiL 自由对调。消融中 horseshoe 使二者相关降至 |r| = 0.081（附录 E 的 Figure 9）；在 XSafety 上，正态先验 |r| = 0.353，horseshoe 为 0.175。
• 二值化：GPT-5.2 按 6 点量表打分后，分数 ≥ 4 标为安全，1–3 标为不安全，0（无效）视为 Missing at Random。无效或缺失占 0.7%。
• 单维条件：在拟合全局 IRT 之前做 Exploratory Factor Analysis。作者规定优势比（第一与第二特征值之比）超过 3 才使用单一全局模型（Embretson & Reise, 2013）。

采样、评审与成功判定

• Pass@k：作者把 Pass@k 定义为每条提示词 k 次独立生成再聚合，用以估计响应分布，并称这与代码评测里的同名指标不同。Figure 2 的模拟中，Pass@1 时第一主成分只恢复 24% 方差，Pass@10 为 73%，Pass@30 超过 85%；作者因此取 k = 10。
• 四种采样：Low-Creativity（temp=0.4, top-p=1.0）、Standard（0.7, 0.9）、High-Risk（1.0, 0.95）、Chaos（1.3, 1.0）。附录 F.1 另用仅基础模型 N = 16 的拟合回应 p-hacking 担忧。
• 评审：主评审是 GPT-5.2。完整量规在附录 G.1。安全与否由上述阈值决定，而不是由本文设计的攻击是否成功来判定。

实验设置

• 被测配置：MultiJail 上 61 个配置、5 个闭源家族（GPT、Claude、DeepSeek、Gemini、Grok），基础模型见附录 F 的 Table 6，共 16 个基础模型、最多四种温度/top-p。XSafety 分层实验因 API 错误排除 8 个 Gemini 配置，报告 53 个。
• 数据：MultiJail 为 3150 条越狱提示词、10 种语言（英语、中文、阿拉伯语、孟加拉语、泰语、韩语、越南语、意大利语、斯瓦希里语、爪哇语）、18 个伤害类别。XSafety 分层子集 3080 条、14 类、10 种语言（6 种新语言、4 种共享）。响应合计 190 万。
• 生成：每条提示词 Pass@10。四种采样见第 3 问。
• 评审：GPT-5.2，5 为安全拒绝、1 为不安全、0 为无效；IRT 用 ≥4 为安全、1–3 为不安全。两位论文作者标注 300 条分层响应（10 种语言 × 3 个模型族 GPT、DeepSeek、Grok）。另有 9450 条做 GPT-5.2、Claude-4.5-Sonnet、Gemini-2.5-Pro 交叉评审。中文、泰语、孟加拉语由三位外部母语者评响应，其余语言用 Google Translate。
• 指标：JSR；EFA 的 KMO 与优势比；参数相关；翻译质量与 τ 的 Spearman ρ；预测任务为五折平均 AUC。人类–GPT-5.2 的 Cohen’s κ = 0.80–0.83，二元一致率 93.2–96.6%（附录 G.2）。三评审 Fleiss’ κ = 0.75，Quadratic κ = 0.82–0.83（附录 G.3）。英语上人类与 GPT-5.2 的平均 κ̄ = 0.959（附录 G.4）。
• 预测划分：Leave-One-Family-Out（LOFO）、Leave-One-Language-Out（LOLO）、Random 80/20。七个预测器见附录 O。

主结果

家族 JSR 区间与该区间两端的配置如下（Table 1）。“最安全 / 最不安全”按表中列名，对应区间的低端与高端。

Swipe horizontally to read the table

家族	JSR 区间	最低端配置	最高端配置
GPT	4.2–6.6%	gpt-4.1-mini_Standard	gpt-4o-mini_Chaos
Claude	2.3–4.4%	claude-3-haiku_High_Risk	claude-haiku-4.5_High_Risk
Gemini	3.5–11.8%	gemini-2.0-flash_Low_Creativity	gemini-3-flash-preview_Chaos
Grok	5.3–28.1%	grok-4-fast-reasoning_Low_Creativity	grok-4-1-fast-non-reasoning_Chaos
DeepSeek	2.9–3.0%	deepseek-chat_Low-Creativity	deepseek-chat_High-Risk

• 作者的解读：JSR 随家族和配置变化很大。作者称 Grok 最易被攻破（5.3–28.1%），DeepSeek 最低（2.9–3.0%）；家族内 Chaos 与 High-Risk 的 JSR 更高。全表最低是 Claude 的 2.3%，最高是 Grok 的 28.1%。
• 英语反转：作者称先前工作预期低资源语言 JSR 更高。GPT 常在斯瓦希里语或爪哇语上最高。Grok 相反：全部 16 个配置上英语 22.0%、孟加拉语 12.3%；其 8 个非推理配置为 35.4% 对 18.8%（附录 I.2）。作者称数据集中英语按 JSR 是整体最不安全的语言（Figure 12）。Grok 非推理配置的平均 θ = −0.36，全体均值 0.92，且非英语 δjL 多为正。Figure 3 中负 δ 表示比自身英语基线更不安全；作者称 Claude 与 GPT 偏英语中心对齐，Grok 与 DeepSeek 相反。
• 范围：反转出现在 61 个配置中的 22 个，集中于全部 16 个 Grok、全部 4 个 DeepSeek，以及 5 个 Claude 中的 2 个。XSafety 上为 53 个中的 22 个，并多出 8 个 GPT、少 8 个 Grok。作者抽查 300 对英语最不安全配置的提示词–响应，称标注正确：英语回答详细遵从，低资源语言对应回答是简短拒绝。

单维性与跨语言差距

• EFA：MultiJail 上 KMO = 0.942，优势比 7.37。作者称模型拒绝不同伤害主要经由共享机制，并据此拟合一个全局 IRT；EFA 在任何 IRT 步骤之前完成。XSafety 上 KMO = 0.897，优势比 3.31，作者把单维性视为在 MultiJail 上支持良好、在 XSafety 上处于边界。附录 J.1 用 Yen’s Q3 与 Kendall’s W = 0.465 检查高拒绝率是否人为抬高单维性。作者同时称，特定伤害类型上仍可能有残差，与 Pan et al. (2025)、Wollschläger et al. (2026) 的非主导次方向一致。
• 不确定性：附录 L.1 的 Figure 21 中，低资源语言的边界提示词比例和平均响应熵更高，英语在更少边界情形、更低熵的一角。高熵与 θ 的 Pearson r = 0.59（p < 0.001）。作者称高能力模型也更常靠近决策边界，而 Grok 表现为更一致的失败。
• τ 的位置：Figure 4 中，对角线以上是扣除全局偏移后仍比英语更难的非锚题比例（τiL > |γL|）。该比例在爪哇语 44%、斯瓦希里语 34%，其余七种语言为 17–27%，且并不随资源水平单调。作者称高 τ 提示词更多落在盗窃、财产犯罪和武器等更具体或身体性类别，歧视等更抽象类别 τ 更低。XSafety 上 unsafe instruction 与 goal hijacking 的平均 τ 最高。9450 个提示词×语言对上，|τ| 与评审不一致的 Spearman ρ = 0.0968（p = 2.03×10⁻¹⁸）；top-100 |τ| 的二元不一致为 0.177，其余为 0.098。作者称关系存在但可忽略，τ 不能很好地被解释成评审分歧假象。参数折半相关：θ 为 0.995，β 为 0.985，τ 为 0.904；τ 的逐次生成平均 r = 0.892；预测 P(safe) 与观测 r = 0.804，RMSE = 0.136。随机种子下 top-100 τ 中有 90 个保持一致。

翻译、文化与预测

• 翻译：LaBSE 与聚合安全的 ρ 约 0.11–0.18，COMET 约 0.17–0.21。母语者对中文、泰语、孟加拉语 945 对的评分为 ρ = 0.052。翻译质量与 τ 的 ρ 约 −0.10；母语者 ρ = −0.010。TQ 1–2 的平均 τ = 0.582，TQ 4–5 为 0.125（Figure 25）。XSafety 上该相关均值 ρ 约 −0.02。作者称翻译质量只解释约 1% 的 τ 方差。top-50 τ 且 TQ ≤ 2 的提示词中有 6 条严重误译；随机期望约为 2 条。945 对中 40 对 TQ ≤ 2，另 66 对有明显问题（合计 11%）。TQ = 5 且 τ 处于 top 50 的 30 对中，母语者把 12 对标为有文化或概念缺口，其中 5 对还有框架偏移。作者因样本量小，把这视为高 τ 离群点的一种可能因素，而不是已确认的普遍驱动。用 GPT-5.2 评提示词是否良性后，与 τ 无统计显著相关；315 条中 45 条被评为 4 或 5（14.3%）。
• 理解失败：用 gpt-4.1-mini 审计 Grok，把不理解纠正后 JSR 变化 < 1%，总体不理解率 2.2%；英语仍比所有低资源语言高 6–9 个百分点（附录 I.2）。作为对照，gpt-4.1-mini 在爪哇语上的不理解率为 0.32%，其余语言为 0%（由 GPT-5.2 评判）。
• 预测：Figure 6 在 Random 80/20 上汇合五折：完整 IRT 的 AUC = 0.940，去掉 τ 为 0.888，Prompt×Lang Rate 为 0.896，Language Rate 为 0.531；Table 28 的折均值分别差不超过 0.002（0.939、0.887、0.894、0.529）。LOLO 上依赖语言统计的基线落到 0.500，完整 IRT 与去掉 τ 的 IRT 均为 0.875。LOFO 上 Prompt×Lang Rate 为 0.863，完整 IRT 为 0.834。τ 的 ΔAUC 在 Random 为 +0.0516，在 LOFO 平均 +0.0266（Figure 29）。

其他消融与分析

• 参照语言（附录 B，Table 2）：英语为最不安全语言的配置数为 19–22/61；θ 的跨参照 Spearman ρ 平均 0.88；top-100 高 τ 的平均 Jaccard 为 0.38，作者称约为随机期望 0.018 的 21 倍。四种翻译指标的平均 ρ 在 −0.05 到 −0.08。伤害类别排序与 Table 20 的 Spearman ρ 约 0.86。
• 1PL 与 2PL（Table 3）：1PL 的 AIC/BIC 为 608,648 / 660,308，2PL 为 579,085 / 634,670。平均 ᾱ = 2.72，范围 0.27–8.11。1PL 与 2PL 的 θ 相关 r = 0.977；GRM 与 1PL 的 r = 0.952。
• Bradley–Terry：与 IRT θ 的 Spearman ρ = 0.806（p = 4.6×10⁻¹⁵，n = 61）。作者称 BT 不能分开 γ、τ、β。
• 锚题外部检验（Table 4）：LR-DIF 中位 χ² 锚题 20.0、非锚题 51.8；与 Lord’s χ² 的秩相关 ρ = +0.36（n = 158）。注入 DIF 模拟中，balanced 条件下 50% DIF 时 Method 污染 ≤ 0.042；unbalanced 在 50% 时排名反转（Table 5）。
• 只用基础模型（N = 16，Standard）：英语最差配置比例 37.5%，相对全量 36.1%；作者称 θ 排序和 τ 类别层级保持。配置间 JSR 的 Fleiss’ κ 为 0.48–0.76，中位数 0.59。
• token 长度：Tiktoken 长度比与 τ 的汇合 ρ = +0.011（p = 0.55），9 种语言中 7 种不显著。附录 N 讨论英语撰写带来的分布外假象；作者认为不太可能，理由包括反转在构造方式不同的 XSafety 上仍然出现。

作者指出的局限与后续方向

• 评审偏差：Limitations 写明，尽管做了验证，LLM 评审仍有跨语言偏差。
• 锚题：Limitations 称锚题选择是自定义启发式，选出的是相对不变、但并非完美的锚题（附录 E.3）。Future work 提出为多语测量研究发展更稳健的锚题方法。
• 机制：Limitations 称观察到的反转模式尚未从机制角度检验。Discussion 称作者没有英语反转的机制解释。Future work 第一条是更直接地检验英语反转机制。
• 模型范围：Limitations 称本研究只关注闭源模型；因预算未能同时考察开源模型。Future work 提出把框架扩展到更多语言和开源模型。
• 干预：Future work 提出干预研究：在高 τ 的提示词×语言对上微调是否会有独特结果，以及摊销式重写器能否找到并改写高跨语言安全差距的题目。
• 数据：Future work 称领域会受益于更整体、母语撰写、跨语言可比较且歧义更少的多语安全基准；现有数据集没有一个完全满足这些标准。Discussion 还称跨语言安全差距不应被读成单一因果机制。

实验覆盖范围

• 模型与语言：MultiJail 上为 GPT、Claude、Gemini、Grok、DeepSeek 共 61 个闭源配置、16 个基础模型、10 种语言、Pass@10 和四种温度/top-p；XSafety 分层子集报告 53 个配置（Section 4，Table 6）。
• 评审一致性：人类标注为 300 条；三模型交叉评审为 9450 条；母语翻译质量标注为中文、泰语、孟加拉语 945 对；文化缺口标注为其中 TQ = 5 且 τ 处于 top 50 的 30 对（Section 5.3，附录 G）。
• 预测协议：LOFO、LOLO 与 Random 80/20，七个预测器的平均 AUC 在 Table 28；LOLO 上语言条件基线为 0.500，完整 IRT 为 0.875。
• 参照与识别：附录 B 用九种非英语参照重拟合；附录 E 比较 horseshoe 与正态先验，并用 Lord’s χ²、LR-DIF、MH 和注入 DIF 检查锚题。
• 论文写明的分析边界：不理解审计只针对作者认为可能出现不理解的 Grok 家族（Section 5）；传统锚题纯化在本文多组设定下锚集为空（附录 E.1）；单维性在 XSafety 上优势比为 3.31，作者将其视为边界情形（Section 5.1）。

Zhang、Patel、Truong 与 Koyejo 用多组项目反应理论，解释安全护栏为何随语言变化，而不是只报告一个 JSR。

• 问题：JSR/ASR 把模型能力、题目难度、语言处理难度和某条提示词在某语言上的残差绑在一起。不同提示词子集或条件下的模型因此难以比较，失败原因也分不清。
• 方法：多组 2PL 以英语为参照，用 40 条 Lord’s χ² 锚题和 horseshoe 先验识别参数。安全概率由区分度 α、稳健性 θ、语言适能 δ、固有难度 β、全局语言难度 γ 和跨语言差距 τ 组成。响应由 GPT-5.2 打分后二值化，每条提示词生成 10 次。
• 结果：MultiJail 上 61 个配置的 JSR 从 Claude 一端的 2.3% 到 Grok 一端的 28.1%（Table 1）。EFA 的 KMO 为 0.942、优势比 7.37，作者称安全主要通过共享机制拒绝不同伤害。22/61 个配置在英语上失败率最高，集中在 Grok 与 DeepSeek。低资源语言的响应熵更高。高 τ 更多出现在盗窃、财产犯罪和武器类，以及爪哇语（44%）和斯瓦希里语（34%）。翻译质量约解释 τ 方差的 1%，但 top-50 高 τ 且低翻译质量中有 6 条严重误译。随机划分下完整 IRT 的汇合 AUC 为 0.940；留出整门语言时为 0.875，此时语言条件基线为 0.500。
• 作者的结论：作者认为能力不足、误译和概念/文化错配是相互关联的候选解释，τ 不是单一机制。τ 可用于定位数据集中的高差距提示词×语言对，并作为多语评测里目前缺少的质量控制。作者同时指出评审偏差、启发式锚题、反转缺少机制解释，以及研究只覆盖闭源模型。