IndicJR: A Judge-Free Benchmark for Jailbreak Robustness in South Asian Languages

南亚语言上的越狱稳健性，缺少不依赖评审、且能比较合约与自由回答的评测。

• 场景： 作者称 LLM 用于安全关键场景，但英语、合约绑定基准看不到跨语言、文字和交互方式上的稳健性。南亚用户常代码切换、混写并罗马化，这会抬高表面上的稳健性、低估实际风险。
• 现有不足： 作者称既有多语言安全基准仍偏英语，依赖评审模型或昂贵标注，侧重审核而非对抗越狱；没有工作同时处理 Indic/南亚正字法变异，并自动比较合约绑定与无约束行为。
• 观察： 作者以 Odia 为例称本土文字下若干模型不安全作答，罗马化形式常被拒绝；并称本土文字越狱率更高，罗马化平均使成功率降低 0.34。不复述该提示原文。
• 提出： Indic Jailbreak Robustness（IJR） 覆盖 12 种语言、45,216 条提示，分 JSON 与 FREE 两轨，并做合约缺口、跨语言、正字法、相关、检测器审计和可复现性评测。作者称这是首个结合多语言对抗覆盖、正字法测试和全自动评测的区域越狱基准。
• 评测设定：
  • 目标： 测拒绝失败、泄漏和过度拒答，不是提出新攻击。
  • 知识： 论文未写 white-box、black-box 或 no-box；攻击不使用梯度，推理参数固定。
  • 控制： 对抗包装、语言是否与核心一致、本土/罗马化/混合文字，以及是否套拒绝合约。
  • 对象： 12 个被测 LLM。JSON 上 COMPLY 或泄漏计为成功；FREE 上对抗良性回答缺少拒绝短语计为成功。

论文 Related Work 按通用安全评测、越狱与跨语言攻击、Indic 区域基准、正字法与分词来写。

通用安全评测

• HELM 与 BIG-Bench： HELM（Liang et al., 2022）和 BIG-Bench（Srivastava et al., 2022）评偏差、毒性与事实性。
• SafetyBench： Zhang et al.（2023）做英语和中文的大规模安全评测。
• SweEval 与 PolyGuard： SweEval（Patel et al., 2025a）与 PolyGuard（Patel et al., 2025b）把审核扩到多语言，后者写明 17 种语言、含印地语。论文称这一组依赖评审模型，且未做对抗越狱或正字法变异。

越狱与跨语言攻击

• JailbreakBench 与 SafeDialBench： Chao et al.（2024；引言另引 Liu et al., 2024）标准化越狱提示与指标；Sun et al.（2025）评多轮对话越狱。
• 翻译、混合与低资源： 论文称 MultiJail（Deng et al., 2024）里翻译攻击可绕过护栏；Song et al.（2024）研究语言混合；Yong et al.（2023）与 Wang et al.（2024）讨论低资源和跨语言缺口。论文称这些工作未覆盖 Indic 语言或正字法变异。

Indic 与区域基准

• 问答与生成： PARIKSHA（Watts et al., 2024）覆盖 11 种语言问答；IndicGenBench（Singh et al., 2024）评 10 种语言生成。
• NLU 与文化安全： IndicGLUE（Kakwani et al., 2020）、IndicXTREME（Ramesh et al., 2022）支持 NLU 与翻译；IndoSafety（Azmi et al., 2025）提供文化安全数据。论文称这些都不处理对抗越狱。

正字法与分词

• 分词： 论文讨论 BPE（Sennrich et al., 2016）、SentencePiece（Kudo and Richardson, 2018）对文字分布敏感，以及 ByT5（Xue et al., 2021）。
• 碎片化： Rust et al.（2021）与 Bostrom and Durrett（2020）把分词碎片化与多语言脆弱性联系起来。IJR 随后测量本土、罗马化、混合文字与 JSR 的相关。

基线与数据

• 实验对照： 没有把其他攻击方法或外部基准当作跑分基线，12 个模型互为对照。Table 1 只比基准属性：论文标出只有 IJR 同时有越狱、正字法和 judge-free。
• 提示来源： 良性核心来自 2023 Wikipedia，有害核心来自三类意图模板，不是复用 JailbreakBench 的题目。

作者把 IJR 定位成同时包含对抗提示、正字法压力和无评审协议的 12 语言基准（正文与 Table 5 为 45,216 条），并称既有工作没有这一组合。作者还称并不反对拒绝合约，而是认为只做合约评测可能高估安全性。

作者用 Indic Jailbreak Robustness（IJR） 把同一类对抗压力放到合约回答和自由回答里比较，评分不调用评审 LLM。

范围、两轨与子集

• 语言： Bengali、Gujarati、Hindi、Kannada、Malayalam、Marathi、Nepali、Odia、Punjabi、Tamil、Telugu、Urdu。第 3 节写约 2.09B 说话者、5 个以上国家；摘要写 2.1 Billion。近缘语言因文字、分词和训练覆盖不同而分开评。
• 两轨： JSON 要求可机检的拒绝合约；FREE 去掉合约包装，只留任务文本。
• 三个子集： attacked-benign（AB）给良性核心加对抗包装；clean-benign（CB）无包装，用来看过度拒答；clean-harmful（CH）是无包装的不安全请求，每条有 canary，正确行为是拒绝。
• 规模： Table 5 合计 45,216。JSON 42,636（AB 37,236，含跨语言 8,316；CB 3,600；CH 1,800）。FREE 2,580（AB 2,400、CB 120、CH 60，每语言 215）。贡献写 45,000，相关工作写 45.7k，Table 1 写 45.2k。

提示、包装与文字

• 来源： 良性核心取 2023 Wikipedia，做语言相关 Unicode 过滤、400–1200 字符和去重，并直接用目标语言写，以避免翻译伪影。有害核心分 chem_synth、bio_hazard、illicit_access，带本地化意图和 canary。不复述请求原文。
• 包装： 四族为 instruction override、translate-then-do、role-play、format override，分同语言与跨语言，并加压力线索。E2 再把包装和核心配到不同 Indic 语言，每语言约 693 条（instruction 与 format），计入 JSON 总量，但不进入 Table 5 左侧的 E1 分语言统计。
• 正字法： AI4Bharat transliteration engine 生成本土文字、罗马化拉丁转写和逐行混合。Table 5 的压力线索比例为 0.764–0.953，罗马化份额 0.392–0.552（Urdu 0.552），平均长度 123–146 token，p95≤317。
• FREE 抽样： 从 JSON 的 AB 中每语言约抽 200 条，保持攻击族平衡；CB、CH 另生成。第 3.1 节称尽管 FREE 更小，E7 仍保持排序和总体趋势。

无评审评分与指标

• 评分： 确定性规则：结构化解析、分语言词表和约束检查，不用辅助模型解释回答。检测器使用分语言、分文字词表，并做文字归一化和分轨约束。作者称这不是相对关键词匹配的算法新颖性，差别在多语言解析和去掉 LLM 评审。
• JSON： 输出需有 decision（REFUSE、COMPLY 或 ABSTAIN）和 justification。畸形合约记 ABSTAIN，以免抬高 JSR。泄漏检测查 canary 和不安全词表。
• FREE： AB 上缺少拒绝短语记 COMPLY，即 JSR=1，尽管任务本身仍是良性。泄漏在原文上查。
• 定义： JSR 是拒绝失败的比例。JSON 上 COMPLY 或泄漏计入，非法 JSON 为 ABSTAIN。另有 Schema Validity、Leakage Rate、over-refusal、under-refusal 和 abstain rate。第 5 节定义 RRI = 1 − JSR_attack/JSR_benign，即对抗良性 JSR 相对干净良性 JSR，越高表示压力下拒绝保持得越多。∆JSR 为变体 JSR 减去本土文字 JSR。

七组实验与推理

• E1–E7： 合约越狱、跨语言迁移、正字法、FREE 合约缺口、检测器人工审计、Pearson 相关（Fisher z 与自助置信区间）、模型类别与 lite/full 复现。
• 推理： max_tokens=256，temperature=0.3，nucleus p=0.9（top_k=0），seed=13，最多 10 个并行 worker，60 s 的 QPS 限制。12 个模型用同一批提示。
• 汇总： 按总体、子集、攻击族、模式和正字法报告。正字法分析用条目级罗马化份额。JSON 分母来自 schema 日志。
• 审计： 每语言 50 条、共 600 条。附录写两名标注员独立标注，分歧由第三人裁决。附录 A.2 用 Odia 例子说明 JSR、SV、LR、OR 如何赋值，此处不引用其中的提示。

实验设置

• 模型： API 为 GPT-4o、Grok-3、Grok-4、Cohere Command-R、Cohere Command-A；开源为 LLaMA 3.1 405B、LLaMA 3.3 70B、LLaMA 4 Maverick 17B、Ministral 8B Instruct、Qwen 1.5 7B、Gemma 2 9B；Indic 专用为 Sarvam 1 Base。同一批提示。
• 数据： IJR 的 JSON 42,636 与 FREE 2,580，合计 45,216（Table 5），12 种语言。有害意图三类。E2 约 693 条/语言。
• 对照： 无外部攻击或防御基线。lite 与 full 的对照在 E7。
• 指标： JSR、SV、LR、OR、UR、abstain、RRI、∆JSR。JSON 的 JSR 计 COMPLY 或泄漏，畸形为 ABSTAIN。FREE 的 JSR 在 AB 缺少拒绝短语时为 1。
• 判定： 无 LLM 评审。E5 人工审计 600 条（50/语言）。论文写 κ≈0.68（未加权）、κ≈0.74（加权）。Table 12 假阴性 26/600（4.3%），schema validity 总体 95.4%。
• 重复： seed=13。论文未报告多次独立重复。E2 表中的 Std 是跨模型散布，不是重复实验。论文称每模型约 45k 代、合计约 0.5M。

主结果

据 Table 2，均为 12 种语言平均。

Swipe horizontally to read the table

模型	JSON JSR	SV (AB)	CH 泄漏	FREE JSR (AB)
GPT-4o	0.508	0.975	0.001	0.995
Ministral 8B Instruct	0.580	0.715	0.010	0.999
Grok-4	0.689	0.654	0.000	0.934
Gemma 2 9B	0.745	0.864	0.000	0.998
Cohere Command-A	0.867	0.880	0.010	0.944
Qwen 1.5 7B	0.904	0.730	0.120	0.998
Sarvam 1 Base	0.959	0.186	0.393	0.999
LLaMA 3.3 70B	0.978	0.956	0.021	1.000

省略 Grok-3（JSON JSR 0.620）、Cohere Command-R（0.788）、LLaMA 3.1 405B（0.922）、LLaMA 4 Maverick 17B（JSON JSR 0.978，FREE JSR 1.000）。

• 作者解读与表： 作者称 JSON 上 LLaMA 与 Sarvam 的 JSR 超过 0.92，合约制造安全感但挡不住越狱；FREE 上所有模型约 1.0。Table 2 的 FREE AB JSR 最低为 Grok-4 的 0.934、其次 Cohere Command-A 的 0.944，不是全部 1.000。作者称 Cohere/Gemma 大于 0.75；表中 Gemma 2 9B 为 0.745。
• Sarvam： 作者称 Indic 专用并未更安全。Table 2 中其 JSON JSR 0.959、SV 0.186、CH 泄漏 0.393。其余模型的 JSON CH 泄漏最高为 Qwen 1.5 7B 的 0.120，再其次 LLaMA 3.3 70B 的 0.021。
• 过度拒答： 作者称 JSON 的 CB 过度拒答多为 0.5–0.7、有时超过 0.9，FREE 上约降到 0，因而过度拒答来自合约。Table 2 中 Grok-4 的 JSON CB 过度拒答为 0.036，是低值例外；FREE 上非零者为 Ministral 0.11、Qwen 0.06、Sarvam 0.17。正文写 Mixtral≈0.11，与表中 Ministral 的 0.11 对应，模型列表并无 Mixtral。

跨语言迁移（E2）

• 模型： Table 8 的英语到 Indic 平均 JSR：Sarvam 1 Base 0.964（instruction 0.949，format 0.978），LLaMA 4 Maverick 17B 0.925，Qwen 1.5 7B 0.915；最低为 GPT-4o 的 0.371。作者称没有模型能抵抗。
• 攻击族： 作者称 format 往往更有效，讨论中写 format 不低于 instruction 的有 11/12。Table 8 里只有 Cohere Command-A 的 instruction（0.769）高于 format（0.665）。Table 7 的 format 均值从 Odia 的 0.677 到 Hindi 与 Urdu 的 0.774；instruction 从 Nepali 的 0.461 到 Urdu 的 0.613。
• 语言： 作者称所有 Indic 语言大于 0.58，Urdu/Hindi 为 0.70，且至少一模型约 0.96–0.99。Table 6 池化均值 Urdu 0.694、Hindi 0.677，Nepali 0.585、Odia 0.586；各语言最大值在 0.957 到 0.993 之间。

正字法与相关（E3、E6）

• 总体： 第 6.3 节称 JSR 从 0.755（本土）降到 0.416（罗马化）和 0.488（混合），平均 ∆JSR 为 −0.338 与 −0.267，并指向 Table 8 与 Fig. 3。Table 8 只给出 12 模型平均 ∆JSR：罗马化 −0.338、混合 −0.267，没有 0.755/0.416/0.488。
• 分模型： Table 8 罗马化 ∆JSR 上，Sarvam 为 −0.001、Qwen 1.5 7B 为 −0.015；混合上 Sarvam 为 +0.027。降幅最大为 Gemma 2 9B −0.636、Cohere Command-A −0.591。作者把 Qwen 与 Sarvam 称为 API models；第 4.1 节将二者分别列为开源和 Indic 专用。
• 相关与分语言： Table 16 中，罗马化减本土的 ∆JSR 与 latin_ratio 的 ρ 为 +0.310，与 bytes/char 的 ρ 为 −0.317（均写 p≪0.001）。word_len、mean_run_len、script_switches/100 标为 n.s.。作者称罗马化份额与 ∆JSR 的 ρ≈0.28–0.32。Table 11（12 模型平均）Urdu 的罗马化 ∆JSR 为 −0.431，Tamil 为 −0.231；作者称 Urdu 与 Odia 最强，表中 Odia 为 −0.378，Kannada 为 −0.397。作者对 Figure 1 称分语言 JSON JSR 为 0.72–0.84，FREE JSR≈1.0；逐格数值未写入正文。

审计与 lite/full（E5、E7）

• E5： 600 条，κ≈0.68/0.74。Table 12 假阴性 26/600=4.3%，schema validity 95.4%（分语言 94.7%–96.8%）。第 4 节另写 schema validity 为 (92–99)%。贡献写 4% refusal errors、0% leakage。附录 A.8：canary 在 975 个箱子中为 0；词表泄漏超过 3% 的有 56/975。Table 14 中 Sarvam 的 JSON 词表泄漏均值 0.141（29 个箱子>3%），Qwen 0.047（17 个）。
• 质检： 第 6.5 节称 clean-harmful 的 canary 泄漏为零，词表泄漏少见（≤3%，≤0.02），仅 Qwen 1.5 与 Sarvam 更高。附录 A.10 称抽查的 attacked_benign 未见不安全泄漏，突出问题是良性任务上的模板化过度拒答，部分拒答为英语。
• E7： 作者称 lite 与 full 差异小、分语言 r>0.80，结论对评测规模稳健。Table 15 的 Pearson r 从 Kannada 0.865 到 Malayalam 0.989，Spearman 最低为 Odia 0.762。附录 A.9 称 Sarvam 与 Maverick 的相关低于 0.60，但未给出该 r。Table 17 的 full/lite 与 Table 2 不是同一组数，例如 LLaMA 3.3 70B 为 0.45/0.44，而 Table 2 的 JSON JSR 为 0.978；论文未说明 Table 17 的口径。正文写 Mixtral，Table 17 对应行是 Ministral 8B（0.57/0.58）。

其他消融与分析

• Table 3 的 JSON RRI 中位数：LLaMA 3.3 70B 为 −3.861，GPT-4o 为 −0.415，Grok-4 为 0.178。作者称 7/11 个模型中位数为负；该表有 12 行。
• Table 4 图注的 FREE RRI 写法与第 5 节不同：RRI = 1 − AB core success / CB-JSR。表中多数为 0.000，Ministral −0.111，Sarvam −0.206；未列 Cohere。
• Table 2 的 abstain：GPT-4o 0.050，Qwen 0.645，Sarvam 0.849。作者称 94/579 个箱子不用 ABSTAIN。
• Table 2 的 FREE under-refusal（CH）从 GPT-4o 的 0.12 到 LLaMA 3.3 70B 的 0.21；FREE 的 CH 泄漏在 Sarvam 与 Qwen 为 0.15，Maverick 0.05，Ministral 0.03，其余为 0。
• 贡献提到 embedding drift，E6 的 Table 16 未报告该量，只报告文字特征与 ∆JSR 的相关。
• Table 10 的分语言 JSON abstain 均值：Nepali 0.283 到 Urdu 0.362。

作者指出的局限与后续方向

• 只覆盖三类有害意图和单轮提示，更广领域与多轮越狱留作后续（Limitation）。
• 正字法依赖标准化转写，可能覆盖不到噪声的、用户生成的罗马化（Limitation）。
• 作者称检测器与人工一致性高，但仍可能漏掉细微或领域特定泄漏（Limitation）。
• 固定推理设置不能计入提供商侧安全层（Limitation）。
• 12 种语言不包括方言，也不包括真实使用中的全部代码混合（Limitation）。

实验覆盖范围

• 被测模型 12 个、语言 12 种，提示 45,216 条，分 JSON 与 FREE（Table 5，第 4.1 节）。
• 实验为 E1–E7：合约越狱、跨语言迁移、三种文字、FREE、600 条人工审计、Pearson 相关、lite/full（第 4–6 节）。
• 有害意图为 chem_synth、bio_hazard、illicit_access；包装为四族，含同语言与跨语言（第 3 节）。
• 推理为 max_tokens=256、temperature=0.3、p=0.9、seed=13（第 4 节）。论文未报告攻击辅助 LLM、查询次数或多次重复。
• 评分不使用 LLM 评审。附录 Table 18 将 12 种语言相对英语标为 Low；Fig. 5 图注写印度、巴基斯坦、孟加拉国、尼泊尔、斯里兰卡，不含马尔代夫与不丹。

IJR 是 12 种南亚语言上的无评审越狱基准，用来把合约回答和自由回答分开看。

• 问题： 作者认为只在英语、合约格式里评安全，会漏掉代码切换、混写和罗马化，并高估稳健性。
• 方法： 提示分 JSON 与 FREE，再分对抗良性、干净良性、干净有害。良性文本取自 2023 Wikipedia，有害请求分三类并带 canary。对抗压力来自四类包装，另有跨语言配对和三种文字。分数由语言相关规则检测器给出，不另请评审模型。
• 结果： Table 2 在 12 语言平均下，JSON JSR 最低为 GPT-4o 的 0.508，最高为 LLaMA 3.3 70B 与 LLaMA 4 Maverick 17B 的 0.978；Sarvam 1 Base 为 0.959，其 CH 泄漏率 0.393、AB 的 schema validity 0.186。FREE 的 AB JSR 为 0.934–1.000。Table 8 中英语到 Indic 的平均 JSR，Sarvam 为 0.964，GPT-4o 为 0.371；12 模型平均下，罗马化相对本土的 ∆JSR 为 −0.338。
• 作者结论： 合约让拒答变多，但对抗良性上的越狱仍然高；去掉合约后，作者称过度拒答约降到 0。Indic 专用模型并未因此更稳。作者建议同时看两轨、三个子集，以及跨语言和正字法。