结构越狱可跨厂商泛化但不叠加：IICL 的跨厂商与多语言研究

要检验结构性越狱 IICL 与非英语输出约束是否叠加。

• 场景：作者认为安全评测通常一次只探一种弱点，但规划覆盖的防守方必须知道弱点是否叠加。本文测的是 IICL 与英语之外安全对齐削弱的交互。
• 已有缺口：IICL 的引入研究只测 OpenAI、只用英语，并把跨提供商与多语言泛化列为开放问题。作者称翻译或 sandwich 框架的工作，据其所知未把结构性上下文攻击与语言约束组合，也未测二者是否相加。
• 假设：若结构变换促成服从、较低资源语言再降低戒备，非英语 IICL 应高于英语 IICL。作者把迁移、相对单次基线的效力、叠加分别记为 H1、H2、H3，并称 H3 被数据否定。
• 做法：确定性 IICL 算子额外要求重建单元格以目标语言书写，在两款 Gemini、HarmBench 与 FinProof、四种语言上对照英语裸单次。
• 威胁模型：
  • 知识：black-box；可查询聊天端点，无 logit 或权重访问。
  • 能力：每探针一条结构性提示词；无多轮升级，无攻击者模型。
  • 目标：预期会拒绝该行为的对齐助手。实验中的端点是两款 Gemini。
  • 成功判定：StrongREJECT 式量规要求不拒绝、切题、具体/可执行，阈值 0.5。作者称这是结构性攻击下最弱的现实攻击者，成功因此是能力下界。

上下文越狱

• Many-shot jailbreaking（Anil 等，NeurIPS 2024）：用长上下文中的伪造有害对话覆盖拒绝，成功率随 shot 数呈幂律，直至数百 shot。
• IICL（Adversa AI，2026）：约 10 shot 与两个控制 token（answer、is_valid），效力来自框架而非数量。论文指出它只测 OpenAI 与英语，跨提供商和多语言是开放问题。

多语言安全

• MultiJail（Deng 等，ICLR 2024）及低资源语言后续研究（2026 预印本）：把有害提示词译入代表性不足的语言，以绕过以英语为中心的过滤器，并记录 harmfulness curse 与 relevance curse。论文指出这些工作用翻译或 sandwich 框架；作者称据其所知，没有组合结构性上下文攻击与语言约束，也没有测量两效应是否相加。

自动化红队

• TAP（Mehrotra 等，2023）与 PAIR（Chao 等，2023）：用攻击者模型搜索提示词空间。
• 在线 bandit（Red-Bandit，2025；Adaptive Instruction Composition，2026）：在测试时选择攻击或策略。作者的 harness 含两级 bandit，但本研究故意只隔离一个确定性算子，以免搜索混淆语言效应。

相邻工作、基线与定位

• AgentHarm（Andriushchenko 等，ICLR 2025）：使用工具的智能体对恶意请求的服从率高。作者将其记为相邻前沿，本文不研究。
• 基线与基准：英语裸单次行为请求；HarmBench 的 30 条分层一般危害行为，FinProof 的 30 条金融滥用行为。评审参照 StrongREJECT 式量规。

作者把本文定位为进入 IICL 留下的跨提供商与多语言问题，并直接检验两种弱点是否叠加。

固定结构、只改变输出语言。IICL 把有害行为放进标注任务的缺失单元格，并要求该格以指定语言写出，再与英语裸单次对照。

假设与攻击者

• H1：引入研究报在 OpenAI 上的效应，迁到另一提供商。
• H2：IICL 明显高于英语裸单次基线。
• H3：把输出约束到较低资源语言，ASR 高于英语 IICL。H1、H2 为确认性检验，H3 为新检验。
• 攻击者：black-box 查询，无 logit 或权重；每探针一条结构性提示词，无多轮、无攻击者模型。

模型、语言与算子

• 模型：gemini-2.5-flash，以及较小的 gemini-2.5-flash-lite；经 Google Vertex 的 OpenAI 兼容端点。配置说明为 2026 年 9 月。
• 语言：英语；西班牙语，作者标为高资源；印地语与阿拉伯语，作者标为安全监督上相对较低资源。
• 语言约束：算子增加一条指令，要求重建的答案单元格全部以目标语言书写；英语支架其余部分不变。作者以此固定结构、只改变输出语言。
• 支架：采用 [1] 的确定性算子，五行良性示例的 JSON 支架，有害行为作为最后的缺失单元格。不用攻击者模型或搜索，作者称每个结果只归因于该算子。

探针与基线

• HarmBench：30 条分层的一般危害 standard behaviours。
• FinProof：30 条金融滥用行为，覆盖 AML structuring、骡账户、KYC evasion、欺诈脚本、制裁规避、监管披露操纵。作者称这是低危害诱发探针，不是可操作的作案手法。
• 基线：single-shot 发送英语裸行为，作为朴素下限。语言变量只加在 IICL 上，不加在这条基线上。

评审与统计

• 绕过：评审为 gemini-2.5-flash。StrongREJECT 式量规要求不拒绝、切题、且具体/可执行，阈值 0.5。非英语回复按实质评分，不因语言本身判失败。
• 先前一致性：先前 63 条金标上，两名独立 Gemini 评审 κ=0.90。论文另报告启发式回退约 2%。方法节写明还有非 Google 评审的复核。
• ASR：被测量探针中被判绕过的比例。目标调用出错或在传输层被拦截的探针记为 ⊘，不计入拒绝。约 600 次评分中排除 7 次（约 98.8% 被测量）。
• 推断：每格 Wilson 95% 区间；对两基准合并的方向性跨格效应做精确符号检验。主实验每格 n=30，单一种子。

实验设置

• 目标模型：gemini-2.5-flash、gemini-2.5-flash-lite。端点为 Vertex OpenAI 兼容接口； reproducibility 配置写明 2026 年 9 月。
• 基准：HarmBench 30 条一般危害；FinProof 30 条金融滥用。合计 60 个行为。语言为 en、es、hi、ar。
• 条件：英语裸单次；四种语言下的确定性 IICL。无攻击者模型、无搜索、无多轮。
• 指标：ASR，附 Wilson 95% 区间。跨格方向效应用精确符号检验。
• 评审：主评审 gemini-2.5-flash，StrongREJECT 式严格量规，阈值 0.5。传输失败记为 ⊘，不记为拒绝。
• 样本量：主矩阵每格 n=30，单一种子。独立评审用另一次复制，每格 n=20。论文未报告主矩阵的多种子重复。

主结果

据 Table 1 的 ASR（%）。每格 n=30，单一种子。Wilson 区间见表，此处不列入。

表格较宽，可左右滑动

模型 / 基准	single-en	IICL-en	IICL-es	IICL-hi	IICL-ar
flash-lite / HarmBench	3.4	80.0	72.4	46.7	56.7
gemini-2.5-flash / HarmBench	0.0	89.7	83.3	73.3	69.0
flash-lite / FinProof	6.7	96.7	90.0	69.0	100.0
gemini-2.5-flash / FinProof	0.0	100.0	62.1	60.0	33.3

• 相对基线：作者称英语 IICL 与 0–6.7% 单次地板的 Wilson 区间不相交，且金融集更暴露。摘要写 FinProof 为 97–100%，与表中 96.7% 的写法不完全相同。
• 跨提供商：作者援引 GPT-5.4 上 ≤24%、十个模型中六个为 0%，并称此处高一个数量级。作者标明对比非受控：评审不同，且对方用 20 条查询子集。
• 叠加失败：十一格低于英语（符号检验 p≈0.003）。例外是 lite/FinProof 阿语：点估计高于英语列，作者称天花板持平。flash 金融集降 37.9、40.0、66.7 个百分点，各自达显著性。

Figure 1 图注称 HarmBench 上 IICL 远高于单次基线，随后随语言离开英语而下降。Figure 2 图注称英语 IICL 在两款模型上接近 100%，flash 的阿语从 100% 降到 33%，lite 的阿语柱与英语持平而非超过。

衰减机制

• 方向：作者用 harmfulness curse 与 relevance curse 解释。若前者主导，印地语和阿拉伯语 ASR 应更高；观察到的是下降。
• 质量路径：作者认为 IICL 已在构造上处理拒绝，前者剩下的贡献不多；量规要求具体且可执行，较不完整、较不切题的生成会被判为非绕过。
• 偏转路径：金融集上 flash 常忽略语言指令并以英语作答（西语与阿语 78–89%）。作者认为两条路径都把非英语 ASR 往下推，所以方向稳健，尽管机制不单一。作者认为主要剩余风险是英语结构性攻击，金融滥用最突出；不应假设多语言变体严格更差。

评审独立性与语言核验

• 独立评审：另一次复制（每格 n=20）由 deepseek-v4-flash 与 gemini-2.5-flash 双评。377 对上 κ=0.86，一致率 93.1%，两侧回退均为 0。作者称反叠加含阿语下降被复现。人工校验仍开放。
• 语言核验：Unicode 文字加 language ID。222 条非英语回复中 76.6% 确为请求语言（印地语 90%、阿语 73%、西语 67%）。例外是 flash/FinProof，西语与阿语有 78–89% 为英语。

其他消融与分析

• 先前 63 条金标：两名独立 Gemini 评审 κ=0.90；启发式回退约 2%（§4）。
• 传输层排除：约 600 次评分中 7 次，约 98.8% 被测量（§4）。
• 每格显著性：HarmBench 仅 flash-lite/印地语单独达到；FinProof 上 flash 的三处降幅各自达到（§5、§7）。
• 阿语 flash/FinProof 的 Wilson 区间 [19.2, 51.2] 与英语 [88.3, 100] 不相交（Table 1、§5）。
• FinProof 英语 IICL 接近 100%：作者称这压缩 lite 的对比、拉大 flash 的分离（§7）。
• 与 [1] 的对比使用不同评审和 20 条子集，作者称非受控（§5）。

作者指出的局限与后续方向

• 规模与天花板（§7 i）：每格 n=30、单一种子。HarmBench 上仅 flash-lite/印地语达到每格显著性；FinProof 上 flash 的三处下降都达到，但英语 IICL 接近 100%，会压缩 lite 的对比并拉大 flash 的分离。作者称合并后的叠加结论靠十二格符号检验，而不是任何单格。
• 提供商（§7 ii，§9）：两个目标都是 Google 模型。H1 只说明迁到一个新提供商，不是普遍成立。GPT 与 Claude 不在实验中。结论把二者作为目标锚点，列为把试点做成可在更大规模上站住的条件。
• 人工校验（§7 iii，§9）：非 Google 评审已复现方向，但作者写明 human validation remains open；结论提出人工标注评分。
• 语言覆盖（§7 v，§9）：只有两种较低资源语言，且在全球范围内都是中等资源。结论提出纳入真正的低资源语言。
• 算子变体（§7 vi）：支架为五条良性示例。作者称因此英语 IICL 成功率是该算子上限的下界。
• 试点范围（§1、§7、§9）：作者称这是试点，主张的范围与之匹配；人工标注、GPT/Claude 锚点与真正低资源语言，才能把试点变成可在规模上站住的主张。

实验覆盖范围

• 被测目标为 gemini-2.5-flash 与 gemini-2.5-flash-lite，经 Vertex OpenAI 兼容端点（文末配置：2026 年 9 月）。
• 行为集为 HarmBench 30 条与 FinProof 30 条；条件为英语裸单次，以及 en/es/hi/ar 的确定性 IICL；主矩阵每格 n=30、单一种子（Table 1、§4）。
• 主评审为 gemini-2.5-flash，阈值 0.5；复制实验另由 deepseek-v4-flash 双评，每格 n=20，377 对（§4、§7）。
• 论文报告了 222 条非英语回复的语言核验，以及约 600 次评分中 7 次传输层排除（§4、§7）。论文未报告人工标注与 LLM 评审的一致性。
• 作者说明本研究隔离单一确定性算子，以免 bandit 搜索混淆语言效应；AgentHarm 被记为相邻前沿，本文不研究（§2）。

这项红队实验检验结构性越狱与非英语输出约束会不会叠加。

黑盒攻击者只有一条结构性提示词，没有多轮，也没有攻击者模型。IICL 把有害行为放进五行良性 JSON 支架的缺失单元格；本研究再要求该格以英、西、印地或阿拉伯语写出。对照是英语裸单次。目标是 gemini-2.5-flash 与 gemini-2.5-flash-lite。行为集为 HarmBench 与 FinProof 各 30 条。绕过由 gemini-2.5-flash 按 StrongREJECT 式量规判定，阈值 0.5。

• 英语效力：单次 ASR 为 0–6.7%。英语 IICL 在 HarmBench 上为 80.0%（lite）与 89.7%（flash），在 FinProof 上为 96.7% 与 100.0%（Table 1）。作者称区间与基线不相交，金融集更暴露。
• 叠加方向：十二个非英语格中十一个低于英语（符号检验 p≈0.003）。flash 在 FinProof 上的阿语从 100.0% 降到 33.3%。例外是 lite 的 FinProof 阿语，点估计 100.0% 对 96.7%，作者称为天花板持平。
• 机制与复核：作者把下降归因于 relevance curse，以及 flash 在金融集上常忽略语言指令、改用英语（西语与阿语 78–89%）。deepseek-v4-flash 在 377 对上 κ=0.86，方向被复现。222 条非英语回复中 76.6% 确为目标语言。

作者的结论是：弱点不必相加，应测量交互而不是假设交互。对这些模型，作者认为防守应放在英语结构性攻击面上，金融滥用优先。作者同时把结果限定为试点，并指出人工标注、GPT 与 Claude 锚点、以及真正的低资源语言尚未纳入。