多语言 LLM 在语义保持结构扰动下的结构敏感性：IndicReStruct 基准与机制可解释性分析

多语言 LLM 在语义不变、仅句法表面形式改变时，数学推理是否保持稳定，尤其在相对自由语序语言中。

• 场景与重要性：作者称前沿 LLM 已在多语言数学与逻辑推理上取得较强结果，但预训练数据以英语为主，非英语相对不足。印地语、马拉雅拉姆语等允许在保持命题意义的前提下调整成分顺序，口语中为强调或焦点而重排很常见。作者将组合语义推理定义为由语言单位组合出意义，并对表层句法实现保持不变。
• 现有方法的不足：作者称已有工作多考察词汇扰动（Huang et al., 2025）、社会文化扰动（Tomar et al., 2025），以及句子结构变化对预测的影响（Cheng et al., 2024；Wang et al., 2025）。按作者说法，在受控、保语义的结构扰动下评估多语言推理稳健性仍 largely under-explored；元素或 token 级扰动（拼写噪声、token 交换、命名实体替换）不能回答成分重排问题。
• 核心假设：作者假设，主要在正式、规范书面结构上训练的多语言 LLM，可能对口语中常见、语义等价的结构变化敏感，依赖表层统计规律而非稳健的组合语义。
• 论文提出什么：作者构建 IndicReStruct，含由 GSM8K 派生、语义保持的 GSM8K-Reordered（受约束成分重排）与 GSM8K-Voice（主动–被动变换），覆盖印地语与马拉雅拉姆语；在 6 个 LLM、多种提示及微调上测量准确率下降，并用错误分类与 Gemma-2-9B-it 的残差流激活修补分析失败来自何处。

自由语序

• Sabel and Saito (2005)、Gillon (1996)、Kulkarni et al. (2015)：印地语、马拉雅拉姆语等印度语言具有相对自由或灵活语序，成分或词组可在句法或话语约束下换位，但不能任意乱序。作者据此做受控 scrambling，以保持句义。

思维链与提示

• Wei et al. (2022)、Kojima et al. (2022)：Chain-of-Thought 通过中间推理步骤提升数学、常识与符号推理。作者称近期研究认为 CoT 仍对提示表述和输入结构变化敏感。
• Wang et al. (2023)：Plan-and-Solve 提示。本文主要使用 CoT、few-shot 与 Plan and Solve。

句子结构变化

• Cheng et al. (2024)、Kostić et al. (2026)：结构或词汇变化会影响模型预测。
• Wang et al. (2025)：句子结构变化会显著影响人类与 LLM 的对比预测，LLM 上效应更强。Fodor et al. (2025)：transformer 难以在组合变化下保持语义相似度。Singh et al. (2024)：适配目标语言词序会影响低资源语言上的 LLM 表现。作者由此做语言学上有依据的受控结构扰动，考察印地语与马拉雅拉姆语推理。
• 组合关系推理：Zhao and Zhang (2024) 认为 LLM 常依赖捷径统计规律而非系统组合推理。词汇与表层扰动方面，作者提到 Huang et al. (2025) 与 Tomar et al. (2025)，并称先前工作多停留在元素或 token 级扰动。

机制可解释性

• Bereska and Gavves (2024)、Zhang and Nanda (2024)、Meng et al. (2022)：定位行为与输入到输出的因果机制；方法可分为观察式与干预式。激活修补属于干预式，把干净输入运行中的内部激活替换进对应的受损运行，以找出因果影响预测的组件。

基线与数据：推理数据来自 GSM8K（Cobbe et al., 2021）的印地语测试集（Kamath et al., 2025）与马拉雅拉姆语测试集（Sarvam AI, 2025b），各 1319 条；词组划分遵循 Dangarikar et al. (2024) 的 Samanvaya 原则并作表面衔接上的修改（Karthika et al., 2025；Bhattacharyya et al., 2025）。语义保持用 paraphrase-multilingual-MiniLM-L12-v2、LaBSE、distiluse-base-multilingual-cased-v2 与 IndicBERTv2 的余弦相似度衡量。对比条件是原文问题、受约束重排与完全随机重排，以及主动–被动变换。提示策略本身是评测条件，而非外部攻击基线。

作者把本文定位为：在相对自由语序语言上，用保语义的成分重排与语态变换压力测试多语言数学推理，并辅以激活修补，而不是只做词汇或 token 级扰动。

整体思路是构造语义保持的结构变体 IndicReStruct，在同一数学题上比较规范语序与非规范语序的答题准确率，再用错误类型和残差流激活修补查看失败是否与实体–数量对齐及中间层有关。

问题设定

• 语言与任务：印地语、马拉雅拉姆语数学应用题。书面默认语序为 SOV，口语可在语法可接受范围内调整焦点。作者要求扰动后句子仍可解，且不把性能差归因于输入损坏。
• 两种扰动：GSM8K-Reordered 对每句做伪随机成分重排；GSM8K-Voice 在主动与被动之间转换。二者合称 IndicReStruct。
• 成功判定：沿用 GSM8K，抽取分隔符 ##### 后的数值，归一化后与标准答案一致即正确。

受约束重排

• 词组：先把语义上凝聚、共同表达一个语义单位或语法功能的词组成不可分割块。分组比原始依存角色方案更严：形容词并入所修饰的名词或代词。分组由 Gemini-2.5-Pro 完成；印地语提示为 Dangarikar et al. (2024) 的扩展，马拉雅拉姆语另写提示。附录 C 给出完整提示词。
• 置换约束：每句独立，词组按伪随机排列。括号与标点为边界；话语标记与连词的附着范围不可跨越。受保护连词集见附录 A。形式算法见附录 A.1。用 5 个固定种子 42、50、123、321、999 各生成一套。作者选取种子 42 对应的重排集，因其在多数模型上的推理表现处于中位。
• 反例动机：作者举例，把“United States of America”、印地语进行体或后置词短语打散后语义会被破坏，故不能逐词乱序。

语态变换与质量检查

• 语态：对印地语与马拉雅拉姆语题目，用 Gemini-2.5-Pro 加示例做语态转换：原文为主动则改为被动，反之亦然。附录 C 给出提示词。
• 嵌入相似度：用四种句向量比较重排题与原题的余弦相似度，并与完全随机重排对照，以讨论相似度的统计意义。Table 1 为五个种子上的均值。
• LLM 质量分档：Gemini-2.5-Flash 每批 10 题，按与原题的语义相似度与可解性评为 excellent、good 或 reject。附录 C 给出提示词。

评测、微调与修补

• 提示：Zero-shot CoT、One-shot CoT、Three-shot CoT、Plan and Solve。Param-2-17B-A2.4B 使用 non-thinking 模式。解码默认贪心（temperature = 0），可在运行时改为温度采样。固定随机种子 50，batch size 8，最大输入 2048 token，每样本最多生成 512 个新 token。
• 微调：对 Gemma-2-9B-it 做参数高效微调，比较 LoRA 与 DoRA。印地语重排与语态变体分别与原文问答配对，80/20 划分，训练与验证各 11956 与 2990 条。细节在附录 B.1。
• 错误分类：9 类为 Overthinking、Incorrect Mathematical Operation、Skipped Mathematical Step、CoT Language Mismatch、Question Reordering Semantics Drift、Entity / Quantity Misalignment、Answer Extraction Error、Irrelevant Reasoning、Others。Gemini-2.5-Flash 作评审，输入为原题、重排题及对应 CoT，判断导致错误答案的主要失败类型。附录 C 给出提示词。Figure 2 针对重排后被判为 Excellent 的印地语子集。
• 激活修补：在 Gemma-2-9B-it 上做去噪式残差流修补。clean run 为模型在正确输入上的推断，perturbed run 为重排输入上的推断，patched run 用干净运行的激活替换扰动运行中的对应激活，看能否恢复正确答案。作者选用重排后被 LLM 判为 excellent、且原题答对、重排题答错的样本：印地语 65 条、马拉雅拉姆语 67 条。token 分为 Subject、Object、Verb、Connectors、Operation words、Number、Unit、Entity–Quantity Combinations、Punctuation 共 9 类，由 Gemini-2.5-Flash 分类后再经内部语言专家核对。按类别做逐层修补。恢复效率定义为：修补后答案被恢复的样本数，除以该类别被修补的 token 总数。恢复率是该类别 token 修补后答案被恢复的样本比例。作者未在正文给出公式。

实验设置

• 模型：主推理为 Gemma-2-9B-it、Gemma-2-27B-it、GPT-OSS-20B、Llama-3.1-8B-it、Param-2-17B-A2.4B、Qwen3-30B-A3B。ARC-Challenge-Indic 另用 Gemma-2-27B-it 与 Gemma-4-12B-it。微调仅 Gemma-2-9B-it。激活修补仅 Gemma-2-9B-it，作者称因其在被评模型中是较小的稠密模型，其余部分为 MoE，专家路由使路径更难解释。
• 数据：GSM8K 印地语与马拉雅拉姆语测试集各 1319 条。重排报告五次生成的 mean ± std。语态结果按 Table 4 标题为五个随机种子的均值；表中未列出标准差数字。ARC-Challenge 印地语变体 1150 条。质量相似度见 Table 1。
• 指标：答案准确率（%）。下降量是相对 Original 的绝对下降，记为 ↓。修补指标为 Normalised Restoration Efficiency 与类别恢复率。
• 评审：数值匹配，无额外打分模型。错误类型与数据质量、token 类别由 Gemini-2.5-Flash 或 Gemini-2.5-Pro 判定；论文未报告与人工的一致性数值，token 类别有内部语言专家核对。
• 解码：种子 50，batch 8，输入上限 2048，生成上限 512，默认贪心 temperature = 0。

主结果

Table 2 为重排准确率（%）。下表只列 Zero-shot CoT；括号内为相对 Original 的绝对下降（百分点）。重排为五次生成的均值。

表格较宽，可左右滑动

模型	印地语 Original	印地语 Reordered	马拉雅拉姆语 Original	马拉雅拉姆语 Reordered
Gemma-2-9B-it	76.30	61.78 (↓14.52)	76.88	61.89 (↓14.99)
Gemma-2-27B-it	74.75	64.62 (↓10.13)	71.42	59.18 (↓12.24)
GPT-OSS-20B	84.00	73.64 (↓10.36)	84.46	74.96 (↓9.50)
Llama-3.1-8B-it	56.63	25.42 (↓31.21)	19.86	14.25 (↓5.61)
Param-2-17B-A2.4B	67.32	49.52 (↓17.80)	71.34	49.87 (↓21.47)
Qwen3-30B-A3B	66.34	62.68 (↓3.66)	49.51	43.14 (↓6.37)

• 作者解读：所有模型、所有提示下，保语义重排都带来推理性能下降，作者称模型对表层句法高度敏感。印地语上原文较强的是 GPT-OSS-20B、Qwen3-30B-A3B 与 Gemma-2-27B-it，重排后三者都下降。
• 同表其他提示的极值：印地语下降最大的一格是 Plan & Solve 下 Param-2-17B-A2.4B，从 66.49 到 33.41（↓33.08）；下降最小的一格是 Plan & Solve 下 Qwen3-30B-A3B，从 44.96 到 42.15（↓2.81）。马拉雅拉姆语 Plan & Solve 下 Llama-3.1-8B-it 从 0.53 到 0.13（↓0.40）；Param-2-17B-A2.4B 从 66.19 到 34.52（↓31.67）。Three-shot CoT 下 GPT-OSS-20B 马拉雅拉姆语从 86.58 到 76.36。
• 标准差：印地语 Zero-shot CoT 重排，Qwen3-30B-A3B 为 62.68±7.44，大于同格其他模型（如 Gemma-2-9B-it 的 ±1.21）。作者未对此单独解释。

语态变换与 ARC

• Table 4（Zero-shot）：印地语 Voice 相对 Original，Gemma-2-9B-it ↓1.80（74.50）、Gemma-2-27B-it ↓6.29、GPT-OSS-20B ↓10.20、Llama-3.1-8B-it ↓29.41（27.22）、Qwen3-30B-A3B ↓0.36（65.98）。马拉雅拉姆语 Gemma-2-27B-it 从 71.42 到 48.14（↓23.28），GPT-OSS-20B ↓4.89，Qwen3-30B-A3B ↓0.49。Param-2-17B-A2.4B 在 Table 4 未报告。作者称两种语言、所有列出的模型都下降。
• Table 3（印地语 ARC-Challenge-Indic，1150 条）：Gemma-2-27B-it 的 Zero-shot CoT 从 87.13 到 83.65（↓3.48），Plan & Solve 从 85.74 到 83.83（↓1.91）。Gemma-4-12B-it 的 Zero-shot CoT 从 88.96 到 85.91（↓3.05），Plan & Solve 从 80.52 到 76.61（↓3.91）。作者称两种模型、全部提示策略都下降，幅度小于 GSM8K 重排上的多数格子。

微调

• Table 5（印地语重排，Gemma-2-9B-it）：Zero-shot CoT 61.78±1.21，One-shot 60.56±0.42，Three-shot 58.12±0.50，Plan and Solve 64.45±0.72；LoRA 41.59±1.10，DoRA 46.13±0.11。DoRA 高于 LoRA，两者都低于各提示设置。
• Table 6（印地语语态，同一模型）：Zero-shot CoT 76.30，LoRA 40.94，DoRA 51.25。作者称轻量适配不足以获得组合语义稳健性，并给出一种可能解释：微调语料约来自 7.5k 条 GSM8K 及其重排变体，规模较小且领域特定，模型可能过拟合扰动特有的表层模式。作者认为结构稳健性可能需要更广的架构或训练层面干预；此为作者的可能解释，不是检验结果。

错误类型与激活修补

• Figure 2：印地语 Excellent 重排子集上的 9 类错误分布。正文未给出各类百分比。作者称实体/数量错位与跳步是表面句法变化下的脆弱点，并称 Entity/Quantity Misalignment 是 Figure 2 中最高的错误类别。Table 8 给出 Gemma-2-9B-it 在印地语 zero-shot CoT 重排下每类一条示例，原题推理正确、重排后错误。
• Figure 3：印地语与马拉雅拉姆语按层、按 token 类别的归一化恢复效率。作者称最高恢复效率在中间层，尤其第 5 到 25 层；图注写中间层恢复效应更高。正文未列出逐层数值。
• Figure 4：从原文激活补到重排输入后的类别恢复率。作者称两种语言上 Entity–Quantity Combinations 的恢复率在所有类别中最高，并与 Figure 2 的最高错误类一致；Number、Verb、Punctuation 也较高。作者认为失败可能不只来自计算错误，而来自模型在句内和句间组织、关联实体的方式被打乱。论文未报告具体恢复率百分比。

其他消融与分析

• Table 1 余弦相似度（%，五种子均值）：印地语 Proposed 为 MiniLM 98.22±0.01、LaBSE 98.50±0.01、DistilUSE 98.46±0.01、IndicBERTv2-SS 98.56±0.01；对应 Random 为 90.59±0.13、87.28±0.05、92.67±0.04、91.90±0.02。
• 马拉雅拉姆语 Proposed：MiniLM 93.15±0.07、LaBSE 89.37±0.07、DistilUSE 99.64±0.01、IndicBERTv2-SS 99.24±0.03；Random 的 DistilUSE 为 99.13±0.01、IndicBERTv2-SS 为 98.50±0.01，与 Proposed 接近。
• 重排五种子为 42、50、123、321、999；主结果采用种子 42 的集合，作者称其中位推理表现覆盖多数模型。
• 修补样本为原题正确且重排错误、并被判 excellent 的 65（印地语）与 67（马拉雅拉姆语）条。
• 马拉雅拉姆语 Plan & Solve 下 Llama-3.1-8B-it 原文仅 0.53%，重排 0.13%，绝对下降 0.40 个百分点，是 Table 2 中最小降幅之一，但起点已接近 0。

作者指出的局限与后续方向

• 语言范围：评测限于印地语与马拉雅拉姆语。作者称二者都有相对灵活的语序，但发现未必直接推广到其他多语言场景或句法性质不同的类型学语言。扩展到更多自由语序和形态丰富的语言是未来工作的重要方向（Limitations）。
• 任务范围：实验主要针对 GSM8K 与 ARC-Challenge 的推理题。作者称结论未必直接迁移到常识推理、符号推理或长上下文多跳推理；未来工作应考察类似的结构敏感性是否存在于更广的多语言推理任务（Limitations）。
• 微调之后的判断：结论中作者称，即使在重排结构上微调，结构稳健性也没有改善，并认为这指出当前 LLM 在语义等价结构之间泛化的更深限制；同时认为仅靠提示或轻量微调可能不够，或需架构或训练层面的干预（Conclusion；Section 5 将后半句表述为 may）。

实验覆盖范围

• 推理主实验覆盖 6 个指令微调开源模型、印地语与马拉雅拉姆语、原文 / 重排 / 语态三种输入，以及 Zero-shot、One-shot、Three-shot CoT 和 Plan & Solve；重排准确率按五个生成报告 mean ± std（Section 4、Table 2）。
• ARC-Challenge 仅印地语、1150 条、两个模型（Gemma-2-27B-it、Gemma-4-12B-it）和四种提示（Table 3）。Table 4 的语态结果未包含 Param-2-17B-A2.4B。
• 参数高效微调只在 Gemma-2-9B-it 上进行，比较 LoRA 与 DoRA，语料为印地语原文与扰动问答的 80/20 划分（11956 / 2990）（Section 4.3、Table 5、Table 6）。
• 错误分类与残差流修补集中在重排设置和 Gemma-2-9B-it；修补样本为印地语 65 条、马拉雅拉姆语 67 条，token 分 9 类并逐层修补（Section 6）。论文未报告 Figure 2、Figure 3、Figure 4 的逐类或逐层百分比，也未报告质量评审或错误分类与人工判断的一致率。
• 语义保持以四种句向量的余弦相似度（Table 1）和 Gemini-2.5-Flash 的三档质量判断衡量；分组与语态转换使用 Gemini-2.5-Pro。论文讨论了自由语序并非绝对，因此采用词组级受约束 scrambling，而不是任意逐词乱序（Section 3.1–3.2）。

IndicReStruct 用保语义的成分重排和语态变换，检验多语言 LLM 的数学推理是否依赖表层语序。

• 问题：作者关心相对自由语序语言中，语义等价但结构不同的题目是否得到一致推理。假设是模型多在规范书面形式上训练，可能对口语中常见的换位敏感。
• 做法：从 GSM8K 印地语与马拉雅拉姆语测试集（各 1319 条）构造 GSM8K-Reordered 与 GSM8K-Voice。重排先由 Gemini-2.5-Pro 做词组，再在标点与连词边界内伪随机置换，五种子可复现。质量用四种嵌入的余弦相似度及 Gemini-2.5-Flash 三档判断检查。评测六个开源指令模型、四种提示，并对 Gemma-2-9B-it 做 LoRA / DoRA；失败分析含九类错误和残差流激活修补。
• 重排：Zero-shot CoT 印地语上，Llama-3.1-8B-it 从 56.63% 到 25.42%（↓31.21 个百分点），Qwen3-30B-A3B 从 66.34% 到 62.68%（↓3.66）；GPT-OSS-20B 从 84.00% 到 73.64%。马拉雅拉姆语 Three-shot CoT 下 GPT-OSS-20B 从 86.58% 到 76.36%。Table 2 中全部模型与提示均为下降。
• 语态、ARC 与微调：Zero-shot 语态下，印地语 Llama-3.1-8B-it ↓29.41 个百分点，Qwen3-30B-A3B ↓0.36；马拉雅拉姆语 Gemma-2-27B-it ↓23.28（Table 4）。ARC 印地语上 Gemma-2-27B-it Zero-shot CoT ↓3.48 个百分点（Table 3）。印地语重排上 DoRA 为 46.13%，低于 Zero-shot CoT 的 61.78%（Table 5）。
• 机制与结论：作者称错误常涉及实体–数量错位；在原题对、重排错的 65 / 67 条上，中间层（约第 5–25 层）归一化恢复效率更高，Entity–Quantity Combinations 的恢复率在各类中最高。作者认为当前多语言 LLM 对表层句法实现高度敏感，缺少结构不同但语义等价输入下的组合不变性，且提示或轻量微调不足以解决。作者同时指出结果限于两种印度语言及 GSM8K、ARC-Challenge。