BanglaLorica: Design and Evaluation of Robust Watermarking Algorithms for Bengali Text Generation in Large Language Models

Bangla LLM的token级水印在跨语言往返翻译后难以检出，作者要在不重训练的前提下提高可检测性。

• 场景： 作者称LLM已用于创作、教育、新闻与自动决策，归属、知识产权与滥用检测因此紧迫。Bangla被写成使用人数超过280 million的第7大语言，形态丰富、词序灵活、复合频繁且为非拉丁文字，英语方法隐含的词法稳定性难以直接迁移。
• 不足： 作者称KGW、EXP、Waterfall在高资源语言上已有结果，但低资源语言与RTT下缺少系统分析；token级信号在保语义、改表层的变换中容易丢失。
• 观察： 作者称良性条件下KGW检测准确率超过88%、EXP超过91%，困惑度与ROUGE退化可忽略；摘要写RTT后跌至9–13%。
• 做法： 提出分层水印，在KGW或EXP之上叠加Waterfall，作为训练无关的第二层统计信号。作者计划公开代码与数据。
• 威胁模型：
  • 目标： 用跨语言改写做text laundering，削弱或去除水印并大体保留语义。
  • 知识： 论文写strict black-box。第4节称生成、攻击与检测时不访问模型内部、token级概率或watermarking keys。
  • 能力： Bangla→English→Bangla RTT，翻译模型为BanglaNMT（Hasan et al., 2020）。
  • 受害系统： instruction-tuned Bangla LLaMA-3-8B的Bangla生成；水印用于事后核验，不依赖外部分类器或特权访问。

生成期token水印

• Zhang et al. (2018)： 在分类器输出、内部表示或模型参数中嵌入可识别信号，用于所有权核验与滥用检测。
• KGW（Kirchenbauer et al., 2023）： 用密钥把词表分成伪随机green list与red list，解码时偏向green list，再用假设检验检测；不重训练、与模型无关。论文称其后的Christ-style与entropy-aware变体仍依赖表层token统计，易受改写和翻译攻击。
• EXP（Kuditipudi et al., 2023）： 从指数分布做distortion-free采样，保持原输出分布。论文称它对token编辑更稳，检测所需token少于inverse transform sampling，但在低熵上下文和跨语言变换中效果有限，仍依赖token分布相对稳定。

语义与生成后水印

• SemaMark（Ren et al., 2024），以及Liu et al. (2024)、Yoo et al. (2023)： 用同义替换、释义、句向量、局部敏感哈希或不变特征嵌水印，以抵抗词法变化。论文称这些方法依赖额外模型或资源，因而限制了低资源语言和大规模使用。
• Waterfall（Lau et al., 2024）： 生成后做词表置换和正交扰动（如Fourier变换），嵌入multi-bit水印。论文称它可做可扩展溯源，并对强LLM改写更稳；但独立于生成，可能扰动embedding-time检测依赖的token统计，短文本或风格敏感文本上可能降质。

跨语言与低资源

• He et al. (2024)、Fu et al. (2024)： 论文把跨语言释义和翻译当作对水印的text laundering，并称既有研究主要在高资源语言和拉丁文字上。
• Venkatakrishnan et al. (2023a)： 论文用来说明低资源语言上的水印稳健性仍未得到系统核验，英语中心假设常常不成立。引言还把数字水印的更早谱系记到Dixit and Dixit (2017)的图像、音频与多媒体工作。

基线与数据

• 基线方法： 单层KGW、EXP，以及生成后的Waterfall；分层是KGW或EXP再加Waterfall。消融比较三者单独与组合，但Waterfall单独没有数值表。
• 基准/数据集： 过滤后的Bangla-Alpaca Orca，500条提示；RTT使用BanglaNMT（Hasan et al., 2020）。

作者称本文是对Bangla LLM生成中KGW与EXP在RTT下的首次系统评估，并用训练无关的分层信号补上post-generation水印；论文称此前没有这类分析，也没有不重训练、不加语言专用资源的补救指引。

作者把流程称为分层水印：在BanglaLorica中，先于解码嵌入KGW或EXP，再可选地用Waterfall做生成后第二层，然后经RTT，并用各方法自己的统计检测器判定。Figure 1把两层检测画成embedding layer与post-generation两道检查。

问题设定与生成

• 模型与数据： instruction-tuned Bangla LLaMA-3-8B（Zehady et al., 2024）。提示来自过滤后的Bangla-Alpaca Orca，共500条。
• 长度与实现： 单层解码长度L∈{100, 150, 200}，方法M={KGW, EXP}，六种单层配置。采样包装接在Hugging Face的generate上。
• KGW： 每步用密钥把词表分成伪随机green/red list，给green-list token加小的正偏置，不重训练。附录Table 4：prefix length为1，hash key为15485863，γ=0.5，δ=2.0，检测阈值z>4.0；Sequence length记为“–”。
• EXP： 从指数分布采样，隐式偏向指定token子集，不改logits；论文称distortion-free。附录Table 4：prefix length为4，同一hash key，sequence length为200，检测阈值为10^{-4}。正文实验长度仍是100、150、200，与该行的200并不等同。

RTT攻击

• 全部生成输出做Bangla→English→Bangla。翻译模型为BanglaNMT，脚注名为csebuetnlp/banglat5_nmt_en_bn（Hasan et al., 2020）；Figure 2写作BUET NMT。
• 作者称该过程保留语义，同时带来大量词法与句法变化，用来模拟黑盒对手削弱水印。附录A.6称路径在各方法间固定。

分层水印

• 正文第3.3节：Waterfall对已生成文本做词表划分与分布扰动。分层对象是已经过KGW或EXP的输出，再送入RTT。因计算约束，这组只做100-token生成（第4.3节）。
• 附录A.4与Algorithm 1把同一阶段写成释义选择：对主水印文本生成候选释义，用句向量模型S算相似度si，用水印验证分qi，选取T_w=argmax_Ti(λ· s_i+q_i)。该式是在候选中同时提高语义相似度与水印验证分。论文未给出λ、候选数N和S的模型名。附录称释义提示限制为只生成Bangla。
• 附录A.8：Python与PyTorch，计算约束下可用8-bit量化。作者计划发表后公开代码与配置。

检测与指标

• KGW： 对green-list比例做Z检验。G为green token数，T为总token数，γ为green-list比例；零假设下G为二项分布。检测统计量为z=(G−γ T)/(√(γ(1−γ)T))，即计数相对期望的标准化偏离，附录写z>4.0判为有水印。
• EXP： 正文写比较指数重采样分布下的对数似然。附录把逐位置分数st累加为S，用Gamma生存函数算p值，p<10^{-4}判为有水印。
• Waterfall： 基于token-group划分与分布偏斜的统计评分。论文未给出数值阈值。
• 指标： Detection Accuracy是被正确判为带水印的样本比例；ROUGE-1/2/L；Perplexity表示相对无水印基线的流畅度变化。检测分别在原文和RTT文本上独立进行。论文未说明perplexity由哪个模型计算。

实验设置

• 被测模型： instruction-tuned Bangla LLaMA-3-8B。RTT使用BanglaNMT。
• 数据： Bangla-Alpaca Orca过滤子集，500条提示。单层长度100、150、200 token。分层因计算约束只做100-token；论文未说明是否仍用全部500条。
• 方法： 单层KGW、EXP；分层为二者再加Waterfall。消融还口头比较单独Waterfall，没有数值。
• 指标与判定： Detection Accuracy、Perplexity、ROUGE-1/2/L、句级semantic similarity。检测是各方法的统计分数，不是LLM评审。附录A.3：KGW为z>4.0，EXP为p<10^{-4}。
• 未报告项： 重复次数、与人工判定的一致性、perplexity的计算模型。
• 协议： 第4节称实验为strict black-box，生成、攻击、检测时不访问模型内部、token级概率或watermarking keys。

主结果

Swipe horizontally to read the table

指标	KGW	EXP	出处
Detection Accuracy	0.885	0.912	Table 2
Robustness to RTT	0.09	0.13	Table 2
平均水印Perplexity	2.309	2.0295	Table 2
平均无水印Perplexity	2.1616	2.1368	Table 2
ROUGE-1 / 2 / L	0.3671 / 0.3039 / 0.3601	0.3854 / 0.3207 / 0.3784	Table 2
RTT前，100/150/200 token	87% / 88% / 89%	91% / 89% / 90%	Figure 3
RTT后，100/150/200 token	15% / 16% / 17%	19% / 19% / 18%	Figure 3

• 论文未说明Table 2各行是否跨三种长度汇总。摘要把RTT后检测准确率写成9–13%，第5节写成低于20%；这两句与Figure 3的RTT后各格对不上，这里并列，不做换算。第4.1节称各长度上KGW超过88%、EXP超过91%，也与Figure 3的87%以及EXP的89%、90%对不上。
• 作者称良性条件下检测高、流畅度退化小，且ROUGE显示水印与无水印输出的词法、结构相似度高。表中EXP的水印Perplexity低于其无水印行，KGW则更高；作者未解释这一方向差。
• 作者称加长本身不能恢复RTT后检测，下降在各长度上一致，且EXP略高于KGW。作者把原因写成翻译打乱了两种方法依赖的token级统计。

检测分数分布

• 测的是KGW与EXP在RTT前后的分数分布（Figure 4、Figure 5）。作者称良性条件下水印与无水印分开；RTT后分布移动并重叠，信号变得与无水印文本难以区分。作者称EXP在RTT后仍有稍重的高置信尾部，但两种方法的可分性损失都很严重。
• 文本转换未保留曲线。Figure 4可见横轴Detection Score标注-1到5、纵轴Density标注0.0到0.7，图例为Before RTT与After RTT。Figure 5横轴标注-0.2到0.6，图例同为RTT前后，并有“Full range”字样。
• Table 3对应Table 1的一条样例：水印输出KGW为2.20×10^{-5}、EXP为1.89×10^{-6}，均标Detected；无水印输出KGW为0.529、EXP为0.814，均标Not Detected。附录把KGW定义成z分数、阈值z>4.0，与Table 3的数量级不同；论文未解释二者关系。

分层水印

• Figure 6比较单层与双层在RTT前后的Detection Accuracy。图例为KGW与EXP，横轴四档为Single-layer Before/After RTT与Double-layer Before/After RTT，纵轴0到100。文本转换没有各柱读数。
• 摘要称分层使RTT后准确率提高25–35%，达到40–50%，相对单层为3× to 4×；第5节称达到40–50%，相对改进为3–4×。作者把改进归于对词法替换和句法重排不太敏感的正交统计信号。论文未报告这组数字的样本量。结论只写survivability提高，并称代价是controlled semantic degradation，没有再给数字。
• 第4.3节消融无数值表：作者称单独embedding-time在良性下可检出、RTT后失效；单独Waterfall在RTT后只提供有限稳健性，并称不足以完成检测；组合则提高RTT后准确率。Figure 7纵轴Semantic Score标注0.700到0.900，图注称比较单层与分层，可见图例为KGW与EXP；文本没有各点读数。作者称双重嵌入带来semantic drift，退化保持moderate，第5节称为modest。

其他消融与分析

• 长度：Figure 3的RTT前、RTT后各格见主结果表；作者称加长不能恢复检测。
• 超参（附录Table 4，全程固定）：KGW的γ=0.5、δ=2.0、prefix length=1、z>4.0；EXP的prefix length=4、阈值10^{-4}；两边hash key均为15485863。
• 质量：Table 2给出单层ROUGE与Perplexity；论文未报告分层条件下的这两类数值。
• 单独Waterfall：无检测准确率数字；作者称RTT后不足以完成检测。
• 附录Algorithm 1未报告λ、N，也未报告入选前后的qi或si差。
• 定性：Table 1给一条提示及KGW、EXP、无水印输出；除Table 3外，论文未报告该例的RTT结果。

作者指出的局限与后续方向

• 路径： 评估集中在Bangla→English→Bangla一条RTT，没有覆盖multi-hop或其他跨语言改写；多跳翻译和更强释义模型被列为后续（Limitations第8节；Future Work第6节）。
• 长度： 双层实验因计算约束限于较短生成；作者称因此看不清分层稳健性如何随更长文本变化（第8节）。
• 度量： 作者称ROUGE与perplexity未必能反映分层扰动的细微意义偏移，尤其在形态丰富的Bangla上；人工评估或更细的语义相似度可用来补这一缺口（第8节）。
• 层组合： 算法集合是固定的，未做adaptive或learned组合；作者称条件式二次水印需要显式攻击者模型，超出本文black-box设定，留待以后（第6、8节）。
• 语义水印： 作者称embedding-based或invariant-feature方法或可减少质量损失，但因额外复杂度与语言/模型校准而未做，以免增益不能归因于分层本身（第6节）。
• 基准与语种： 含RTT协议和语义保真度量的低资源基准被作者称为超出范围，需要大量人工标注与社区协作；扩展到其他低资源、非拉丁文字语言留作后续，本文以Bangla为案例（第6节）。

实验覆盖范围

• 生成模型为instruction-tuned Bangla LLaMA-3-8B；数据为Bangla-Alpaca Orca过滤子集500条；单层长度100、150、200 token（第3.1、4节）。
• 方法为KGW、EXP、Waterfall，以及KGW或EXP再加Waterfall；RTT用BanglaNMT，路径Bangla→English→Bangla；分层长度为100 token（第3.2–4.3节）。
• 指标为Detection Accuracy、Perplexity、ROUGE-1/2/L与句级semantic similarity；检出用z检验、Gamma p值或Waterfall分数，无LLM评审（第3.4节、附录A.3）。
• 论文未报告分层样本量、重复次数、Waterfall单独准确率、语义模型S的名称、λ、候选数N、perplexity计算模型，以及Table 2是否跨长度汇总。
• 附录Table 4固定KGW的γ=0.5、δ=2.0、z>4.0，以及EXP的p<10^{-4}。附录A.8写可用8-bit量化；作者计划发表后公开代码与数据。

BanglaLorica评估Bangla生成文本上的水印，并加上第二层以应对跨语言往返翻译。

• 问题： token级信号在Bangla→English→Bangla改写后难保留。作者不重训练生成模型，而在已有水印上再嵌一层。
• 方法： 生成模型为instruction-tuned Bangla LLaMA-3-8B，提示500条，来自Bangla-Alpaca Orca。单层用KGW或EXP，长度100、150、200；分层再经Waterfall。RTT由BanglaNMT完成。检测分别是z检验、Gamma p值和Waterfall统计分。
• 良性与质量： Table 2中KGW、EXP的Detection Accuracy为0.885、0.912，水印Perplexity为2.309、2.0295，无水印为2.1616、2.1368。Figure 3在三种长度上，RTT前KGW为87%、88%、89%，EXP为91%、89%、90%。
• RTT： Table 2的Robustness to RTT为0.09与0.13。Figure 3则为KGW 15%、16%、17%，EXP 19%、19%、18%。摘要另写9–13%，第5节写低于20%。作者称加长文本不能恢复检测。
• 分层： 实验只做100 token。摘要称RTT后准确率提高25–35%、达到40–50%、相对单层为3× to 4×；第5节写3–4×。Figure 6的文本转换没有柱值。作者称代价是可控的语义退化。
• 结论： 作者称无攻击时，英语场景发展的embedding-time水印可用于Bangla，但RTT会打乱其token分布假设；分层、训练无关的第二层统计信号是他们给出的补救。作者计划公开代码与数据。