RoCoMark:抵御基于 LLM 的功能保持重写攻击的鲁棒代码水印
RoCoMark: Robust Code Watermarking Against LLM-Based Functionality-Preserving Rewriting Attacks
作者提出代码水印框架 RoCoMark,用多轮攻防博弈对抗 LLM 改写攻击,作者称在五个 LLM 改写攻击下平均检测 AUROC 74.2%、Rewrite BitACC 75.3%。
black-box 攻击者完全持有水印代码 Cw,不知原始代码 C 与消息 m,可调用任意 code LLM、编译器和测试套件生成改写;目标是在保持被测行为与公开接口的前提下移除水印(WMarkDetection 低于阈值 ϵ)。
- LLM 可在保持代码功能的前提下大幅改写代码,使现有源码水印的语法与结构特征被破坏、检测失效。作者认为根因是训练时扰动与真实 LLM 全局、非确定性改写之间的分布失配。
- RoCoMark 把水印嵌入器与 LLM 改写器的交互建模为多轮 minimax 攻防博弈:每轮先做 threat profiling(对比学习加知识蒸馏学习改写不变表示),再做 strategy improving 联合优化编码器与提取器,攻击方用基于 Reflexion 与长短时记忆池的提示词进化机制持续生成更强改写。
- 在四个基准、五个 LLM 改写攻击下,作者报告 RoCoMark 平均检测 AUROC 74.2%、Rewrite BitACC 75.3%,代码 PassRate 高于 99.7%;MiMo-V2.5-Pro 攻击下 AUROC 0.7408,高于 RoSeMary 的 0.7182 与 SrcMarker 的 0.6948。
- 作者列出的后续方向:更高效的对抗样本生成、新的水印编码、跨语言改写鲁棒性(Conclusion);作者还指出在固定改写分布上过度优化会过拟合(Table I 节)。实验上水印长度 L=4,训练与改写数据均为 Python。
- 被测模型
- RoCoMark
- 基准
- CodeSearchNet (Python)HumanEvalMBPPEvalPlusAPPS
- 指标
- AUROCTPRFPRBitACCMsgACCPassRate
RoCoMark 提出抵御基于 LLM 功能保持重写攻击的鲁棒代码水印框架,在四个基准、五种 LLM 攻击下平均检测 AUROC 达 74.2%。它用水印嵌入器与 LLM 重写器的多轮极小极大博弈,结合对比学习、知识蒸馏与 Reflexion 记忆池自适应攻击演化。其取得 75.3% 的 Rewrite BitACC,代码功能通过率超过 99.7%。
深度解读
这篇论文试图解决什么问题?
解决 LLM 功能保持改写攻击下源码水印失效的问题,作者提出鲁棒代码水印框架 RoCoMark。
核心问题:现有源码水印方法在 LLM 功能保持改写(functionality-preserving rewriting)攻击下性能大幅下降,如何在保持代码功能的同时让水印在这种改写后仍可检测。
- 场景与重要性:LLM 生成代码带来知识产权保护、来源追踪与问责需求;生成代码可能被改写、未授权再分发或用于学术不端,需要可靠的所有权与来源验证(引言)。
- 现有方法的不足:作者认为现有神经源码水印方法(如 RoPGen、SrcMarker)只在预定义、简单的变换空间上训练,面对 Claude、DeepSeek-V4-Flash 等 LLM 的大幅度功能保持改写时,水印的语法与结构特征被大幅改变,检测失效。
- 核心观察:作者把失效归因于训练时扰动与真实 LLM 全局、非确定性改写之间的分布失配,而非单纯的改写强度;作者分析了数十万条 MiMo-V2.5-Pro 改写,发现存在反复出现的变换模式,用对比学习微调 CodeT5 后,Figure 2 中改写前后代码嵌入的余弦距离整体减小(蓝点到红点),作者称编码器学到了改写不变特征并能泛化到未见模型与提示词。
- 论文提出的方案:RoCoMark,把水印嵌入器与 LLM 改写器的交互建模为多轮 minimax 攻防博弈,结合对比学习、知识蒸馏与基于 Reflexion 的攻击策略进化机制,逐步提升对未见 LLM 改写的鲁棒性。
- 威胁模型(Section III):
- 攻击者目标:移除水印,同时保持 Cw 的被测行为与公开接口(函数名、参数、返回类型)。
- 攻击者知识:black-box,完全持有水印代码 Cw,不知原始代码 C 与嵌入消息 m。
- 攻击者能力:可使用任意资源,包括 code LLM、编译器和测试套件,生成并验证改写。
- 受害系统与判定:受害方为嵌入水印的代码所有者;当 WMarkDetection(Crw, m) 低于阈值 ϵ 且功能与接口保持一致时,视为攻击成功(Eq. 2)。
有哪些相关研究?
相关工作分推理时水印与后处理水印两类,作者认为它们都未把 LLM 语义保持改写显式建模为对抗威胁。
推理时(inference-time)水印
- KGW [5] 及 SWEET [8]:KGW 预选 green-list token 并提高其采样概率;SWEET 把 green-list 约束限制在高熵 token 上。论文指出 KGW 受 token 多样性限制可能导致语义失真,SWEET 的固定熵阈值在不同复杂度代码上未必泛化。
- EAW [24]、CodeIP [9]、MCGMark [25]:分别按局部熵动态调节水印强度、用类型预测器实现多比特嵌入、通过概率离群点编码信息;论文指出 EAW 限于单比特嵌入,CodeIP 的预测错误会损害扰动下的鲁棒性,MCGMark 易受统计平滑影响。
- REMARK-LLM [26]、PromptMark [27]:前者用学习到的编码器加 beam search 提高嵌入容量,后者采用黑盒、提示词引导的水印策略;论文指出 beam search 有额外计算开销且不保证强改写下的功能正确性,PromptMark 在自适应攻击下检测性能可能下降。
后处理(post-processing)水印:规则方法
- RoPGen [12]:通过对抗训练学习编码风格用于作者归属;论文指出它依赖固定的风格特征集合,并非为抵抗内容级改写而设计。
- NatGen [13]:用六类功能保持变换做代码自然化;论文指出其变换空间是人工预定义的,难以适应新出现的攻击模式,部署后防御基本静止。
后处理水印:神经网络增强方法
- SrcMarker [16]:把规则变换与神经网络端到端结合、双通道嵌入;论文指出其训练依赖固定的合成变换集合,未显式建模真实 LLM 改写。
- RoSeMary [17]:作者称是首个 ML-密码学协同设计的代码水印,结合 CodeT5 与零知识验证;论文指出其安全形式化未直接处理语义级改写。
- SWaRL [29]、MATRIX [30]:SWaRL 结合强化学习、编译器反馈与 LoRA;MATRIX 用 BCH 码的约束奇偶校验方程编码;论文指出 SWaRL 训练未显式引入 LLM 对手,MATRIX 未显式处理 LLM 的完整结构改写。
基线与基准:实验基线为 SWEET、SrcMarker、RoSeMary;训练用 CodeSearchNet Python 子集,评测用 HumanEval、MBPP、EvalPlus、APPS 四个数据集。
本文定位:作者认为现有后处理方法大多依赖预定义变换、固定攻击模型或静态优化目标,未把 LLM 语义保持改写显式纳入设计与训练,RoCoMark 通过攻防共同进化来覆盖这一威胁。
论文如何解决这个问题?
RoCoMark 用多轮攻防博弈训练水印模型:threat profiling 学改写不变表示,strategy improving 强化水印,攻击方用 Reflexion 进化改写提示词。
整体思路:把水印嵌入器(防御方)与 LLM 改写器(攻击方)的交互建模为多轮 minimax 攻防博弈,每轮防御方先吸收攻击方当前的改写策略再改进自身,攻击方同时升级,迭代提升水印对未见 LLM 改写的鲁棒性(Figure 3)。
问题设定与形式化
- 嵌入与提取:给定原始代码 C 与 L 比特消息 m,生成水印代码 Cw = Embed(C, m);实际使用密钥控制水印生成与验证。检测分数为 z-score:WMarkDetection(Cs, m) = (K(Cs; m) − μ)/σk,其中 K 为预测消息与目标消息的匹配比特数,分数不低于阈值 ϵ 判为含水印。
- 攻击成功条件:改写代码 Crw 需在全部测试用例上执行结果一致、公开接口一致,且检测分数低于 ϵ(Eq. 2)。
- 设计目标:Effectiveness、Imperceptibility、Robustness、Capacity 四项。
水印嵌入与提取
- 双通道嵌入:以预训练 CodeT5 为代码编码器 fθ,消息编码器 hψ 产生消息表示;语法选择头 Hsyn 与变量选择头 Hvar 分别在合法语法动作集合与变量名候选集合上做 MaskedSoftmax 选择,训练时用温度 τg 的 hard Gumbel-Softmax 近似离散选择,推理时取 argmax。
- 确定性执行:Transform 把选中的语法动作与变量名替换规则作用到 AST 上再重新生成代码;语法合法性由有效性掩码与规则执行器保证,功能保持靠功能保持变换的设计与后续基于测试的验证。
- 提取:共享 CodeT5 编码器加轻量解码器 gϕ 输出每比特 logits,按阈值 δ 硬判决;部署时只需保留代码编码器、水印解码器与目标消息。
三个训练模块
- Warm-up:用变量替换与 AST 变换预训练基础水印模型以缓解冷启动;因变换不可微,引入特征近似器 qω 生成近似表示并注入高斯噪声,用近似解码损失、实际解码损失与特征近似损失三项训练(Eq. 11)。
- Threat profiling:用 LLM 改写水印代码,只更新目标编码器 fθ;采用双向分组对比学习(同一原始代码的水印版与改写版为正对,其余改写为负样本),并配合四项辅助损失(warm-up 表示蒸馏、对抗锚点、余弦对齐、解码难度一致性)约束编码器不偏离 warm-up 表示空间,缓解灾难性表示漂移。
- Strategy improving:用当前模型重新生成水印代码并从离线池采样对应改写,联合更新编码器、消息编码器、解码器、变换选择器与特征近似器;引入软 z-score 的检测间隔损失(要求有效改写的软检测分数至少比原始代码高 ζ)、离散验证失败率项,以及把原始未水印代码预测推离目标消息的对比项以抑制误报。
LLM 提示词进化与验证
- Reflexion 进化:攻击方在每轮内进行多次内层迭代,依据攻击有效性分数(有效改写带来的检测分数下降,Eq. 28)反思并生成下一个候选改写提示词;成功击破当前水印的提示词及其反思存入长期记忆,下一轮取最近三条作为种子继续进化。该分数仅用于构造对抗训练样本,不对外部攻击者公开。
- 改写数据过滤(附录 C):对 110,000 条候选改写做请求有效性、有效改写、字符级相似度(τsim = 0.3)、长度(不超过 3 倍)与函数签名兼容性检查,再经 AST 语法检查、去重与中文注释过滤,最终得到 74,043 条训练三元组与 7,058 条验证三元组。
- 关键超参数:ϵ = 1.645,L = 4,τg = 0.5,τc = 0.07,δ = 0.5,p̄ = 0.5,ζ = 1.0,σε = 0.02;三个阶段各有独立的损失权重(Section V-A)。
论文做了哪些实验?
在四个基准、五个 LLM 改写攻击下评测,作者报告 RoCoMark 平均 AUROC 74.2%、Rewrite BitACC 75.3%,PassRate 高于 99.7%。
实验设置
- 被测方法:RoCoMark 与三个基线 SWEET、SrcMarker、RoSeMary;RoCoMark、RoSeMary、SrcMarker 在同一 CodeSearchNet Python 划分上训练(25,000 训练 / 2,500 验证),使用相同水印长度、测试数据、攻击样本、检测阈值与指标协议,每个方法在所有评测设置下用单一固定 checkpoint。
- 数据集:HumanEval(164 条)、MBPP(974 条)、EvalPlus(542 条)、APPS(取 5,000 条测试子集)。
- 攻击:变量重命名(VA0/VA10/VA30/VA50,目标重命名比例 0%/10%/30%/50%);LLM 改写攻击用 GPT-5.5、DeepSeek-V4-Flash、MiMo-V2.5-Pro、GLM-5、Claude-Sonnet-4.5,每个模型配四种不同强度的改写提示词,只有通过语法、接口与功能正确性检查的改写样本计入评测。
- 指标:PassRate(功能保持)、BitACC 与 MsgACC(消息恢复,SWEET 不支持多比特故不适用)、TPR/FPR/AUROC(水印检测);4 bit 设置下硬检测准则要求四比特全部匹配,因此同一正样本集合上 TPR 与 MsgACC 数值相同。
- 判定方式:按 Eq. 8 的 z-score 与阈值 ϵ = 1.645 判定;负样本为对应的原始未水印代码。
- 实验环境:8 张 NVIDIA GeForce RTX 3090(各 24 GB),CUDA 12.4、PyTorch 2.6.0、Python 3.11.14;作者计划公开仿真代码。
主结果
无攻击条件下(Figure 4):SrcMarker、RoSeMary、RoCoMark 在四个测试集上 PassRate 接近 100%,SWEET 的 PassRate 更低且在 APPS 上下降更多;RoCoMark 在各测试集上保持高 AUROC/TPR 与低 FPR(图中为柱状图,正文未给出逐数据集具体数值)。LLM 改写攻击下的检测性能(正文与 Figure 6,改写样本为五个攻击 LLM 生成):
表格较宽,可左右滑动
方法 MiMo-V2.5-Pro 攻击 AUROC MiMo-V2.5-Pro 攻击 TPR MiMo-V2.5-Pro 攻击 FPR 五攻击平均 AUROC RoCoMark 0.7408 0.4638 0.0463 74.2% RoSeMary 0.7182 0.4062 未报告 未报告 SrcMarker 0.6948 0.3617 未报告 未报告 (据正文 V-C 节;五攻击平均 BitACC:RoCoMark 75.3%,基线未报告。)
- 作者称 GPT-5.5 与 DeepSeek-V4-Flash 的改写对水印破坏更强,GLM-5 与 Claude-Sonnet-4.5 的改写保留更多水印信息,即攻击强度与所用 LLM 相关。
- 作者称 RoCoMark 在五种攻击下 AUROC 均为最高,认为 threat profiling 学到的改写稳定表示与 strategy improving 的攻防博弈共同提升了全局结构改写下的可检测性。
- 变量重命名攻击(Figure 5,974 条 MBPP 样本):所有方法 AUROC 随重命名比例上升而下降;作者称 RoCoMark 在各比例下最高、降幅更小,VA50 时其 AUROC 仍在 0.90 左右。
消融:三个训练模块与迭代轮次
- 模块消融(Figure 7,MBPP 测试集、MiMo-V2.5-Pro 改写):Threat Profiling 把 Rewrite AUROC 从 0.7061 提升到 0.7299、Rewrite FPR 从 0.0716 降到 0.0648;加入 Strategy Improvement 后 Rewrite AUROC 0.7320、Rewrite TPR 0.4594、Rewrite FPR 0.0584;三个阶段 PassRate 均为 99.80%。
- 多轮迭代(Table I):Rewrite AUROC 从第 0 轮 0.7320 升至第 2 轮 0.7408,FPR 从 0.0584 降至 0.0463;第 3 轮无进一步提升且略有下降,作者认为在固定改写分布上过度优化可能过拟合训练用攻击样本。
提示词强度与水印容量
- 提示词强度(Table II,对 Warm-up 版 RoCoMark):四个改写提示词强度差异大,第 3 轮进化出的 Prompt 4 把 BitACC 降至 0.6356、MsgACC 降至 0.3090(第 0 轮分别为 0.7935、0.5669);正文另述 Prompt 4 把 AUROC 降至 0.6143,是四个提示词中破坏最强的。
- 容量实验(Table III,MBPP,每种比特长度单独训练基础模型):BitACC 随水印长度增加而下降;RoCoMark 在 4/6/8 bit 下分别为 0.9742、0.9868、0.9122,8 bit 时 RoSeMary 为 0.8201、SrcMarker 为 0.7844;作者称 RoCoMark 的比特级恢复随容量增加保持相对稳定,但仍受可用变换空间约束。
案例研究与其他分析
- 成功案例(Figure 8–11、Table IV):DeepSeek-V4-Flash 用 Prompt 3 改写后,SrcMarker 与 RoSeMary 的表面语法载体被全部或部分改变(分别匹配 3/4、2/4 比特),RoCoMark 保留 while 循环结构与取模条件,完整恢复 4/4 比特;作者称 RoCoMark 把载体耦合到程序内在计算逻辑上。
- 失败案例(附录 A,Table I):另一个 map–lambda 函数被 DeepSeek-V4-Flash 改写后,SrcMarker 与 RoSeMary 各恢复 1/4 比特,RoCoMark 恢复 3/4 比特但仍未达到检测阈值;作者指出部分消息恢复不一定意味着检测成功。
- 相似度过滤消融(附录 C,Table IV):保留低相似度样本时 Rewrite AUROC 0.7003、Rewrite TPR 0.3674;过滤后 Rewrite AUROC 升至 0.7408、Rewrite TPR 升至 0.4638、Rewrite FPR 降至 0.0463,但 Clean FPR 从 0.0540 升至 0.0647;作者认为该设置下样本质量比单纯增大数据量更重要,且过滤并未同时改善所有指标。
有什么可以进一步探索的点?
作者列出三个后续方向并承认固定分布上过拟合的风险;实验覆盖四个 Python 基准、五个攻击 LLM、4 bit 水印。
作者指出的局限与后续方向
- 后续方向(Section VI Conclusion and Discussion):探索更高效的对抗样本生成、新的水印编码方式,以及对跨语言改写的鲁棒性。
- 过拟合风险(Section V-D,Table I 讨论):在固定改写分布上过度优化可能使模型过拟合训练所用的攻击样本,第三轮迭代后性能不再提升且略有下降。
- 容量约束(Section V-D,Table III 讨论):水印容量进一步增加仍受可用变换空间约束。
- 训练数据功能等价性(附录 C):CodeSearchNet 不提供可直接执行的单元测试,无法像 HumanEval、MBPP 那样用测试用例严格判定改写前后的功能等价,只能用文本相似度、接口兼容性与 AST 语法正确性作为保守代理。
- 超参数搜索(Section V-A):作者称进一步调参可能带来性能提升,但穷尽搜索成本高,本文聚焦方法本身而非大规模超参数优化。
实验覆盖范围
- 被测方法为 RoCoMark 与三个基线(SWEET、SrcMarker、RoSeMary),共四个;攻击 LLM 为 GPT-5.5、DeepSeek-V4-Flash、MiMo-V2.5-Pro、GLM-5、Claude-Sonnet-4.5,共五个。
- 评测数据集为 HumanEval(164 条)、MBPP(974 条)、EvalPlus(542 条)、APPS(5,000 条子集);训练与改写数据均来自 CodeSearchNet Python 子集。
- 主实验水印长度 L = 4;容量实验覆盖 2、4、6、8 bit(Table III)。
- 攻击类型覆盖变量重命名(VA0–VA50)与五个 LLM 各四种提示词的功能保持改写;论文未报告自适应攻击者已知防御细节后的针对性攻击实验。
- 论文未报告各方法的训练耗时、查询次数等开销数字,也未报告多次重复运行的方差。
总结一下论文的主要内容
RoCoMark 用多轮攻防博弈训练抗 LLM 改写的代码水印,作者报告平均 AUROC 74.2%、PassRate 高于 99.7%。
一篇关于鲁棒源码水印的防御论文:针对 LLM 功能保持改写攻击导致现有代码水印失效的问题,作者提出 RoCoMark 框架。
- 问题:作者认为现有方法失效的根因是训练扰动与真实 LLM 全局、非确定性改写之间的分布失配;威胁模型为 black-box 攻击者持有水印代码、可调用任意 LLM 与测试套件,目标是在保持功能与接口的前提下去除水印。
- 方法:把嵌入器与 LLM 改写器建模为多轮 minimax 博弈;防御方含 Warm-up、Threat profiling(对比学习加知识蒸馏学改写不变表示)、Strategy improving(软 z-score 检测间隔损失等联合优化)三个模块,攻击方用基于 Reflexion 与长短时记忆池的提示词进化机制持续生成更强改写;水印经语法与变量双通道嵌入 AST。
- 主结果:在 HumanEval、MBPP、EvalPlus、APPS 四个基准与五个 LLM 改写攻击下,作者报告 RoCoMark 平均检测 AUROC 74.2%、Rewrite BitACC 75.3%,代码 PassRate 高于 99.7%;MiMo-V2.5-Pro 攻击下 AUROC 0.7408、TPR 0.4638、FPR 0.0463,优于 RoSeMary(0.7182、0.4062)与 SrcMarker(0.6948、0.3617)。
- 其他发现:变量重命名 VA50 时作者称 RoCoMark 的 AUROC 仍在 0.90 左右;8 bit 水印下 BitACC 0.9122,高于两个基线;多轮迭代到第 2 轮后收益消失,作者认为存在对固定攻击分布过拟合的风险;附录给出一个改写后 RoCoMark 恢复 3/4 比特但仍未达检测阈值的失败案例。
- 作者结论:作者称攻防共同进化能持续提升水印对日益复杂的 LLM 改写的鲁棒性,后续将探索更高效的对抗样本生成、新水印编码与跨语言改写鲁棒性。