跳到正文
原文

RoCoMark:抵御基于 LLM 的功能保持重写攻击的鲁棒代码水印

RoCoMark: Robust Code Watermarking Against LLM-Based Functionality-Preserving Rewriting Attacks

arXiv· arXiv:2611.11399· Hongjie Zhang, Xingcheng Li, Hanzhou Wu, Zhihua Xia, Xinpeng ZhangCollege of Computer Science, Sichuan Normal University; School of Communication and Information Engineering, Shanghai University; College of Cyber Security, Jinan University; School of Computer Engineering and Science, Shanghai University本站收录· 7 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出代码水印框架 RoCoMark,用多轮攻防博弈对抗 LLM 改写攻击,作者称在五个 LLM 改写攻击下平均检测 AUROC 74.2%、Rewrite BitACC 75.3%。

威胁模型black-box 攻击者完全持有水印代码 Cw,不知原始代码 C 与消息 m,可调用任意 code LLM、编译器和测试套件生成改写;目标是在保持被测行为与公开接口的前提下移除水印(WMarkDetection 低于阈值 ϵ)。

问题
LLM 可在保持代码功能的前提下大幅改写代码,使现有源码水印的语法与结构特征被破坏、检测失效。作者认为根因是训练时扰动与真实 LLM 全局、非确定性改写之间的分布失配。
方法
RoCoMark 把水印嵌入器与 LLM 改写器的交互建模为多轮 minimax 攻防博弈:每轮先做 threat profiling(对比学习加知识蒸馏学习改写不变表示),再做 strategy improving 联合优化编码器与提取器,攻击方用基于 Reflexion 与长短时记忆池的提示词进化机制持续生成更强改写。
实验与结果
在四个基准、五个 LLM 改写攻击下,作者报告 RoCoMark 平均检测 AUROC 74.2%、Rewrite BitACC 75.3%,代码 PassRate 高于 99.7%;MiMo-V2.5-Pro 攻击下 AUROC 0.7408,高于 RoSeMary 的 0.7182 与 SrcMarker 的 0.6948。
局限与可以继续做的
作者列出的后续方向:更高效的对抗样本生成、新的水印编码、跨语言改写鲁棒性(Conclusion);作者还指出在固定改写分布上过度优化会过拟合(Table I 节)。实验上水印长度 L=4,训练与改写数据均为 Python。
实验设置RoCoMark · CodeSearchNet (Python)、HumanEval 等 · AUROC、TPR 等
被测模型
RoCoMark
基准
CodeSearchNet (Python)HumanEvalMBPPEvalPlusAPPS
指标
AUROCTPRFPRBitACCMsgACCPassRate
AI 导读RoCoMark 提出抵御基于 LLM 功能保持重写攻击的鲁棒代码水印框架,在四个基准、五种 LLM 攻击下平均检测 AUROC 达 74.2%。它用水印嵌入器与 LLM 重写器的多轮极小极大博弈,结合对比学习、知识蒸馏与 Reflexion 记忆池自适应攻击演化。其取得 75.3% 的 Rewrite BitACC,代码功能通过率超过 99.7%。

RoCoMark 提出抵御基于 LLM 功能保持重写攻击的鲁棒代码水印框架,在四个基准、五种 LLM 攻击下平均检测 AUROC 达 74.2%。它用水印嵌入器与 LLM 重写器的多轮极小极大博弈,结合对比学习、知识蒸馏与 Reflexion 记忆池自适应攻击演化。其取得 75.3% 的 Rewrite BitACC,代码功能通过率超过 99.7%。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    解决 LLM 功能保持改写攻击下源码水印失效的问题,作者提出鲁棒代码水印框架 RoCoMark。

    核心问题:现有源码水印方法在 LLM 功能保持改写(functionality-preserving rewriting)攻击下性能大幅下降,如何在保持代码功能的同时让水印在这种改写后仍可检测。

    • 场景与重要性:LLM 生成代码带来知识产权保护、来源追踪与问责需求;生成代码可能被改写、未授权再分发或用于学术不端,需要可靠的所有权与来源验证(引言)。
    • 现有方法的不足:作者认为现有神经源码水印方法(如 RoPGen、SrcMarker)只在预定义、简单的变换空间上训练,面对 Claude、DeepSeek-V4-Flash 等 LLM 的大幅度功能保持改写时,水印的语法与结构特征被大幅改变,检测失效。
    • 核心观察:作者把失效归因于训练时扰动与真实 LLM 全局、非确定性改写之间的分布失配,而非单纯的改写强度;作者分析了数十万条 MiMo-V2.5-Pro 改写,发现存在反复出现的变换模式,用对比学习微调 CodeT5 后,Figure 2 中改写前后代码嵌入的余弦距离整体减小(蓝点到红点),作者称编码器学到了改写不变特征并能泛化到未见模型与提示词。
    • 论文提出的方案:RoCoMark,把水印嵌入器与 LLM 改写器的交互建模为多轮 minimax 攻防博弈,结合对比学习、知识蒸馏与基于 Reflexion 的攻击策略进化机制,逐步提升对未见 LLM 改写的鲁棒性。
    • 威胁模型(Section III):
      • 攻击者目标:移除水印,同时保持 Cw 的被测行为与公开接口(函数名、参数、返回类型)。
      • 攻击者知识:black-box,完全持有水印代码 Cw,不知原始代码 C 与嵌入消息 m。
      • 攻击者能力:可使用任意资源,包括 code LLM、编译器和测试套件,生成并验证改写。
      • 受害系统与判定:受害方为嵌入水印的代码所有者;当 WMarkDetection(Crw, m) 低于阈值 ϵ 且功能与接口保持一致时,视为攻击成功(Eq. 2)。
  2. 有哪些相关研究?

    相关工作分推理时水印与后处理水印两类,作者认为它们都未把 LLM 语义保持改写显式建模为对抗威胁。

    推理时(inference-time)水印

    • KGW [5] 及 SWEET [8]:KGW 预选 green-list token 并提高其采样概率;SWEET 把 green-list 约束限制在高熵 token 上。论文指出 KGW 受 token 多样性限制可能导致语义失真,SWEET 的固定熵阈值在不同复杂度代码上未必泛化。
    • EAW [24]、CodeIP [9]、MCGMark [25]:分别按局部熵动态调节水印强度、用类型预测器实现多比特嵌入、通过概率离群点编码信息;论文指出 EAW 限于单比特嵌入,CodeIP 的预测错误会损害扰动下的鲁棒性,MCGMark 易受统计平滑影响。
    • REMARK-LLM [26]、PromptMark [27]:前者用学习到的编码器加 beam search 提高嵌入容量,后者采用黑盒、提示词引导的水印策略;论文指出 beam search 有额外计算开销且不保证强改写下的功能正确性,PromptMark 在自适应攻击下检测性能可能下降。

    后处理(post-processing)水印:规则方法

    • RoPGen [12]:通过对抗训练学习编码风格用于作者归属;论文指出它依赖固定的风格特征集合,并非为抵抗内容级改写而设计。
    • NatGen [13]:用六类功能保持变换做代码自然化;论文指出其变换空间是人工预定义的,难以适应新出现的攻击模式,部署后防御基本静止。

    后处理水印:神经网络增强方法

    • SrcMarker [16]:把规则变换与神经网络端到端结合、双通道嵌入;论文指出其训练依赖固定的合成变换集合,未显式建模真实 LLM 改写。
    • RoSeMary [17]:作者称是首个 ML-密码学协同设计的代码水印,结合 CodeT5 与零知识验证;论文指出其安全形式化未直接处理语义级改写。
    • SWaRL [29]、MATRIX [30]:SWaRL 结合强化学习、编译器反馈与 LoRA;MATRIX 用 BCH 码的约束奇偶校验方程编码;论文指出 SWaRL 训练未显式引入 LLM 对手,MATRIX 未显式处理 LLM 的完整结构改写。

    基线与基准:实验基线为 SWEET、SrcMarker、RoSeMary;训练用 CodeSearchNet Python 子集,评测用 HumanEval、MBPP、EvalPlus、APPS 四个数据集。

    本文定位:作者认为现有后处理方法大多依赖预定义变换、固定攻击模型或静态优化目标,未把 LLM 语义保持改写显式纳入设计与训练,RoCoMark 通过攻防共同进化来覆盖这一威胁。

  3. 论文如何解决这个问题?

    RoCoMark 用多轮攻防博弈训练水印模型:threat profiling 学改写不变表示,strategy improving 强化水印,攻击方用 Reflexion 进化改写提示词。

    整体思路:把水印嵌入器(防御方)与 LLM 改写器(攻击方)的交互建模为多轮 minimax 攻防博弈,每轮防御方先吸收攻击方当前的改写策略再改进自身,攻击方同时升级,迭代提升水印对未见 LLM 改写的鲁棒性(Figure 3)。

    问题设定与形式化

    • 嵌入与提取:给定原始代码 C 与 L 比特消息 m,生成水印代码 Cw = Embed(C, m);实际使用密钥控制水印生成与验证。检测分数为 z-score:WMarkDetection(Cs, m) = (K(Cs; m) − μ)/σk,其中 K 为预测消息与目标消息的匹配比特数,分数不低于阈值 ϵ 判为含水印。
    • 攻击成功条件:改写代码 Crw 需在全部测试用例上执行结果一致、公开接口一致,且检测分数低于 ϵ(Eq. 2)。
    • 设计目标:Effectiveness、Imperceptibility、Robustness、Capacity 四项。

    水印嵌入与提取

    • 双通道嵌入:以预训练 CodeT5 为代码编码器 fθ,消息编码器 hψ 产生消息表示;语法选择头 Hsyn 与变量选择头 Hvar 分别在合法语法动作集合与变量名候选集合上做 MaskedSoftmax 选择,训练时用温度 τg 的 hard Gumbel-Softmax 近似离散选择,推理时取 argmax。
    • 确定性执行:Transform 把选中的语法动作与变量名替换规则作用到 AST 上再重新生成代码;语法合法性由有效性掩码与规则执行器保证,功能保持靠功能保持变换的设计与后续基于测试的验证。
    • 提取:共享 CodeT5 编码器加轻量解码器 gϕ 输出每比特 logits,按阈值 δ 硬判决;部署时只需保留代码编码器、水印解码器与目标消息。

    三个训练模块

    • Warm-up:用变量替换与 AST 变换预训练基础水印模型以缓解冷启动;因变换不可微,引入特征近似器 qω 生成近似表示并注入高斯噪声,用近似解码损失、实际解码损失与特征近似损失三项训练(Eq. 11)。
    • Threat profiling:用 LLM 改写水印代码,只更新目标编码器 fθ;采用双向分组对比学习(同一原始代码的水印版与改写版为正对,其余改写为负样本),并配合四项辅助损失(warm-up 表示蒸馏、对抗锚点、余弦对齐、解码难度一致性)约束编码器不偏离 warm-up 表示空间,缓解灾难性表示漂移。
    • Strategy improving:用当前模型重新生成水印代码并从离线池采样对应改写,联合更新编码器、消息编码器、解码器、变换选择器与特征近似器;引入软 z-score 的检测间隔损失(要求有效改写的软检测分数至少比原始代码高 ζ)、离散验证失败率项,以及把原始未水印代码预测推离目标消息的对比项以抑制误报。

    LLM 提示词进化与验证

    • Reflexion 进化:攻击方在每轮内进行多次内层迭代,依据攻击有效性分数(有效改写带来的检测分数下降,Eq. 28)反思并生成下一个候选改写提示词;成功击破当前水印的提示词及其反思存入长期记忆,下一轮取最近三条作为种子继续进化。该分数仅用于构造对抗训练样本,不对外部攻击者公开。
    • 改写数据过滤(附录 C):对 110,000 条候选改写做请求有效性、有效改写、字符级相似度(τsim = 0.3)、长度(不超过 3 倍)与函数签名兼容性检查,再经 AST 语法检查、去重与中文注释过滤,最终得到 74,043 条训练三元组与 7,058 条验证三元组。
    • 关键超参数:ϵ = 1.645,L = 4,τg = 0.5,τc = 0.07,δ = 0.5,p̄ = 0.5,ζ = 1.0,σε = 0.02;三个阶段各有独立的损失权重(Section V-A)。
  4. 论文做了哪些实验?

    在四个基准、五个 LLM 改写攻击下评测,作者报告 RoCoMark 平均 AUROC 74.2%、Rewrite BitACC 75.3%,PassRate 高于 99.7%。

    实验设置

    • 被测方法:RoCoMark 与三个基线 SWEET、SrcMarker、RoSeMary;RoCoMark、RoSeMary、SrcMarker 在同一 CodeSearchNet Python 划分上训练(25,000 训练 / 2,500 验证),使用相同水印长度、测试数据、攻击样本、检测阈值与指标协议,每个方法在所有评测设置下用单一固定 checkpoint。
    • 数据集:HumanEval(164 条)、MBPP(974 条)、EvalPlus(542 条)、APPS(取 5,000 条测试子集)。
    • 攻击:变量重命名(VA0/VA10/VA30/VA50,目标重命名比例 0%/10%/30%/50%);LLM 改写攻击用 GPT-5.5、DeepSeek-V4-Flash、MiMo-V2.5-Pro、GLM-5、Claude-Sonnet-4.5,每个模型配四种不同强度的改写提示词,只有通过语法、接口与功能正确性检查的改写样本计入评测。
    • 指标:PassRate(功能保持)、BitACC 与 MsgACC(消息恢复,SWEET 不支持多比特故不适用)、TPR/FPR/AUROC(水印检测);4 bit 设置下硬检测准则要求四比特全部匹配,因此同一正样本集合上 TPR 与 MsgACC 数值相同。
    • 判定方式:按 Eq. 8 的 z-score 与阈值 ϵ = 1.645 判定;负样本为对应的原始未水印代码。
    • 实验环境:8 张 NVIDIA GeForce RTX 3090(各 24 GB),CUDA 12.4、PyTorch 2.6.0、Python 3.11.14;作者计划公开仿真代码。

    主结果

    无攻击条件下(Figure 4):SrcMarker、RoSeMary、RoCoMark 在四个测试集上 PassRate 接近 100%,SWEET 的 PassRate 更低且在 APPS 上下降更多;RoCoMark 在各测试集上保持高 AUROC/TPR 与低 FPR(图中为柱状图,正文未给出逐数据集具体数值)。LLM 改写攻击下的检测性能(正文与 Figure 6,改写样本为五个攻击 LLM 生成):

    表格较宽,可左右滑动

    方法MiMo-V2.5-Pro 攻击 AUROCMiMo-V2.5-Pro 攻击 TPRMiMo-V2.5-Pro 攻击 FPR五攻击平均 AUROC
    RoCoMark0.74080.46380.046374.2%
    RoSeMary0.71820.4062未报告未报告
    SrcMarker0.69480.3617未报告未报告

    (据正文 V-C 节;五攻击平均 BitACC:RoCoMark 75.3%,基线未报告。)

    • 作者称 GPT-5.5 与 DeepSeek-V4-Flash 的改写对水印破坏更强,GLM-5 与 Claude-Sonnet-4.5 的改写保留更多水印信息,即攻击强度与所用 LLM 相关。
    • 作者称 RoCoMark 在五种攻击下 AUROC 均为最高,认为 threat profiling 学到的改写稳定表示与 strategy improving 的攻防博弈共同提升了全局结构改写下的可检测性。
    • 变量重命名攻击(Figure 5,974 条 MBPP 样本):所有方法 AUROC 随重命名比例上升而下降;作者称 RoCoMark 在各比例下最高、降幅更小,VA50 时其 AUROC 仍在 0.90 左右。

    消融:三个训练模块与迭代轮次

    • 模块消融(Figure 7,MBPP 测试集、MiMo-V2.5-Pro 改写):Threat Profiling 把 Rewrite AUROC 从 0.7061 提升到 0.7299、Rewrite FPR 从 0.0716 降到 0.0648;加入 Strategy Improvement 后 Rewrite AUROC 0.7320、Rewrite TPR 0.4594、Rewrite FPR 0.0584;三个阶段 PassRate 均为 99.80%。
    • 多轮迭代(Table I):Rewrite AUROC 从第 0 轮 0.7320 升至第 2 轮 0.7408,FPR 从 0.0584 降至 0.0463;第 3 轮无进一步提升且略有下降,作者认为在固定改写分布上过度优化可能过拟合训练用攻击样本。

    提示词强度与水印容量

    • 提示词强度(Table II,对 Warm-up 版 RoCoMark):四个改写提示词强度差异大,第 3 轮进化出的 Prompt 4 把 BitACC 降至 0.6356、MsgACC 降至 0.3090(第 0 轮分别为 0.7935、0.5669);正文另述 Prompt 4 把 AUROC 降至 0.6143,是四个提示词中破坏最强的。
    • 容量实验(Table III,MBPP,每种比特长度单独训练基础模型):BitACC 随水印长度增加而下降;RoCoMark 在 4/6/8 bit 下分别为 0.9742、0.9868、0.9122,8 bit 时 RoSeMary 为 0.8201、SrcMarker 为 0.7844;作者称 RoCoMark 的比特级恢复随容量增加保持相对稳定,但仍受可用变换空间约束。

    案例研究与其他分析

    • 成功案例(Figure 8–11、Table IV):DeepSeek-V4-Flash 用 Prompt 3 改写后,SrcMarker 与 RoSeMary 的表面语法载体被全部或部分改变(分别匹配 3/4、2/4 比特),RoCoMark 保留 while 循环结构与取模条件,完整恢复 4/4 比特;作者称 RoCoMark 把载体耦合到程序内在计算逻辑上。
    • 失败案例(附录 A,Table I):另一个 map–lambda 函数被 DeepSeek-V4-Flash 改写后,SrcMarker 与 RoSeMary 各恢复 1/4 比特,RoCoMark 恢复 3/4 比特但仍未达到检测阈值;作者指出部分消息恢复不一定意味着检测成功。
    • 相似度过滤消融(附录 C,Table IV):保留低相似度样本时 Rewrite AUROC 0.7003、Rewrite TPR 0.3674;过滤后 Rewrite AUROC 升至 0.7408、Rewrite TPR 升至 0.4638、Rewrite FPR 降至 0.0463,但 Clean FPR 从 0.0540 升至 0.0647;作者认为该设置下样本质量比单纯增大数据量更重要,且过滤并未同时改善所有指标。
  5. 有什么可以进一步探索的点?

    作者列出三个后续方向并承认固定分布上过拟合的风险;实验覆盖四个 Python 基准、五个攻击 LLM、4 bit 水印。

    作者指出的局限与后续方向

    • 后续方向(Section VI Conclusion and Discussion):探索更高效的对抗样本生成、新的水印编码方式,以及对跨语言改写的鲁棒性。
    • 过拟合风险(Section V-D,Table I 讨论):在固定改写分布上过度优化可能使模型过拟合训练所用的攻击样本,第三轮迭代后性能不再提升且略有下降。
    • 容量约束(Section V-D,Table III 讨论):水印容量进一步增加仍受可用变换空间约束。
    • 训练数据功能等价性(附录 C):CodeSearchNet 不提供可直接执行的单元测试,无法像 HumanEval、MBPP 那样用测试用例严格判定改写前后的功能等价,只能用文本相似度、接口兼容性与 AST 语法正确性作为保守代理。
    • 超参数搜索(Section V-A):作者称进一步调参可能带来性能提升,但穷尽搜索成本高,本文聚焦方法本身而非大规模超参数优化。

    实验覆盖范围

    • 被测方法为 RoCoMark 与三个基线(SWEET、SrcMarker、RoSeMary),共四个;攻击 LLM 为 GPT-5.5、DeepSeek-V4-Flash、MiMo-V2.5-Pro、GLM-5、Claude-Sonnet-4.5,共五个。
    • 评测数据集为 HumanEval(164 条)、MBPP(974 条)、EvalPlus(542 条)、APPS(5,000 条子集);训练与改写数据均来自 CodeSearchNet Python 子集。
    • 主实验水印长度 L = 4;容量实验覆盖 2、4、6、8 bit(Table III)。
    • 攻击类型覆盖变量重命名(VA0–VA50)与五个 LLM 各四种提示词的功能保持改写;论文未报告自适应攻击者已知防御细节后的针对性攻击实验。
    • 论文未报告各方法的训练耗时、查询次数等开销数字,也未报告多次重复运行的方差。
  6. 总结一下论文的主要内容

    RoCoMark 用多轮攻防博弈训练抗 LLM 改写的代码水印,作者报告平均 AUROC 74.2%、PassRate 高于 99.7%。

    一篇关于鲁棒源码水印的防御论文:针对 LLM 功能保持改写攻击导致现有代码水印失效的问题,作者提出 RoCoMark 框架。

    • 问题:作者认为现有方法失效的根因是训练扰动与真实 LLM 全局、非确定性改写之间的分布失配;威胁模型为 black-box 攻击者持有水印代码、可调用任意 LLM 与测试套件,目标是在保持功能与接口的前提下去除水印。
    • 方法:把嵌入器与 LLM 改写器建模为多轮 minimax 博弈;防御方含 Warm-up、Threat profiling(对比学习加知识蒸馏学改写不变表示)、Strategy improving(软 z-score 检测间隔损失等联合优化)三个模块,攻击方用基于 Reflexion 与长短时记忆池的提示词进化机制持续生成更强改写;水印经语法与变量双通道嵌入 AST。
    • 主结果:在 HumanEval、MBPP、EvalPlus、APPS 四个基准与五个 LLM 改写攻击下,作者报告 RoCoMark 平均检测 AUROC 74.2%、Rewrite BitACC 75.3%,代码 PassRate 高于 99.7%;MiMo-V2.5-Pro 攻击下 AUROC 0.7408、TPR 0.4638、FPR 0.0463,优于 RoSeMary(0.7182、0.4062)与 SrcMarker(0.6948、0.3617)。
    • 其他发现:变量重命名 VA50 时作者称 RoCoMark 的 AUROC 仍在 0.90 左右;8 bit 水印下 BitACC 0.9122,高于两个基线;多轮迭代到第 2 轮后收益消失,作者认为存在对固定攻击分布过拟合的风险;附录给出一个改写后 RoCoMark 恢复 3/4 比特但仍未达检测阈值的失败案例。
    • 作者结论:作者称攻防共同进化能持续提升水印对日益复杂的 LLM 改写的鲁棒性,后续将探索更高效的对抗样本生成、新水印编码与跨语言改写鲁棒性。
阅读原文arxiv.org