SBW：面向 LLM 智能体的语义行为水印方法

所有者要核验一条 LLM 智能体轨迹是否出自自己的系统，并阻止对手造出能通过验证的轨迹；信号在离散动作，不在输出 token。

• 场景：作者称会规划并调用工具的智能体被当作商业资产，需要来源证明与知识产权保护。token 级文本水印不适用，因为所有权信号在选哪个工具或子目标。
• 现有不足：Agent Guide、AgentMark、SeqWM 都把水印绑在精确动作符号上。作者称 AgentMark 自己的测试只改写观察块、发布脚本固定逐步密钥，比特恢复降到 16.8%，平均 KL 为 3.23，测到的是引出分布漂移，不是其上下文哈希另承认的密钥失步。工具重命名即使观察不变也会使解码失步。作者称此前智能体水印只研究移除。
• 做法：提出 Semantic Behavioral Watermarking（SBW）：在语义动作簇上做历史条件水印，并用密钥碰撞抵抗分箱替换公开簇分箱。作者称据其所知，这是同时抗改写且抗伪造的首个智能体行为水印。
• 威胁模型
  • 所有者：用密钥 sk 部署水印智能体，另有冻结公开编码器 E 与簇分配 C；控制生成时解码，并引出显式行为分布。验证时观察一条可能被攻击的动作轨迹。
  • 鲁棒性攻击：语义保持地改写动作或观察，包括重命名到未见工具，以及删除或截断步骤。
  • 伪造：对手持有 E 与 M 条水印轨迹、没有 sk，用新鲜动作构造能通过所有者检测器的新轨迹。
  • 不声称解决：改变任务语义的跨类型策略翻转不在范围内。重放、拼接与链式重放单独量化；作者称重放受害者自己的水印输出是归因生效，不是伪造。

文本与语义水印

• 词表绿名单：KGW（Kirchenbauer 等，2023）用上下文种子划分词表。Kirchenbauer 等（2024）报告改写会使其变差。Kuditipudi 等（2024）用无失真构造处理效用一侧。
• 语义文本水印：SemStamp（Hou 等，2024a）用 LSH 划分嵌入空间，k-SemStamp（Hou 等，2024b）用 k-means，SIR（Liu 等，2024a）按语义偏置 logit，PASA（Ai 与 He，2026）在嵌入空间加水印并给出检测最优性理论。
• 工具聚类：Tool-Planner（Liu 等，2025）用 k-means 为规划给工具分组。论文称工具空间聚类并不新，但此前用于规划效率，没有当作所有权信号的单位。

智能体行为水印

• 直接谱系：Agent Guide（Huang 等，2025）偏置行为概率；AgentMark（Huang 等，2026）用保分布条件采样嵌入多比特标识；SeqWM（An 等，2026）按近期动作历史划分绿/红，做与位置无关、抗删除的验证。
• 其他行为标记：AGENTWM（Wang 等，2026）偏置功能等价工具路径上的分布；ActHook（Meng 等，2026）向训练轨迹插入触发动作；MemMark（Zhang 等，2026）给记忆写入加水印；Nian 等（2026）做多智能体归因的隐式执行追踪。论文对后三篇只作描述。
• 表 1 的差别：作者写，相对 AgentMark，SBW 在语义簇上加水印，使改写后的动作解码到同一箱；相对 SeqWM，历史建在簇符号上；相对 AGENTWM 的封闭等价路径，SBW 用学到的开放词表簇，并称可泛化到留出工具。

伪造与实验基线

• 文本水印窃取：Jovanović 等（2024）报告，查询水印模型的对手可以近似绿名单规则并伪造。作者称此前没有智能体行为水印被这样检查；公开语义编码器使结构可以只从观察恢复。
• 基线与基准：精确符号基线是 EXACT，即精确符号版 SeqWM。对照还有 AgentMark 的发布实现、按论文重实现的 AGENTWM，以及效用对照的 KGW 式 logit 偏置。主基准是 ToolBench 与 ALFWorld。

作者把簇作为水印单位移植到多步智能体动作，并在表 1 写：上述工作只研究移除鲁棒性，SBW 加上智能体水印的伪造研究与密钥防御。

SBW 完全免训练：冻结的现成句编码器、动作嵌入上的一次 k-means、带密钥的伪随机函数，以及置换检验检测器。更换智能体或编码器只做推理。作者称抗伪造保证来自带密钥构造，而不是训练产物。

簇级历史条件水印

• 令 st 为动作 at 的语义簇符号，ct 为最近 w 个簇符号。一步为绿，当且仅当 PRF(sk, ct, st) 返回 1。
• 生成时以 pgreen=0.95 按引出质量在绿色候选中重采样。偏置限制在策略已经承认的动作上，不把概率移到策略不承认的动作；这不是 AgentMark 意义上的保分布。没有绿色候选则回退未加水印的 argmax，该步不携带比特。§6.2 的伪造研究另用 pgreen=0.85。
• 检测沿用 SeqWM 的随机密钥置换检验：分数是观察到的簇符号流中绿色窗口个数，p 值来自 M 个错误密钥。主检测配置 M=300。
• w 是部署旋钮。论文在 w∈{1,2,3} 上报告更长上下文提高干净检测、但删除鲁棒性下降，因为每删一步毁掉 w+1 个窗口；对步骤打乱重组的免疫与 w 无关。除非另述，全文用 w=1。该段未点名智能体。

密钥碰撞抵抗分箱

公开簇上定义绿色集合时，持有 E 的对手可以恢复哪些簇是绿的，并把新鲜动作导向这些簇。SBW 改为 bin(a)=H(sk, quantize(R_sk·E(a)))：Rsk 是投到 r 个超平面的秘密随机投影，箱与公开嵌入几何正交。

作者给出定理 G.1：在随机谕示模型中，若新鲜动作的桶不在已观察桶集内，对手猜中该箱比特的优势绝对值不超过 (qH+1)/2^λ。作者写明三点：界对密钥长度 λ 可忽略，不依赖 r，r 只管碰撞率；这是随机谕示下的在线查询陈述，不是信息论安全；只约束新鲜桶分支。论文称 r=8 时约 98% 的新鲜动作落在已观察桶，生成该统计的脚本未保留。

边界弃权

簇边界附近的动作是解码错误来源。间隔低于阈值的动作进入弃权：不携带比特，但保持同步。作者把它写成用容量换所携带比特上趋于 0 的错误。方法节未给出该阈值的数值。

同步稳定性与引出容量

• 间隔取到次近质心距离差的一半。作者给出：位移不超过间隔则箱不变；逐步翻转率不超过间隔落在位移界内的概率；有每步绿色偏置时，置换 z 分数随步数增长，翻转率低于 1/2 且步数够则可恢复检测；低间隔上弃权可使所携带比特的翻转率趋于 0。
• 作者称基于范数的界是最坏情况且松，位移约 0.43，间隔约 0.059。在 2128 个真实工具上，方向间隔均值 0.1482、范数间隔 0.0586，危险方向投影均值 0.0207、位移 0.429；作者称至少 95% 的改写位移与危险方向相切。夹心关系为 0.0606 ≤ 0.0841 ≤ 0.1170。
• 逐步容量是策略与引出算子的联合函数。作者给出：容量不超过逐步熵，确定性策略上为零；簇容量不超过工具容量，差距随 k 缩小。在标定值 C=0.632、ρ=0.117 下，恢复 128 比特标识至少需要 422 步，因此短回合按文档聚合。两种引出算子的逐步熵相关为 0.13；作者称不固定引出算子则容量无定义。

实验设置

• 被测智能体：Qwen2.5-3B-Instruct、LLaMA-3.2-3B、Qwen2.5-7B、Mistral-7B、phi-4（14B）。本地有界 ReAct，逐步引出显式动作权重。表 2 的 Qwen2.5-3B 即前者。
• 数据：ToolBench 每模型 600 条真实任务轨迹，六个 G1/G2/G3 子划分各 100 条，合成 30 个文档、每文档 G=20。ALFWorld 每模型 100 个回合、34 个文档、G=3；审核后 515 个真实唯一动作。主簇是 2128 个唯一真实工具的 bge-base 嵌入上的 k-means。
• 基线：EXACT 为精确符号 SeqWM。另有发布版 AgentMark、按论文重实现的 AGENTWM，以及效用上的 KGW 式 logit 偏置。
• 指标：随机密钥置换检验。检测数字是置换校准 1% FPR 下的 TPR，5 个种子的均值。效用是相对无水印 argmax 的选择一致率。
• 两套工作点：主检测为 k=100、pgreen=0.95、G=20、M=300。新鲜动作伪造研究为 ToolBench k=60、ALFWorld k=40、pgreen=0.85、L=60、M=100。
• 改写：用单独模型重写工具名和描述；§6 的 Setup 未给出该模型名称。宽容解析使各模型均匀回退低于 4.4%；后补三列的解析回退不超过 2.8%。

主结果

据 Table 2。ToolBench，TPR @ 置换校准 1% FPR，每格为 EXACT / CLUSTER，每模型 600 条轨迹、5 个种子。

Swipe horizontally to read the table

模型	干净	改写	删除 30%	改写+删除
Qwen2.5-3B	1.00 / 0.78	0.05 / 0.53	0.91 / 0.48	0.05 / 0.34
LLaMA-3.2-3B	1.00 / 0.75	0.17 / 0.49	0.87 / 0.59	0.08 / 0.33
Qwen2.5-7B	1.00 / 0.71	0.06 / 0.49	0.81 / 0.45	0.03 / 0.21
Mistral-7B	1.00 / 0.84	0.16 / 0.66	0.93 / 0.58	0.04 / 0.33
phi-4 (14B)	1.00 / 0.73	0.07 / 0.49	0.87 / 0.52	0.03 / 0.29

• 作者称排序在五个模型、四家厂商、3B–14B 上成立，并按预注册只声称排序、把幅度报成区间，不突出 Mistral-7B。后补三列在冻结工具链上逐格重推，作者称 24/24 一致。
• 纯删除更利于 EXACT。作者称 SBW 用删除上的裕度换改写鲁棒性，并称改写加删除时只有 CLUSTER 有可观检测。
• 选择一致率 SBW 为 0.72–0.83，正文所称 KGW 式（摘要称 logit biasing）为 0.22–0.27。留出工具开放集 κ 在五个模型都是 0.808。k=100 保留工具级容量的 41.9–50.1%；逐步熵 1.32–1.99 比特，实现的工具级容量 1.01–1.51 比特/步。作者称方法不依赖高策略熵，该机制尚未分离。

伪造、复制与窗口

• 新鲜动作：公开簇水印的伪造成功为 100%。默认 r=8 时，密钥随机投影把自适应最近邻转移降到 0.213±0.117（密钥 FPR 0.031）。正文另给 10 种子扫描的 ToolBench 残差：e5 0.30、gte 0.45、bge 0.19。Table 6 在 r=64 的六格残差最高为 ALFWorld·e5 的 0.092，ToolBench·bge 为 0.012（碰撞 0.002，密钥 FPR 0.019）。图 1 标注 r=8 为 21%、r=64 为 1.2%。作者称主工作点（bge，r=64）的严格上界为 0.0207，已由 FPR 底支配。30 种子复跑六格均值都不超过 0.055；e5-ALFWorld 的 10 种子点 0.092 由离群驱动（30 种子 0.055±0.094）。
• 复制式：Table 3 在检测栈上（5 种子）。频率重采样五格为 0.020、0.007、0.010、0.017、0.017。步骤打乱拼接只测了 Qwen2.5-3B，为 0.000。连续片段拼接五格为 0.817、0.940、0.800、0.877、0.623；链式重放为 0.953、0.980、0.940、0.950、0.763，所有者自检为 0.920、0.880、0.880、0.980、0.980。摘要把链式重放概括为 0.76–0.98。作者称打乱被中和，链式重放未被击败。
• 混合与窗口：附录 Table 7（Qwen2.5-3B）连续混合在 k=1/0.75/0.5/0.25 为 0.833/0.440/0.120/0.040；打乱在各 k 为 0.000。作者写出 n=3 次提交可把 0.44 放到 0.82。Table 8 中，保持一阶表的链器在 w=2 为 0.080，知道 w 并重建更长 n-gram 的对手在 w=2/3/5 为 0.977/0.850/0.727。作者称窗口升级不是对策。k=0.5 时水印片段绿率 0.600、原始片段 0.389。

与已有方案对照及 ALFWorld

• AgentMark：Table 4 比的是相同轨迹与改写池上被检出的文档比例，不是同一套 1% FPR 置换检验。表未标明智能体。64 比特载荷只有 23/30 个文档带得下，干净上限 0.767；16 比特为 29/30，干净 0.967。reid=none 时改写检测为 0.000（p=64）与 0.633（p=16）；授予编码器重识别后为 0.500 与 0.900。SBW CLUSTER 列改写为 0.533、干净为 0.78。作者称两边的威胁面互补，而不是排出高低。
• AGENTWM：按 §6.1 协议（600 条轨迹、30 文档、5 种子），该段未点名智能体。忠实检测器在每个 τ 上的改写检测为 0.000–0.053，干净/删除为 0.97–1.00 / 0.83–0.91；编码器重识别把改写恢复到 0.97–1.00。作者称增益来自语义重识别，不是等价集偏置。τ=1.0 且不做重识别时，独立代码路径把 EXACT 行复现到三位小数 1.000/0.053/0.907/0.047。作者称检索时没有作者代码，将在发布后改用作者代码。
• ALFWorld：Table 5 同样是 EXACT / CLUSTER、1% FPR、每模型 100 回合、5 种子。改写下 CLUSTER 为 0.92、0.96、0.97、0.92、0.95，EXACT 为 0.00、0.01、0.00、0.00、0.01；摘要概括为 0.92–0.97 对 0.00–0.01。干净 CLUSTER 为 0.99–1.00。纯删除仍更利于 EXACT，论文写 0.90–0.94 对 0.65–0.79。34 文档协议下，CLUSTER 改写幅度随编码器与 k 在 0.36–0.96 之间，且非单调。效用为 56–70%，KGW 为 19–22%。动词模板重划分的开放集 κ 均值为 0.806、范围 0.462–1.000，只比空值高 0.9 个标准差，ToolBench 对照为 +10 个标准差。作者称开放集主张放在 ToolBench 上。

其他消融与分析

• 弃权最低间隔 18% 的步骤：ρ 从 0.117 到 0.056；22% 时 ρ≤0.05（附录 A.2）。
• 编码器 gte：改写 CLUSTER/EXACT 为 Qwen 0.64/0.05、LLaMA 0.66/0.17。
• 打乱工具与改写对齐的匹配空值（Qwen）：改写 TPR 从 0.53 到 0.01。200 密钥×30 文档共 6000 次，p<0.01 的经验 FPR 为 Qwen 0.70%、LLaMA 0.62%。
• synthetic:deepseek-v4-flash 重写全部 2128 个工具：CLUSTER 为 0.59±0.05（Qwen）、0.50±0.04（LLaMA），EXACT 为 0.05/0.17；合并攻击降到 0.27/0.22。
• 只改写最低间隔 20% 的动作（Qwen）：TPR 0.62，对照随机 20% 的 0.76。作者称弃权能削弱该攻击，未给出削弱后的 TPR。
• 文档规模、3 密钥×10 种子和独立 sha256 重实现被作者称保持排序，但这三项产物未留在仓库。§4.1 的 w=1/2/3 干净检测为 0.83/0.91/0.98，30% 删除下 CLUSTER TPR 为 0.48/0.31/0.24，该段未点名模型。伦理声明写 ALFWorld 抽取中约 2.6% 为上游注入的不可能动作；附录 A.5 写约 1.7%，并称清理后干净 CLUSTER 从受污染的 0.50 到 0.92。

作者指出的局限与后续方向

• 规模（§7）：五个智能体都是开源权重、3B–14B，三个编码器都是 BERT-base 规模双编码器；旗舰规模和闭源模型未验证。每模型 600 条轨迹、30 个文档，估计粗（约 1/30），逐密钥 FPR 只能合并后分辨。
• 轨迹反馈（§7）：逐步分布是真实的，但没有 ToolBench 环境执行反馈。
• 容量（§7）：k=100 时改写鲁棒性花费逐步容量的 49.9–58.1%（保留 41.9–50.1%）。63 格的 k 与弃权扫描没有达到至少 60% 保留的配置。作者称「代价不超过 40%」的目标不能只靠调参达到。
• 对照与幅度（§7）：AGENTWM 对照是按论文重实现。ALFWorld 上 CLUSTER 幅度依赖检测器（0.36–0.96）；e5 的高 r ALFWorld 残差在 30 个种子上为 0.055±0.094。
• 保证范围（§7）：新鲜桶保证只在 r≥32 时可主张；r≤16 的新鲜池太小。
• 复制式伪造（§7，亦见 §6.2）：有界但未解决。链式重放在五模型上为 0.76–0.98；窗口升级对自适应对手无效；拼接的 k 曲线是误归因上界而不是测量；拼接轨迹能否执行未测；多段归因仍开放。ALFWorld 跨模板开放集证据弱，开放集主张放在 ToolBench 上。

实验覆盖范围

• 被测智能体为 Qwen2.5-3B-Instruct、LLaMA-3.2-3B、Qwen2.5-7B、Mistral-7B、phi-4（14B）；编码器为 bge-base、e5、gte（§6、§7）。
• ToolBench 每模型 600 条轨迹、5 个种子；ALFWorld 每模型 100 个回合、5 个种子（Table 2、Table 5）。
• 已报告的检测条件包括改写、30% 删除和二者合并；伪造包括新鲜动作的 r 扫描，以及频率重采样、连续拼接和链式重放（Table 2、Table 3、Table 6）。
• 步骤打乱拼接只在 Qwen2.5-3B 上测量；Table 3 写明其余格子未跑。合并 FPR 审计给出的是 Qwen 与 LLaMA，各 6000 次。
• 主改写所用模型在 §6 Setup 未给出名称；更强复测点名为 synthetic:deepseek-v4-flash。检测由置换检验给出，论文未报告人工一致性。

SBW 是免训练的智能体行为水印，把所有者标识放在离散动作选择上，而不是输出 token。

• 问题：精确动作符号在改写或工具重命名后会使解码失步。公开语义编码器又让绿/红结构可以从观察恢复，从而伪造他人身份。跨类型策略翻转不在声称范围内。
• 方法：动作用冻结编码器嵌入并做 k-means。绿步由密钥伪随机函数在簇符号和长度 1 的历史上决定，生成时只在策略已承认的绿色候选中重采样，pgreen=0.95。检测是随机密钥置换检验。抗伪造把公开簇换成秘密投影后的密钥分箱；低间隔动作弃权。作者给出新鲜桶在随机谕示模型下的优势界，并称该界不覆盖复制受害者步骤的攻击。
• ToolBench：五个开源模型、每模型 600 条轨迹、置换校准 1% FPR 下，改写时 CLUSTER 的 TPR 为 0.49–0.66，EXACT 为 0.05–0.17（Table 2）。30% 删除时 EXACT 更高。选择一致率 0.72–0.83，对照 KGW 式 0.22–0.27。k=100 保留工具级容量的 41.9–50.1%。
• 伪造：公开簇方案的伪造成功为 100%。Table 6 中 ToolBench·bge、r=64 的残差为 0.012，作者称主工作点已到 FPR 底。链式重放在五模型上为 0.76–0.98，作者称未解决；Qwen2.5-3B 上打乱拼接为 0.000（Table 3）。
• 另一动作空间：ALFWorld 每模型 100 个回合，改写下 CLUSTER 为 0.92–0.97，EXACT 为 0.00–0.01（Table 5）。作者称排序跨动作空间类型成立，但这里的幅度依赖检测器，开放集主张放在 ToolBench。
• 作者结论：作者称该效应在模型、编码器和动作空间类型上可复现，容量代价已被刻画到不能只靠调参去掉的边界。