BAM 反馈编码实现推理时隐蔽的智能体通信

如何在解码器看不到模型权重、提示词和 token 概率时，于变长对话文本中可靠地嵌入秘密载荷。

• 场景：作者称用户可用 LLM 生成文本作掩护，在看似正常的对话中交换隐藏消息，以避开表层内容监管。配置包括两个人用智能体作代理，或人与代理智能体协同。人可在本地控制采样循环并做 logit 引导。

• 现有方法不足：白盒隐写要求收发双方共享同一覆盖统计，通常要共享模型参数与提示词，作者认为独立部署的智能体很少满足该假设。现有黑盒方法多为定长、开环的推理时多比特水印：高嵌入率时解码错误高，回合提前结束会失败，回合变长时固定码本也难以利用额外 token。

• 核心观察：自回归生成使每个已生成 token 被双方同时观察到，从而构成带因果、无噪反馈的信道。反馈不提高无记忆信道的渐近容量，但可改进有限长度下的可靠性函数。

• 本文做法：提出变长反馈编码 Burnashev Adaptive Posterior Matching（BAM），把后验匹配与确认阶段结合起来，并给出基于 PRF 的计算不可区分性归约；再把该点对点协议接到自然回合、提前停止与多轮载荷传输上。

• 威胁模型

  • 目标：发送方把消息 m 嵌入看似无害的覆盖文本，使指定接收方恢复消息，而对手不能把隐写文本与普通覆盖区分开；被动窃听者也可尝试解码。
  • 知识与能力：编码器在推理时能访问模型、提示词和下一 token 分布；解码器只看生成文本，不访问模型、提示词或 token 概率，但知道发送方的 tokenizer 与词表，并与发送方共享均匀秘密种子 κ。双方通过同一转录做确定性哈希以同步侧信息。
  • 对手：被动窃听者（如平台审核或防火墙）只分析传输中的文本，安全用加强自 Cachin 的信息论散度；主动 API 对手在多项式时间内自适应选择提示词和消息，区分隐写文本与覆盖文本，论文考虑可同时查询消息和提示词的更强版本。
  • 范围外：编辑、删除或改写转录的对手不在安全假设内。受害系统是由 LLM 智能体中介的对话或连续生成文本。

论文在引言与 Section 2 按四组讨论相关工作。

信息论与密码学安全

• Cachin [4] 及经典隐写容量 [1, 11, 21, 26]：在多种覆盖分布与失真约束下刻画渐近嵌入容量；Cachin 要求对每个消息，覆盖与隐写分布的 KL 散度任意小，从而同时处理隐蔽性与强保密。
• 弱/强保密 [35, 2] 与计算不可区分 [28]：信息论保密关心平均泄漏或未归一化互信息；作者指出 Cachin 框架针对被动窃听者，不防有 API 访问的主动对手，因此还需要区分安全性。

推理时多比特水印与白盒隐写

• 白盒方法 [9, 20, 40]：最小熵耦合、用伪随机比特掩码消息再对模型分布做逆变换采样，以及算术编码。作者指出它们都要求收发双方共享同一覆盖统计。
• ArcMark [13]：把词表与消息符号投到单位圆上，用最优传输在无失真边缘约束下偏置下一 token。BAM 的无失真保证建立在该耦合上。
• 黑盒水印 [39, 31] 及 [13, 38, 10, 8]：接收方只看生成文本。作者称这些方法大多是定长开环：编码器不用已实现输出调整后续传输，解码器在预设 token 预算后提交。Zamir [39] 用重复单符号嵌入加基于反馈的纠错来传多比特；作者改为让反馈直接支配码本身的演化。

信息论反馈编码

• Shannon [7]、Burnashev [3]、Yamamoto–Itoh [37]、后验匹配 [32] 及变长反馈码 [29]：无噪反馈不提高无记忆信道容量，但可改进可靠性函数。后验匹配按解码器当前后验选择信道输入；Yamamoto–Itoh 用两阶段策略达到 Burnashev 指数。

隐蔽智能体通信

• 欺骗性行为文献 [25, 36, 16]：关注诱发、检测或评估欺骗性智能体行为。作者称本文与之正交，把威胁做成推理时的序贯通信与密码学安全问题。
• 多智能体隐蔽信道 [15, 24, 34, 19]：隐蔽通信被视为 LLM 多智能体与 AI 中介交互中的安全问题；[34] 表明在没有共享秘密时，智能体仍可能通过密钥交换进行隐蔽通信。作者还引用能通过三方图灵测试的对话模型 [19]。

基线方法为 ArcMark [13]、MPAC [38]、BiMark [10]、StealthInk [18]；连续文本基准为 C4 Real News。作者注明 [8, 17] 没有公开实现，故未纳入；MPAC 不是无失真方法，但作为早期工作被纳入参照。

作者将本文定位为：在提示词与模型不可知的黑盒设置下，用变长反馈编码做推理时隐蔽智能体通信，而不是训练时隐写，也不是诱发或检测模型自身的欺骗行为。

整体思路是把黑盒 LLM 隐写写成带因果无噪反馈的变长码 BAM：通信阶段用后验匹配收缩对整个消息空间的信念，确认阶段用对极符号做 ACK/NACK，直到接受、拒绝重传或超时。

信道与方案定义

• LLM 信道：给定提示词 ρ 与历史，模型给出下一 token 分布 st。无嵌入时按无偏规则采样，例如 temperature 1.0 的 Top-k；有嵌入符号 ut 与密钥 kt 时，从偏置信道 WX|U,K,S 采样。
• 黑盒方案：ΠModel = (KeyGen, EncModel,K, DecK)。KeyGen 由共享种子 κ 产生密钥材料；编码器有推理时模型访问并输出变长隐写文本；解码器只看文本，不访问模型、提示词或概率。
• 指标：δ-可靠性是消息平均错误概率 Pe ≤ δ；有限长可靠性函数 E = −(1/E[τ]) log Pe；嵌入率 R = log|M| / E[τ]。被动安全是对任意信道输入与状态，边缘化密钥后的 KL 上界 σ；密码学安全是多项式时间 API 对手的区分优势为可忽略函数。

后验匹配与密钥

• 在线码本：先验为均匀分布。编码器把消息空间按当前后验切成 [0,1] 上的区间，用共享伪随机 Rt 做抖动，再对均匀输入分布做逆 CDF，得到 ut = ⌊p Vt(m)⌋。码本不预先存储，双方都能由公开策略与同一后验复现。
• 密钥：默认 λ = 128。每次生成有公开 nonce；位置 t 的密钥由 HMAC 类 PRF 作用在 nonce、前 h 个 token 与位置上，默认 h = 3。摘要分成三块：前两块给出信道索引与词表置换，第三块给出 Rt。
• 最优传输：token 与符号放在单位圆上。在保持语言模型边缘、且密钥分量均匀的约束下最小化圆距离代价，实践中用 Sinkhorn 求解。实验中 p = |U| = 4，ϕ = 0，r = |K(1)| = 4。
• 信念更新：解码器用带均匀污染的 Laplace 似然给每个候选符号打分，b = π/(p√2)，再做贝叶斯更新。作者注明解码器没有真实信道，因此该信念不是严格贝叶斯后验。

确认阶段与对话协议

• 两阶段：公开阈值满足 0.5 ≤ γ, γACK, γNACK < 1。某消息后验超过 γ 后进入确认，真消息发 uACK = 0，否则发 uNACK = 1（p = 2 时角度为 0 与 π）。ACK 后验超过 γACK 则接受并结束；NACK 超过 γNACK 则把该候选后验乘以 (1−γNACK)/γNACK 并回到通信阶段。
• 错误与超时：错误拒绝只引起重传；错误接受算解码错误，因此作者取 γACK > γNACK。到 T* 仍未接受时，输出后验最大的消息。参数记为 BAM(γ, γACK, γNACK, (ϵ, ϵACK), T*)。
• 对话适配：部署者能选场景与角色，但不能在无失真约束下规定生成长度。若码在 EOS 前完成，编码器继续发到自然结束，解码器利用额外 token；若 EOS 先到且确认未完成，对方发一条不带载荷的无偏回复，发送方在下一回合继续。多轮安全性按每回合在公开历史上的混合论证复合。

安全归约

• Theorem 1：对至多 Q(λ) 次查询、至多 L(λ) 个 token 的多项式时间对手，BAM 的区分优势不超过 PRF 优势、生日项 Q(Q−1)/2^{λ+1}，以及每 token 偏离理想 OT 边缘的项 L(λ)η(λ)。理想约束下 η(λ) = 0。可观察长度由 EOS 决定，内部停止时刻 n 不单独暴露。
• 实现诊断：实际 PRF 与有限精度 OT 会使边缘不完全成立，Section 5.2 用种子边缘化的每 token KL 做经验检验。附录给出完整证明、算法与信息访问表。

实验设置

• 连续文本模型：Llama-3.1-8B、Qwen-3.5-9B-Base、Mistral-7B-v0.3。对话模型：Llama-3.1-8B-Instruct、Phi-4-14B-Instruct、Qwen3-A3B-30B-Instruct-2507。全部 temperature 1.0、top-50，batch size 1，单张 A100 80GB。
• 数据：连续文本用 C4 Real News，嵌入 8 bit，每设置 1000 次试验。对话为 100 段、每段 10 轮，每轮至多一个载荷。任务为 tic-tac-toe（平均 2.3 bit）、chess（平均 5.0 bit）、19×19 Go（平均 8.4 bit），按当前合法着法做均匀先验信源编码。封面为闲聊与论坛，各用 GPT-5.5 生成 50 个场景。
• 基线：ArcMark、MPAC、BiMark、StealthInk；BAM 长度可变，故与长度匹配的无嵌入生成比较。MPAC 非无失真，作为参照。
• BAM 参数：连续文本为 BAM(0.5, 1−L^{−1}, 0.75, (0.4, 0.4), 1000)，L 从 2 扫到 2^17。对话为 BAM(0.5, 0.75, 0.75, (0.7, 0.3), 1000)。公共参数 p = 4、r = 4、λ = 128、h = 3，PRF 为 HMAC-SHA256。
• 指标：消息错误率要求整条消息全对，严于部分基线的比特错误率；另有嵌入率、困惑度、distinct-n、每 token 秒数。对话指标为 bits/token、每对话成功载荷数、消息与对话错误率、载荷 token 占比，以及盲评质量。
• 评审：质量由 Gemini-3.1-Pro-Preview（访问日期 Aug 10–24）对种子匹配的干净对话做盲评，顺序随机，输出胜/平/负。论文报告均值 ± 标准误。

主结果

Table 1 在 C4 上比较 8 bit 载荷。BAM 行的平均长度带标准误，基线固定在 50 token。

表格较宽，可左右滑动

模型	方案	平均长度	消息错误率	PPL	Sec/Token
Llama-3.1-8B	ArcMark	50.0	0.106 ± 0.010	7.52 ± 0.11	0.0291
Llama-3.1-8B	BAM(L=2^15)	47.1 ± 1.5	0.001 ± 0.001	7.89 ± 0.12	0.0378
Qwen-3.5-9B-Base	ArcMark	50.0	0.105 ± 0.010	7.76 ± 0.11	0.0510
Qwen-3.5-9B-Base	BAM(L=2^15)	45.8 ± 1.3	0.001 ± 0.001	8.24 ± 0.12	0.0541
Mistral-7B-v0.3	ArcMark	50.0	0.168 ± 0.012	6.13 ± 0.09	0.0278
Mistral-7B-v0.3	BAM(L=2^11)	49.7 ± 1.2	0.000 ± 0.000	6.51 ± 0.09	0.0326

• 可靠性：作者称 BAM 在三个模型上、平均 token 低于 50、1000 次运行中消息错误率 ≤ 0.1%，同长度最强基线为 10–17%；并称增益大约比最佳基线好两个数量级。Figure 2 画消息错误概率对平均 token 长度，作者称 BAM 在更短平均长度上错误更低。
• 文本质量：作者称 BAM 相对干净模型的困惑度差不大，与无失真算法 [18, 13, 10] 相当，并称优于有失真的 MPAC。Table 1 中 Llama 上 MPAC 的 PPL 为 8.54 ± 0.11，无嵌入为 7.66 ± 0.11。
• 时间：作者称 BAM 相对 ArcMark 的运行时间在 Llama、Qwen、Mistral 上分别增加 30%、6%、17%，主要来自信道合成与两端都要算的后验更新，并称运行时间是算法最弱的部分。

对话层结果

Table 5 给出论坛封面、100 段对话的均值 ± 标准误。三个模型的平均熵与回合长度分别为：Llama 1.743 bits/tok、101.6 tok；Phi-4 1.901 bits/tok、220.6 tok；Qwen3 1.128 bits/tok、122.6 tok。

表格较宽，可左右滑动

模型	任务	bits/token	载荷/对话	消息错误率	对话错误率
Llama-3.1-8B-Instruct	go19	0.0723 ± 0.0013	7.57 ± 0.18	0.0066 ± 0.0031	0.050 ± 0.022
Phi-4-14B-Instruct	go19	0.0389 ± 0.0007	9.94 ± 0.03	0.0010 ± 0.0010	0.010 ± 0.010
Qwen3-A3B-30B-Instruct	go19	0.0433 ± 0.0011	4.50 ± 0.19	0.0267 ± 0.0084	0.120 ± 0.033
Phi-4-14B-Instruct	chess	0.0210 ± 0.0004	10.00 ± 0.00	0.0000 ± 0.0000	0.000 ± 0.000

• 测了什么：两方回合对话，载荷为着法，封面为闲聊或论坛。作者称 Llama-3.1 与 Phi-4 在三种任务上消息错误低于 3%，Phi-4 更长的生成能在每段对话中完成更多载荷。
• 结果：论坛上 Phi-4 的 chess 为 10.00 ± 0.00 个载荷且消息错误为 0；Qwen3 的 go19 只完成 4.50 ± 0.19 个载荷，消息错误 0.0267 ± 0.0084，效率 83.65 ± 0.70%。质量胜/平/负：Llama 45/0/55，Phi-4 52/10/38，Qwen3 52/2/46。
• 作者解读：吞吐由回合 token 长度与平均 token 熵共同决定。Qwen 的信道熵更低，载荷变大时每个回合可用信息减少。对话确认阈值低于原语实验，以换取信道效率，并带来少量解码错误增加。正文在“as the payload size increases”处截断，闲聊封面的完整数值表未出现在所给文本中。

边缘保持

• 测了什么：Section 5.2 用多个种子估计 Definition 5 的每 token KL，同时计入 PRF 密钥分布与 OT 求解器的有限精度。
• 结果：作者称 Figure 4 中，种子数增加时每个长度上的估计降向采样底噪，累积散度大致随 token 长度线性增长；10^5 个种子给出的经验每 token KL 小于 10^{−5}。
• 作者解读：在所报告的蒙特卡洛精度下没有可分辨的局部偏离，因此在测试的种子数下经验上是小 σ 的平均安全。Figure 4 被作者视为实现诊断，而不是理想 OT 的 η(λ) = 0。

其他消融与分析

• 附录 D 评估变长停止与确认带来的有限长增益，并给出更长载荷的性能与运行时间；正文未给出这些表的数字。
• 后验解码随载荷大小指数增长；作者举例 64 bit 可分成八个 8 bit 包以降低更新复杂度，因此主实验聚焦 8 bit。
• 连续文本 distinct-n：Llama 上 BAM(L=2^15) 的 Dist2/3/4 为 0.970、0.984、0.989，无嵌入为 0.971、0.987、0.992（Table 1）。
• 同表基线在 50 token 上的消息错误率：Llama 的 MPAC、BiMark、StealthInk 分别为 0.797 ± 0.013、0.569 ± 0.016、0.637 ± 0.015；Qwen 为 0.840 ± 0.012、0.567 ± 0.016、0.659 ± 0.015；Mistral 为 0.872 ± 0.012、0.674 ± 0.015、0.702 ± 0.014。
• 论坛效率：Phi-4 在 tictactoe、chess、go19 上为 99.97 ± 0.04%、100.00 ± 0.00%、99.91 ± 0.07%；Qwen3 对应为 98.14 ± 0.33%、95.14 ± 0.57%、83.65 ± 0.70%（Table 5）。
• 附录 E 有后验匹配信念的图示，附录 G 有对话模板与指标定义；Figure 7 是质量评审提示词，要求只输出 JSON 偏好。

作者指出的局限与后续方向

• 不声称渐近最优：Section 4 写明，名称来自 Yamamoto–Itoh 与 Burnashev 可靠性函数，但作者不声称该结论对所研究的 LLM 信道成立，只经验评估变长停止与确认的有限长增益。
• 有效信道难刻画容量：Section 4.2.1 称有效 LLM 信道依赖提示词，一般没有可处理的容量刻画，因此输入分布选成均匀，而不是按经典后验匹配去最大化速率。
• 改写类对手在范围外：Section 3.3 写明，编辑、删除或改写转录的对手不在安全假设内。
• 对话提示词设计不在范围内：Section 6 称如何为对话隐写设计合适提示词超出本研究范围；更长或更高熵的回合会提供更大嵌入机会，但长度不能被强制。
• 实现偏离理想安全：Section 5.2 称理想 OT 下 η(λ) = 0，而有限精度实现同时受 PRF 密钥非均匀与求解器数值偏差影响，Figure 4 只是实现诊断。
• 运行时间：Section 7.3 称 BAM 的运行时间是算法最弱的部分，来自 OT 与两端后验更新；附录 D 讨论可扩展性。后验更新随载荷指数增长。

实验覆盖范围

• 连续文本被测模型为 Llama-3.1-8B、Qwen-3.5-9B-Base、Mistral-7B-v0.3，C4 Real News，8 bit，每设置 1000 次，基线为 ArcMark、MPAC、BiMark、StealthInk（Section 7）。
• 对话被测模型为 Llama-3.1-8B-Instruct、Phi-4-14B-Instruct、Qwen3-A3B-30B-Instruct-2507；任务为 tic-tac-toe、chess、go19；封面为闲聊与论坛；每种组合 100 段、每段 10 轮（Section 7.4、Table 5）。
• 质量评审使用 Gemini-3.1-Pro-Preview，与同主题、同开场、同采样种子的干净对话比较；Table 5 报告论坛封面的胜/平/负。论文未报告评审与人工的一致性。
• 安全实验报告 10^5 个种子下经验每 token KL 小于 10^{−5}（Section 5.2）。密码学结论是对 PRF 的归约（Theorem 1），论文未报告对主动 API 对手的实证攻击。
• 采样设置为 temperature 1.0 与 top-50。作者说明 [8, 17] 无公开实现故未做基准；更长载荷的结果放在附录 D，所给正文未列出其数字。

作者研究推理时的隐蔽智能体通信：发送方能改 LLM 采样，接收方只看文本，双方靠同一转录同步。

问题是现有黑盒多比特水印多为定长开环，高速率时消息错误高，也适应不了长短不一的对话回合；白盒方法又要求共享模型与提示词。

BAM 把生成过程当成带因果无噪反馈的信道。通信阶段按双方共享的后验在线选码符号，并用 PRF 与最优传输保持词表边缘；信念越过阈值后，用对极符号做确认，错误拒绝则重传，错误接受才算失败。对话协议让停止跟随 EOS：本回合不够就把剩余载荷留到下一回合。Theorem 1 把计算不可区分性归约到 PRF，并加上生日项与 OT 数值偏差。

在 C4、8 bit、1000 次试验中，Llama-3.1-8B 上 BAM(L=2^15) 的消息错误率为 0.001 ± 0.001，平均长度 47.1 ± 1.5；Qwen-3.5-9B-Base 为 0.001 ± 0.001、45.8 ± 1.3；Mistral-7B-v0.3 上 BAM(L=2^11) 为 0.000 ± 0.000、49.7 ± 1.2。同为 50 token 时，ArcMark 的消息错误率为 0.105–0.168。10^5 个种子下经验每 token KL 小于 10^{−5}。论坛对话里，Phi-4 的 chess 消息错误率为 0，Qwen3 的 go19 为 0.0267 ± 0.0084，且每段对话平均只完成 4.50 ± 0.19 个载荷。

作者的结论是：即使在提示词与模型不可知的设置下，高效的推理时隐蔽通信在对话场景中也是高度可行的。作者同时写明，这不表示 LLM 信道达到了 Burnashev 指数，而且改写转录的对手不在安全假设内。