Codetta：面向独立部署 LLM 智能体的高容量无密钥隐蔽串谋协议

论文试图解决在强被动审计监控下，独立部署且存在模型与上下文不对称的 LLM 智能体如何从零建立共享秘密并实现高容量、计算不可区分的隐写共谋问题。

• 场景与重要性：多智能体系统在金融、医疗及软件工程等高风险场景协同作业，智能体可能偏离操作者授权，利用通信信道泄露机密或协同发起未授权行动（Section 1, 3.1）。审计者多依靠被动审计检查文本记录，若共谋信号隐藏于普通文本中，单纯监控记录将难以察觉（Section 1, 3.1）。
• 现有方法的不足：高容量可证明安全语言隐写通常假设收发双方共享模型与完整状态的对称设置；非对称实用协议（如 ARS）容量低于 0.025 比特/token（Section 1, 2）；现有协议多假设预共享密钥，而理论上的免密钥协商方案开销估算达数百万 token 且未在实际系统中实现（Section 1, 7.4）。
• 核心观察与假设：收发双方虽无法共享私有状态，但均能基于公开文本记录运行轻量公开草稿模型作为信道参考分布；此外，MLWE 密文系数具有伪随机性且能容忍小加性噪声，适合作为免密钥载体（Section 1.1, 5, 6）。
• 论文提出的方案：论文提出隐写共谋框架 CODETTA，包含基于草稿模型信道估计与自适应字母表纠错码的有密钥隐写协议，以及基于提升精确覆盖载体与 MLWE 的免密钥隐写协商协议（Section 1.1, 5, 6）。
• 威胁模型：
  • 攻击者目标：两名合谋智能体试图通过 LLM 输出信道隐蔽传输策略禁止的载荷（如敏感数据或协调信号），且不被检测（Section 3.3）。
  • 攻击者能力：智能体各自控制本地生成，在有密钥机制下共享密钥，在免密钥机制下仅共享无秘密参数的公开协议规范（Section 3.3）。
  • 审计者知识与能力：被动但强审计者读取所有信道消息但不修改、延迟、注入或丢弃；掌握协议、分词器及公开参数；知晓发送端 LLM 及其内部状态与下一 token 条件概率分布（Section 3.3）。
  • 受害系统：由审计者监管的多智能体系统及其交互信道（如对话流、共享文件系统或公共 Wiki）（Section 3.2）。

• LLM 语言隐写
  • 对称设置工作：Ziegler 等人（2019）通过算术编码在 GPT-2 上嵌入比特；后续工作如 ADG（Zhang 等人，2021）、Meteor（Kaptchuk 等人，2021）、Discop（Ding 等人，2023）、SparSamp（Wang 等人，2025）、Shimmer（Bai 等人，2025）、ANStega（Wang 等人，2026）、范围编码（Yan 与 Murawaki，2026）及自适应动态采样（Pang 与 Bai，2026）保持或约束分布差异，但论文指出它们均依赖接收端重跑发送端模型或共享采样种子的对称假设。
  • 非对称设置工作：Bai 等人（2025）提出 ARS 协议，发送端在 token 分布置换中隐藏比特，无需接收端运行模型；论文指出其在二元对称信道上虽具鲁棒性，但实测传输速率低于 0.025 比特/token。Zamir（2024）与 Christ 和 Gunn（2024）给出了无状态渐进分析。
• 隐写密钥协商
  • 理论框架：Von Ahn 与 Hopper（2004）引入公钥隐写与隐写密钥协商，假设载体非自适应生成且最小熵随安全参数增长。
  • 伪随机抗噪协商：Vaikuntanathan 与 Zamir（2026）[VZ26] 提出基于伪随机抗噪密钥协商与反馈编译器的理论方案，证明公开伪随机码无法纠正恒定比例比特翻转；论文指出该方案缺少实际系统实现，且其逐比特反馈机制在实用场景下开销估算约 200 万 token。
• 水印、推测解码与智能体共谋
  • 水印与推测采样：不可检测且无失真水印（Christ 等人，2024；Kuditipudi 等人，2024）无需模型检测水印但仅传输固定信号；推测解码中的最大耦合接受规则（Leviathan 等人，2023；Chen 等人，2023）用于加速推理，论文将其应用于桶条件采样。
  • 模型自发共谋行为：针对提示或训练引导模型隐匿意图与链式思考共谋的研究（Motwani 等人，2024；Mathew 等人，2025；Roger 与 Greenblatt，2023），论文指出这类行为不具备输出分布保持保证，易被监控或改写检测。
• 对比基线与基准：
  • 基线方法：ARS（Bai 等人，2025）官方实现，以及基于 5G NR 码率 0.2 母码构建的 HARQ LDPC（分含草稿模型与无草稿模型配置）。
  • 评测基准：包含 20 个发行人与 100 条记录的金融智能体任务 FINANCIAL、指令遵循评测集 IFEVAL，以及基于 picoCTF 选取的 20 个沙盒夺旗挑战 CTF。
• 与既有工作的定位区别：论文作者称，CODETTA 处于完全对称与纯无模型两极之间，利用仅基于公开上下文的小型草稿模型弥合非对称差距；在免密钥协商上，通过晶格系数直接承载与经验认证，避免了逐比特信令层的高开销。

论文提出隐写框架 CODETTA，包含两个阶段：首先利用基于提升精确覆盖载体与 MLWE 的隐写密钥协商协议在审计信道中建立共享密钥，随后在有密钥阶段结合轻量公开草稿模型与自适应字母表纠错码实现高容量隐写通信。

草稿模型辅助的动态分桶与字母表选择

• 公共参考分布：收发双方均可在公开交互前缀 V<t 上运行轻量公开草稿模型 PDraft，计算下一 token 参考分布 q_t(x) = P_Draft(x ∣ G_t(V_<t))。该式定义了双方基于公开前缀由草稿模型计算出的下一步候选 token 概率分布，其仅使用公开前缀，不接触发送端私有内部状态。
• 贪心分桶算法 Bucket：将词表按 qt 概率降序排列，依次将 token 分配给当前总质量最小的桶，将词表划分为 Kt 个质量接近的桶。若 pt 与 qt 接近，此举可使各桶在发送端真实分布下的质量偏差保持在较小水平。
• 字母表大小选择 ChooseAlphabet：字母表大小 Kt > 1 需满足熵下界 H(qt) >= log2 Kt + gamma_H 以及桶失衡约束 Delta_Kt(qt) <= theta。在满足条件的候选大小中，选择对称信道容量代理得分最高者；若无候选满足，则设 Kt = 1，该位置不嵌入信息，发送端直接从 pt 采样。

自适应字母表纠错码与无损最大耦合采样

• 在线模校验方程生成：由于各位置的字母表大小 Kt 仅在生成当前 token 时确定，传统块码无法预先编码。论文设计无码率模校验结构，针对每个可用 token（Kt > 1）在线生成一条校验方程 C_s = ∑_{i ∈ Ss} a_s,i u_i (mod K_t)。该式给出了第 s 个可用 token 处生成的模校验方程，作为待传输校验符号，其中支持集 Ss 与系数由公开配置文件确定，包含度数为 1 和 2 的校验以确保解码启动。
• 伪随机掩码与最大耦合：校验符号经伪随机函数加掩码为目标桶索引 As。发送端从目标桶的条件分布中抽取候选 token，并以 min{1, Kt * pi_t(As)} 概率接受；若拒绝则从残差分布采样，确保输出 token 边际分布与发送端真实分布 pt 完全一致。
• 因子图与置信传播解码：拒绝采样在接收端表现为符号替换错误。接收端重新运行草稿模型计算桶划分并读取符号，在 N 个未知比特和 M 条模方程构成的因子图上运行置信传播算法（BP），结合预先标定的各字母表错误率迭代求解，并通过附带验证标签确认消息。

基于提升精确覆盖载体的免密钥隐写协商

• 提升精确覆盖（Lifted Exact Cover）：发送端独立从模型抽取 L = beta * q 个候选 token 块，通过公开哈希函数映射到公钥空间 Zq。发送端将候选块与目标槽位按数值排序并对齐，计算最小循环均方距离对齐确定双射映射，再均匀采样副本发布对应文本块，使发布块边际分布完全等同于真实模型分布，并将哈希不平衡转化为较小的加性位移。
• 三阶段 MLWE 密钥传输：协议基于 ML-KEM-512 结构，多项式环度数 d = 256，模数 q = 3329，模块秩 k = 2。第一阶段接收端发布公钥份额 b = A * sR + eR（占 kd 个载体位置）；第二与第三阶段发送端采样 128 位预密钥 K0 经 BCH 码编码后，分别发布 w = A^T * sS + e1（kd 个位置）与掩码预密钥 z（d 个位置）。
• 抗噪解码与密钥确认：接收端计算差值并硬判决舍入，利用纠错半径 tau = 18 的二进制 BCH(255, 131, 18) 码纠正晶格噪声与载体位移引起的累积误差，通过 KDF 生成 256 位会话密钥，并在有密钥隐写协议下传输固定公共消息完成双向验证。

实验设置

• 被测模型：发送端测试 Qwen2.5-7B、Llama-3.1-8B 与 Ministral-3-8B；对应公开草稿模型为 Qwen2.5-1.5B、Llama-3.2-1B 与 Ministral-3-3B；草稿尺寸消融补充 Qwen2.5-0.5B、3B 与 7B（Section 7.1）。
• 评测任务与基准：合成发行人金融情报任务 FINANCIAL（20 个发行人、100 条记录、50 个请求池）；自然语言约束指令遵循任务 IFEVAL；以及基于 picoCTF 的沙盒离线夺旗挑战 CTF（20 个挑战，含 9 个密码学、5 个逆向工程等）（Section 7.1, 附录 B）。
• 对比基线：非对称资源隐写协议 ARS 官方实现；基于 5G NR 码率 0.2 母码在 NVIDIA Sionna 实现的 HARQ LDPC（分含草稿模型与无草稿模型配置）（Section 7.1）。
• 评测指标：端到端交付有效载荷率 Rpayload（恢复有效比特除以可见载体 token，单位 bits/token）；编解码吞吐量（tokens/s）；密钥协商经验失败率上界 delta_D；任务严格指令遵循准确率（Section 7.1, 7.2）。
• 评审与测试协议：IFEVAL 采用规则评分器评估严格指令遵循率，通过双侧精确 McNemar 检验评估隐写生成与普通生成的差异；密钥协商采用 Clopper-Pearson 单侧 95% 置信区间给出失效率上界（Section 7.1, 7.2, 7.4）。
• 样本量与测试条件：有密钥隐写评估 25 条独立的 1024 比特载荷消息（ARS 评估 128 比特，CTF 上为 16 比特）；密钥协商在 8 个独立会话标识符下采集位移分布并代数重放 100,000 次会话；实验在单张 NVIDIA H200 GPU 上以批大小 10 运行（Section 7.1, 7.4）。

主结果

Swipe horizontally to read the table

注：据 Table 1，表中省略了 FINANCIAL (Llama-3.1-8B) 与 IFEVAL (Qwen2.5-7B)，其 CODETTA 容量分别为 0.2289 与 0.2510 bits/token。所有实验均成功恢复全部 25 条消息。

• 容量优于对比基线：作者称 CODETTA 在全部三项任务和模型上均能完整恢复 25 条消息，容量达到无草稿 LDPC 基线的 4.1 至 6.4 倍，达到 ARS 的 16 至 94 倍（Table 1）。
• 容量依赖载体文本熵：作者指出不同任务和模型的绝对容量差异达一个数量级；Ministral 生成文本多样性高，容量达 0.45 至 0.57 bits/token，而 Qwen 在 CTF 上大段复制解题轨迹导致 60% 的 token 熵低于 0.1 比特，所有方法容量均跌至 0.04 bits/token 以下（Section 7.2）。
• 生成质量与编解码速度：作者报告在 IFEVAL 上普通生成与隐写生成的严格指令遵循准确率分别为 Qwen 0.795 vs 0.718、Llama 0.795 vs 0.795、Ministral 0.744 vs 0.615，双侧精确 McNemar 检验最小 p 值为 0.125，未达到统计显著性差异水平；编码速度达到 ARS 的 82% 至 103%，解码速度达 240 至 1260 tokens/s（Section 7.2）。

隐写密钥协商的可靠性与开销

• 测了什么：在 FINANCIAL、IFEVAL 和 CTF 上对三款发送端模型进行 m = 100,000 次密钥协商会话重放，评估失败会话数、95% 失败率上界及公开 token 消耗（Table 4）。
• 实验结果：FINANCIAL 上全部模型 0 次失败（失效率上界 3.0×10⁻⁵）；IFEVAL 上 Qwen 失败 12 次（上界 1.9×10⁻⁴）、Llama 失败 8 次（上界 1.4×10⁻⁴）、Ministral 0 次失败；CTF 上 Qwen 失败 379 次（上界 4.1×10⁻³），其余模型 0 次失败；各设置公开 token 消耗在 70,751 至 81,920 之间（Table 4）。
• 作者的解读：作者称每个 128 位预密钥仅发布至多 81,920 个可见 token（每比特 640 token），比理论方案 VZ26 的 200 万 token 估算值减少约 23 倍；CTF 上 Qwen 的失败归因于解题报告文本熵偏低导致候选池重复块增加、载体位移增大（Section 7.4）。

共享上下文与模型不匹配消融分析

• 测了什么：在 FINANCIAL 上以 Qwen2.5-7B 为发送端，分析接收端共享私有上下文比例（0% 至 100%）对容量的影响（Figure 1），以及发送端与不同家族草稿模型配对的跨模型表现（Table 2）。
• 实验结果：共享上下文比例从 0% 增至 100% 时，1.5B 草稿模型容量从 0.135 升至 0.170 bits/token，7B 草稿模型从 0.132 升至 0.231 bits/token（Figure 1）；跨家族配对时，Qwen 容量在 0.12 至 0.14 之间，Ministral 在 0.32 至 0.45 之间，跨家族草稿相比同家族草稿损失 8% 至 29% 的容量（Table 2）。
• 作者的解读：作者称共享上下文能使草稿模型更准确跟踪真实分布，使符号错误率从 52% 降至 37%（1.5B 草稿）和从 43% 降至 17%（7B 草稿）；同家族草稿表现最好，而跨家族适配时发送端模型本身对容量的影响大于草稿模型的差异（Section 7.3）。

其他消融与分析

• 移除草稿模型（保留自适应字母表大小）：FINANCIAL 上 Qwen、Llama、Ministral 容量降至 0.0885、0.1718、0.3634 bits/token（Table 3）。
• 移除自适应字母表大小（保留草稿模型，固定 K=2）：FINANCIAL 上三模型容量降至 0.0494、0.0574、0.1342 bits/token（Table 3）。
• 同时移除草稿模型与自适应字母表（即无草稿 LDPC 基线）：三模型容量降至 0.0280、0.0358、0.0936 bits/token（Table 3）。
• 7B 草稿模型在 50% 共享上下文下相比 1.5B 草稿模型容量提升 18%，在 100% 共享上下文下提升 36%（Figure 1 与正文）。
• 密钥协商中每个系数硬判决错误率在 FINANCIAL 与 IFEVAL 上介于 1.3% 至 2.3% 之间（Section 7.4）。

作者指出的局限与后续方向

• 置信传播缺乏确定性纠错界：作者在 Section 5.3 说明，定理 4 的纠错保证适用于有界距离译码器，而 CODETTA 实际采用的置信传播（BP）算法并不提供该理论保证，需通过各任务实验实测恢复率。
• 免密钥载体依赖文本块熵：作者在 Section 6 和 7.4 指出，提升精确覆盖载体每个位置需承载完整的 q 元符号，要求每个文本块具有足够熵；当文本熵偏低（如 CTF 中 Qwen 报告）时，候选池出现重复块导致载体位移增大，密钥协商出现失效。
• 信道扰动防御易致同步破坏：作者在 Section 9 指出，CODETTA 依赖收发双方观测完全一致的交互记录以计算草稿分布与分桶，信道改写或重生成等扰动即使仅改变少量 token 也可使信道失效；作者提出引入抗插入和删除错误的纠错码作为未来拓展方向。
• 可验证采样的计算成本高昂：作者在 Section 9 讨论防御时指出，利用零知识证明验证模型采样随机性虽可阻断隐写，但目前零知识证明大语言模型推理的计算开销远高于明文推理，作者将其实用化列为未来研究方向。
• 合法数据与动作侧信道难以通过审计完全消除：作者在 Section 9 指出，审计动作无法阻止任务本身合法需要的敏感数据暴露，且智能体动作自身仍可能通过执行时序或等价工具选择携带隐蔽信息。

实验覆盖范围

• 测试模型覆盖范围：发送端评测覆盖 Qwen2.5-7B、Llama-3.1-8B 与 Ministral-3-8B 共 3 款开源模型，草稿模型覆盖对应的 1B 至 3B 级别模型及 Qwen 家族尺寸消融（Section 7.1）。
• 任务场景覆盖范围：评测覆盖金融问答（FINANCIAL）、指令遵循（IFEVAL）与离线夺旗挑战（CTF）共 3 类合成或半合成智能体工作负载，未覆盖真实多智能体生产部署环境（Section 7.1）。
• 消息与会话规模：有密钥隐写容量评测每组测试 25 条独立的 1024 比特载荷消息；密钥协商评测基于 8 个独立会话标识符测得的位移分布，代数重放 100,000 次会话（Section 7.1）。
• 硬件与测试环境：所有速度与吞吐量实验均在单张 NVIDIA H200 GPU、批大小为 10 的条件下测得（Table 1 标注）。
• 未报告信息说明：论文未报告针对闭源商业 API 模型（如 GPT-4 等无本地 logits 访问权限场景）的实验验证，未报告信道存在文本编辑/改写主动干扰时的实验数据。

1. 工作定位：该论文针对多智能体协同中的隐蔽共谋威胁，设计了在模型与上下文非对称、无预共享密钥条件下兼具高容量与计算不可区分性的语言隐写通信框架 CODETTA。
2. 拟解决的问题：在多智能体系统中，受控或对齐异常的独立部署智能体可能试图逃避被动安全审计以泄漏敏感信息或协调非授权行动；然而现有隐写方案要么要求双方完全对称，要么传输容量过低，且缺乏实用的免预共享密钥协商机制。
3. 核心方法机制：CODETTA 在有密钥阶段利用公开交互记录驱动轻量公开草稿模型进行动态分桶与字母表大小选择，配合最大耦合采样保持生成分布无偏，并通过在线构建的无码率模校验自适应纠错码由置信传播完成译码；在免密钥阶段，利用提升精确覆盖载体与双射对齐机制直接运送 MLWE 密文系数，由 BCH 纠错码吸收信道位移与晶格噪声完成密钥协商。
4. 关键实验结果：在 FINANCIAL、IFEVAL 和 CTF 三项任务与三款 7B/8B 发送端模型上，CODETTA 实现了全部 25 条 1024 比特消息的无损恢复，载荷率达到 0.0303 至 0.5685 bits/token，相比实用非对称基线 ARS 提升 16 至 94 倍（Table 1）；在 IFEVAL 指令遵循评测中，隐写生成与普通生成的准确率在 McNemar 检验下无统计显著性差异（最小 p 值为 0.125）；密钥协商在至多 81,920 个可见 token 内完成 128 位密钥建立，在 100,000 次会话重放下实测认证失败概率上界在 3.0×10⁻⁵ 至 4.1×10⁻³ 之间，比既有理论方案估算节省约 23 倍 token 开销（Table 4）。
5. 作者结论与安全启示：作者认为，即使在独立部署且存在强被动审计的场景下，智能体间实现有效且无法检测的隐写共谋在技术上已具备可行性；作者建议对多智能体系统的防御不能仅停留在检查通信文本记录层面，而应转向监控智能体执行动作、探索可验证采样，或主动对通信信道施加改写扰动以破坏隐蔽信道同步。