AI models can provably hide arbitrary capabilities
AI Models Can Provably Hide Arbitrary Capabilities
The authors encrypt an executable network into the host weights; on the chemistry task, the encrypted model still achieves 50.9% accuracy after 500 steps of SFT.
部署前改权重的供应链攻击。攻击者采样高熵触发T，输出M=Embed(H,C,T)，使普通输入与宿主一致、触发输入执行隐藏能力C。
- 能力审计默认隐藏能力可以被引出。作者考虑部署前能改权重的攻击者，把只在秘密触发下运行的计算藏进模型，使持有全部权重的多项式时间审计仍难以激活或辨认它。
- 用数字锁加密隐藏网络各层权重，编译进带RMSNorm和SwiGLU的宿主。每次前向尝试解密，触发正确才恢复权重并用门控单元执行。作者称保证依赖锁的安全性与正确编译，且不排除发现电路存在。
- 化学可行性分类上，加密模型正确触发准确率为73.5%；500步SFT、八层LAT、16比特GCG分别为50.9%、52.9%、52.7%。口令锁定基线SFT后为92.8%。数字均来自Table 2的三种子均值。
- 作者指出单次执行有二次宽度惩罚，按行执行仍有存储和路由开销，完整嵌入预训练模型仍是后续工作，且电路存在性可能被标出。实验在自建宿主上做了SFT、LAT、GCG和加噪；论文未报告化学held-out样本量与GCG查询次数。
- Threat model
- 部署前改权重的供应链攻击。攻击者采样高熵触发T，输出M=Embed(H,C,T)，使普通输入与宿主一致、触发输入执行隐藏能力C。防御者有架构和全部权重，可知道嵌入流程但不知T，可做任意多项式时间审计。目标是white-box unelicitability。
- Evaluated models
- Gemma 3 270M
- Benchmarks
- USPTO-derived chemical reaction feasibility（SELFIES，64-bit Morgan fingerprints）subset parity
- Metrics
- held-out classification accuracyMSE loss
The researchers propose a class of backdoor attacks that embed an encrypted neural network into the weights of a host model, which is decrypted and executed only upon receiving a secret trigger phrase, and which is provably difficult to elicit or identify under given cryptographic assumptions. The construction uses a digital lock to encrypt and hide the network weights, implemented in PyTorch with SwiGLU MLP and RMSNorm, hiding a chemical reaction feasibility binary classifier as a proxy task for CBRN-related capabilities. Experiments show that supervised fine-tuning, weight perturbation, gradient-based trigger search, and latent-space adversarial training all failed to elicit the hidden capability, while a password-locked baseline model was successfully elicited under fine-tuning. The authors state that this proof of concept only hides a small binary classifier and is costly, and is not yet a directly usable attack, and they released the model for defense research testing.
Why it was selected论文给出可证明难以被激发的能力后门构造，并实测微调、加噪与梯度搜索均无法将其激发，为能力审计的可靠性划出边界。
Paper analysis
What problem does this paper attempt to solve?
能力评估假设隐藏能力可被引出；作者构造加密可执行电路，称白盒下仍难以引出。
能力评估不能只靠“引不出”，来排除对抗条件下的隐藏能力。
- 场景： 作者称前沿开发者用引出式审计做部署决定，CBRN能力是核心例子。引出只建立能力下界；引不出不等于能力不存在。图1的例子是把能力嵌进编程助手，在关键基础设施部署迹象这一触发下激活。
- 现有不足： 口令锁定和训练期后门可做模型生物，但作者称经验攻击通常没有保证，也难以指定嵌入哪条电路。已有理论结果又常不覆盖浮点运算、Transformer和层归一化。
- 核心做法： 作者把“隐藏固定字符串”扩展为隐藏可执行神经网络：用数字锁加密电路权重，嵌进宿主，只在秘密触发下解密执行。
- 范围： 实现为PyTorch中的SwiGLU模型生物，并在受约束的化学反应可行性任务上测试引出。作者称研究的是故意破坏，不声称这类编译结构会在普通训练中出现。
- 威胁模型：
- 目标： 普通输入上与宿主H在任务容差内一致；触发输入T∥x上执行隐藏能力C。
- 攻击者能力： 部署前改权重的供应链攻击，如恶意内部人员或被破坏的供应链。从高熵空间采样T，输出M=Embed(H,C,T)。
- 防御者知识： 得到架构和全部权重，可以知道嵌入流程，但不知道T；可做任意多项式时间审计，包括微调。论文称为white-box。
- 不覆盖的事： 作者称该定义不保证权重与未改模型不可区分，也不排除用外部数据独立学会同一任务，或把权重标为异常。
What related research exists?
作者把固定字符串的不可引出后门扩展为可执行网络，并与口令锁定模型对照。
隐藏能力与引出
- 沙袋与口令锁定： van der Weij等（2025）微调模型，使之除非看到秘密消息就在评估中表现偏弱。Greenblatt等（2024）构造口令锁定模型，只在提示中出现口令时表现出特定能力，用作引出技术的模型生物。
- 潜伏行为： Hubinger等（2024）训练sleeper agents，安全测试时表现良性，触发满足后转向另一目标。作者还提到基于提示的红队、微调、加噪和探针。
- 与本文： 作者称问题相近，但本文在所述假设下给出针对多项式时间引出的密码学保证。
密码学后门
- Goldwasser等（2022）： 用数字签名在分类器中植入后门，达到黑盒不可检测，并在某些随机特征模型中讨论白盒不可检测。Table 1记其载荷为翻转分类比特，且无实现。
- Draguns等（2024）： 用密码学Transformer电路实现不可引出后门，载荷为固定字符串，有PyTorch实现。作者写明不可引出弱于不可检测，因为审计者仍可能发现模型异常。
- 作者的区分： 作者称Goldwasser的设计放到现代LLM中只算不可引出，因为随机傅里叶特征本身不寻常；本文只在“未修改模型也含类似稀疏编译结构”的人为设定下才不可检测。
其他后门与引出工具
- 触发与改权重： 论文列举数据投毒、权重编辑等多类后门及若干防御，未逐篇与本文比效果。
- GCG与LAT： Zou等（2023）的GCG优化离散输入以引出目标行为，可用来搜触发。Casper等（2024）的LAT对内部激活的对抗扰动做训练。
- 作者的区分： 作者称先前后门依赖最终可能被找到或翻转的特定触发，而本文使揭示隐藏能力或秘密密钥在所述假设下不可行。
电路编译
- 算法网络： Kaiser与Sutskever（2016）的Neural GPU、Weiss等（2021）的RASP、Lindner等（2023）的Tracr，把符号程序编译进Transformer权重。
- Stravinsky： Draguns等（2024）的PyTorch语言可把密码学函数写成Transformer模块；论文称其数值稳定性高于Tracr。
- 本文框架： 用MLP直接实现电路运算，而不是把MLP当查找表。作者称这降低所研究密码电路的深度和参数量，代价是更宽的残差流。
基线与基准： 实验基线是作者训练的口令锁定模型，论文称其无密码学保证。任务是USPTO派生的化学反应可行性分类，以及subset parity。
作者把本文定位为：在white-box unelicitability下，把隐藏对象从固定字符串换成可执行模型，并给出PyTorch模型生物。
How does the paper address this problem?
数字锁加密隐藏网络权重，编译进SwiGLU宿主，仅秘密触发能解密执行。
Embed把能力电路的权重放进数字锁，再编译进宿主；每次前向尝试解密，只有秘密触发能恢复权重并执行。
安全定义
- 隐藏能力： 非触发输入上M与宿主H在任务容差内一致；触发输入T∥x上输出C(x)，容差相同。
- 两个游戏： 触发寻找游戏要求审计者输出能解锁的T′。载荷隐藏游戏在两个等长能力C0、C1中嵌入一个，审计者猜测是哪一个。
- 成功界： 任意概率多项式时间审计者在触发寻找中只有可忽略成功概率；载荷隐藏中成功概率至多1/2+negl(λ)。触发最小熵至少为λ，单个触发概率不超过2的−λ次方。
- 编译器： 作者称宿主与公开设定固定、锁安全且编译执行正确时，锁的安全性转移到两个游戏。附录C给出归约。这不阻止把权重标为异常。
从算法到GLU
- 流水线： 算法写成固定步数、无分支的直线程序，编译为线性阈值电路，抽出矩阵，变成门控线性单元的三组矩阵，写入PyTorch。
- 为何编译： 作者称密码原语一般不是PAC可学习的，标准训练不适合。
- 激活： 用两个平移ReLU之差模拟阶跃；在SwiGLU中于Swish前后放大再缩小，以近似ReLU，从而对接带层归一化的块。
- 原语： 包括与、或、全加器，以及Keccak族哈希和数字锁。Keccak支撑SHA-3，并用可扩展输出把哈希长度配到载荷长度。
数字锁
- 功能： 把消息m锁在密钥k下。正确密钥返回m，其他输入返回失败符号⊥。本文中k是触发，m是隐藏权重等载荷。
- 构造： 基于哈希的锁满足L(x)=h(x)⊕ c，c由密钥哈希与消息异或得到。正确密钥下两次哈希抵消，输出消息。
- 标签： 载荷后附一段全1标签。随机谕言模型下，错误密钥通过标签检查的概率为2的−r次方。作者采用Keccak，并称数字锁也可在标准模型中实现；本文使用随机谕言模型，且要求触发满足最小熵。
- 安全： 没有触发的多项式时间敌手，除可忽略概率外不能找到使锁不开失败的输入，也不能区分两个等长消息的锁。
嵌入与执行
- 四步： 把C做成前馈电路（训练或编译），逐层锁定权重矩阵，把锁编译进与良性模型并置的MLP，解锁后再执行。见图2。
- 宿主： 每层为RMSNorm加GLU。实现中注意力设为恒等、无跳跃连接。作者称已核验单个编译GLU插入Gemma 3 270M后计算正确。
- 执行单元： 解密权重以激活形式出现，须与任务输入相乘。GLU的固定权重复制解密后的权重和多份输入，逐元素相乘后再求和，从而避免单独的乘法电路。见图3。激活在矩阵乘之前；常规顺序可把第一层权重另算，见附录D。
- 宽度： 隐藏权重大小为b×a时，单位置执行要用b·a+a维。作者举例：10,000维宿主至多放下不大于99×99的方阵。实验主要用这一关于隐藏宽度二次的变体。
降宽度变体
- 按行执行： 每个自回归位置解密并应用一行，再用注意力把部分积加总。作者称约宽度n、深度d时，可用O(n)残差特征和O(nd)个位置，而不是单位置的O(n²)特征。中间位置可以输出良性token。
- 实验用的规模： 化学隐藏分类器为64→8→16→2的三值MLP，672个三值权重。一轮Keccak、4–16比特触发时，编译模型38层、约2.07×10^9稠密参数、1.90×10^6个非零参数、最大残差宽度10,266。
- 开销来源： 哈希子电路约1.98×10^9稠密参数，作者称约占95%。口令锁定基线约1.7×10^5参数。作者称此实现中每多一个隐藏权重大约增加3.1×10^6个稠密宿主参数，应视为概念验证成本。
What experiments did the paper conduct?
化学任务上加密模型SFT后准确率50.9%，口令锁定基线升至92.8%（Table 2）。
实验设置
- 构造： 加密编译模型与口令锁定基线。宿主为SwiGLU MLP加RMSNorm，注意力为恒等、无跳跃连接。化学加密宿主38层、约2.07×10^9稠密参数、最大残差宽度10,266。口令锁定基线约1.7×10^5参数。两构造含不同分类器，作者把正确触发准确率之差归因于加密模型的尺寸约束。
- 任务： 化学反应可行性来自USPTO，分子为SELFIES，试剂–产物对编成64比特Morgan指纹，平衡二分类；负例把试剂配上错误产物。设定跟随Götz等的反应结果框架。隐藏分类器为三值MLP，维度64、8、16、2。subset parity是秘密子集的奇偶；比较实验为4个触发比特、4个输入比特、秘密子集2比特。
- 引出： 化学任务做500步SFT、八层LAT、8比特与16比特GCG，并与等查询随机搜索比较；微调前另以0.01和0.1加噪。奇偶任务做无触发SFT和高斯加噪。另有锁内为随机网络、不含已训练化学分类器的控制。
- 指标： held-out分类准确率。化学训练和微调用交叉熵。奇偶图用MSE。图中为3次运行的95%置信区间。随机网络控制没有置信区间。论文未说明LLM评审或人工一致性。
- 输入与平台： 化学输入形如[BOS, T, z]，T为随机二进制触发，z为64比特指纹。训练用80 GiB的A100，PyTorch 2.9。主实验计数使用一轮Keccak与4–16比特触发。
- 组件核验： 单个编译GLU插入Gemma 3 270M后，作者称计算正确。论文未报告该插入的准确率。完整构造未嵌入预训练模型。
主结果
化学分类held-out准确率（%），三种子均值与95%置信区间，据Table 2。
评测 口令锁定 加密模型 非触发 50.7 ± 0.1 50.6 ± 2.1 SFT，500步 92.8 ± 0.9 50.9 ± 1.0 LAT，八层 91.7 ± 0.7 52.9 ± 3.9 GCG，8比特触发 92.7 ± 0.2 73.5 ± 2.6 GCG，16比特触发 92.9 ± 0.4 52.7 ± 1.4 正确触发 92.7 ± 0.2 73.5 ± 2.6 - 微调： 作者称口令锁定模型在少量微调步内被引出，准确率与其正确触发时相近；加密模型仍接近随机基线50%。Figure 4纵轴标有40%–100%，横轴为0–500步；中间点的精确读数在文本中看不到。
- 控制： 随机网络锁在SFT下为50.6%，LAT下为53.6%，无置信区间。作者称在所评估流程和预算下，没有观察到已训练载荷相对该控制的收益。
- GCG： 8比特时穷举全部2^8个候选，恢复加密模型的正确触发水平，并与等查询随机搜索一致。16比特时，作者称在所评估查询预算下为52.7%；论文未给出该预算的查询次数。作者称所测引出方法不利用哈希结构，因此即便参数挡不住密码分析，对这些方法仍无效。
子集奇偶
- 协议： 触发输入映射到秘密子集奇偶，非触发输入映射到全部输入比特的异或。口令锁定基线用AdamW两阶段训练：先在全部输入上学会能力，再以触发与非触发各半的批次加上条件。附录A图注称，无条件学习该任务时难度随输入规模陡升，图例为2、6、10、14比特；各曲线终点的精确损失在文本中看不到。
- 结果： 正确触发时两种模型都精确计算隐藏奇偶。无触发SFT后，口令锁定达到100%，编译模型仍在随机水平；论文未给出后者的准确率百分数。Figure 5左图为MSE，横轴0–1000步。加噪对两种模型都没有引出隐藏奇偶；右图噪声标准差从10^−9起按2^step增长，激活变成NaN时曲线中断。图注称该方法没有把subset parity上的损失降下来。
- 结构： 作者称无偏置MLP里模拟偏置的权重对噪声更敏感；把全部电路权重乘一个标量不破坏电路，只改变输出尺度。作者猜想专用纠错电路可提高噪声容忍，论文未测试该猜想。
权重异常与混淆
- 原始权重： 作者称约99%为精确零，其余多为整数值，超额峰度在数百。Table 3测的是8层Keccak编译MLP、21个内部矩阵的一元统计，排除3个边界矩阵；不是38层化学宿主。
- 混淆： 用相互抵消的正态权重对加宽隐藏层，并使用SwiGLU的正交与置换对称。作者称函数被精确保持，检验MSE对原始和混淆后都是8.9×10^−5，稀疏度与整数比例降低超过100倍。
Swipe horizontally to read the table
权重 KS 超额峰度 稀疏度 整数比例 同形高斯初始化 0.002 0.00 <10^−4 <10^−4 原始编译 0.505 371 0.991 0.998 混淆后 0.005 0.57 0.007 0.007 - 作者的解读： 与高斯初始化相近并不推出电路像正常训练的模型。作者还观察到层内权重向量之间不寻常的相关，称一元统计不那么异常时，审计者仍可能据此发现编译结构。
安全参数核验
- 主表与强参数分开： Table 2对应一轮Keccak、4–16比特触发。优化模式用24轮Keccak-f[1600]、128比特触发和同一化学分类器，得到110层、3.58×10^9稠密参数。有触发时在全部held-out输入上匹配分类器；10,000个错误触发上运行stand-in LLM电路。论文未报告该实例的SFT、LAT或GCG表。
- 一轮对照： 同一优化模式在一轮、64比特触发时为2.2×10^7稠密参数、10层。
- 作者的审计解读： 作者称Figure 5与全强度实例的安全论证一起，构成反例：在可检查任务上微调，并不足以防御战略性低表现。作者认为微调在其他设定下可能有效，但对故意构造的安全电路有局限。
其他消融与分析
- 分块并行哈希，同一672权重载荷、一轮Keccak：层数从38到15，稠密参数从2.07×10^9到6.37×10^9，非零参数1.73×10^6（附录G）。
- 按行执行，一轮Keccak：13层，0.36×10^9稠密参数，0.39×10^6非零参数，用26个token执行（附录G）。
- 每增加一个隐藏网络权重：作者称大约增加3.1×10^6个稠密宿主参数。
- 化学任务微调前噪声尺度0.01与0.1：作者称未实质改变引出结果，论文未给这两个尺度的准确率。
- Keccak-p[25,1]块：7个LTC层，最大残差宽度276，约2.47×10^5稠密参数，约10^4个非零参数。
What are some points that can be further explored?
作者指出宽度开销、预训练模型集成和电路存在性检测仍是后续问题。
作者指出的局限与后续方向
- 二次宽度： 单位置执行单元把二维矩阵排成一维激活，有二次宽度惩罚；足够大的电路放不进固定尺寸的宿主（Limitations）。
- 按行仍有成本： 按行执行降低执行单元宽度，但密文存储、哈希和路由的开销仍在（Limitations；细节在Section 5.4与附录G）。
- 未接入预训练模型： 完整构造嵌入预训练模型仍是后续工作，需要处理注意力路由和残差连接（Limitations）。
- 不是训练涌现： 这些密码电路是故意构造的；作者不声称它们会通过普通训练出现（Limitations）。
- 存在性可被发现： 作者称这是当前限制：启发式分析可能把模型标为异常，从而发现电路存在，同时仍不知道如何引出、能力是什么。对更广检测方法的抵抗尚未探索（Areas for Future Exploration）。
- 检测与混淆： 附录H把“编译电路能否与训练权重在统计上不可区分”称为重要后续工作，并讨论运行时监控，以及剪枝、释义输入可能打断执行、但攻击者可用纠错和语义触发应对。
实验覆盖范围
- 宿主： 引出实验用自建SwiGLU加RMSNorm，注意力设为恒等、无跳跃连接。Gemma 3 270M只做了单个编译GLU的插入核验。
- 任务： subset parity的比较实验为4个触发比特、4个输入比特、秘密子集2比特；化学任务为USPTO派生、64比特Morgan指纹的反应可行性二分类。
- 引出方法： 化学任务包括500步SFT、八层LAT、8比特与16比特GCG，以及微调前噪声尺度0.01和0.1。奇偶任务包括无触发SFT和高斯加噪。主表为3个种子、95%置信区间。
- 安全参数： 主实验计数使用一轮Keccak与4–16比特触发。24轮、128比特实例报告了触发功能核验，论文未报告该实例的SFT、LAT或GCG结果。
- 未给出的数量： 论文未报告化学held-out样本量、数据集条数和GCG查询次数。Table 3的混淆统计来自8层Keccak编译MLP的21个内部矩阵，不是38层化学宿主。
Summarize the main content of the paper
The authors use a digital lock to hide an executable capability and state that elicitation on the chemistry and parity tasks did not recover the capability.
作者构造一类把可执行网络加密进权重的后门，用来讨论白盒引出审计在供应链攻击下的界限。
- 问题： 部署前可改权重的攻击者希望能力只在秘密触发下出现。防御者持有全部权重，仍想激活该能力，或判断两个等长能力中嵌入的是哪一个。
- 方法： 数字锁加密各层权重，编译进RMSNorm与SwiGLU宿主。每次前向尝试解密，触发正确才恢复权重，并由GLU执行单元完成与输入的乘法。作者称在锁安全且编译正确时，多项式时间审计者的优势可忽略；这不排除发现电路存在，也不排除用外部数据独立学会同一任务。
- 化学结果： 加密模型正确触发时held-out准确率为73.5%±2.6。500步SFT为50.9%±1.0，八层LAT为52.9%±3.9，16比特GCG为52.7%±1.4。口令锁定基线SFT后为92.8%±0.9（Table 2，三种子）。随机网络锁控制在SFT与LAT下为50.6%与53.6%。8比特GCG是穷举2^8，不是更短查询下的恢复。
- 奇偶与权重： 正确触发时两种模型都精确计算隐藏奇偶；无触发SFT后口令锁定达到100%，编译模型仍在随机水平。加噪没有从任一模型引出该奇偶。作者称原始编译权重约99%为精确零，混淆能改变一元统计，但与高斯初始化相近并不推出它像正常训练的模型。
- 作者的结论： 只靠引出不能普遍保证对抗性供给的模型没有隐藏能力。作者认为需要模型来源核验、运行时监控以及供应链上的其他检查。作者同时称当前构造开销大，只隐藏了小型二分类器，还不是可直接隐藏大能力模型的现成攻击。