Tree-Ising:用比特级 Ising 编辑修复语言模型
Tree-Ising: Repairing Language Models with Bit-Level Ising Edits
作者提出 Tree-Ising,把修复 Qwen3.5-0.8B 推理循环写成逐行 Ising 问题用 GPU 退火求解,作者称 MATH-500@4 达 54.6%,高于 agent 编辑的 51.7%。
- 小推理模型 Qwen3.5-0.8B 在 thinking mode 下频繁陷入文本循环,93% 的 MATH-500 回答耗尽 32k token 上限,准确率仅 7.9%。已有工作用 LLM agent 直接改写权重修复,但一次编辑耗费 158 轮、89.7M token 和 15.6 小时。
- Tree-Ising 把修复写成 BF16 权重上的稀疏离散优化:只允许保持共享指数和尾数的符号翻转与 2 的幂缩放,用前向统计定义削弱循环方向、保护正常输出的目标,精确分解为每个输出行一个 QUBO/Ising 问题,用 GPU 模拟退火或模拟分岔求解。
- 在 Qwen3.5-0.8B 上,Tree-Ising 的 MATH-500@4 为 54.6%,高于 agent 编辑的 51.7%,作者报告五个数学基准全部领先,MATH-500 与 GSM8K 的提升经多重比较校正后仍显著;修改权重少 13%,BF16 位翻转少 2.2 倍。同一配方迁移到 Qwen3.5-2B,GSM8K greedy 准确率从 21.6% 升至 69.4%。
- 作者指出:仅覆盖单一失败模式(推理循环)、同一模型家族的两个模型和数学基准;0.8B 的配方是分析 agent 公开日志后回顾性设计的,复用其层选择且未做严格等剂量对照;目标是未编辑模型统计的一阶代理;量子实验仅 8 个变量、未写回模型,不构成量子优势。
- 被测模型
- Qwen3.5-0.8BQwen3.5-2B
- 基准
- MATH-500GSM8KAMC23Minerva MathOlympiadBench
- 指标
- accuracycut at capchanged weightsBF16 bit flipsstate-tree bit flips
研究者提出 Tree-Ising 方法,把修复语言模型推理循环转化为对 BF16 权重的稀疏离散优化,在 Qwen3.5-0.8B 上将 MATH-500 准确率从基础模型的 7.9% 提到 54.6%,超过 MIT 工作中 GPT-6 Astra agent 的权重修复(同一评测下 51.7%)。基础模型 93% 的回答因循环触及 32k token 上限。方法用前向统计定义目标,削弱循环方向、强化结论方向并保护有效输出,精确分解为每个输出行一个 QUBO(Ising)问题,用 GPU 模拟退火或模拟分岔求解,编辑只做符号翻转和指数移位,不改共享指数与尾数。该配方只需 4 次前向请求、零 LLM token,单次约 31 分钟、约 $0.90;对比之下 agent 发现修复耗 158 轮、89.7M token、50 次前向和 $312,作者说明其配方复用了 agent 选定的层和剂量。
推荐理由论文把 LLM agent 的权重修复改写成逐行 Ising 优化,用前向统计定目标、GPU 退火求解,这一思路可迁移到其他模型行为修复任务。
深度解读
这篇论文试图解决什么问题?
如何把 LLM agent 对循环模型的权重修复,变成几分钟可解的稀疏离散优化问题。
核心问题:能否不用 LLM agent、只靠前向统计和离散优化,直接修复权重中导致推理循环的缺陷,且编辑更小、更便宜。
- 问题场景:作者称 Qwen3.5-0.8B 在 thinking mode 下频繁陷入短文本循环直至 token 预算耗尽,在 32,768 token 上限下 93% 的 MATH-500 回答被截断,准确率只有 7.9%(Figure 1)。
- 现有方法及其代价:Takehi et al. [55] 让 GPT-6 Astra agent 读取权重、在 50 次前向请求预算内定位到第 15、19 层的 MLP 并改写各 64 列,把 MATH-500 提升到 48.1%;但作者指出单次编辑耗费 158 轮、89.7M token、15.6 小时(Table 4),且每一步依赖自然语言判断,没有最优性保证。
- 核心观察:作者认为 agent 收集的证据(循环回答与成功回答的前向对比)可以形式化为一个数学目标,编辑则是存储位上的离散选择;无损 BF16 存储是 state tree 的特例,使编辑可以限制为保持共享指数和尾数的位级操作。
- 论文提出:Tree-Ising——把修复分解为每个输出行一个独立的 QUBO/Ising 问题,用 GPU 模拟退火或量子启发的模拟分岔求解,并给出 Qwen3.5-2B 的无 agent 迁移和一个 8 变量 QAOA 量子硬件概念验证。
有哪些相关研究?
与 weight-space programming、模型编辑、激活转向、重复抑制、权重量化 QUBO 和量子硬件五条线相关。
Weight-space programming 与模型编辑
- Takehi et al. [55]——让通用 LLM agent 读写网络权重,其 agent 修复了 Qwen3.5-0.8B 的推理循环;本文研究同一修复任务,但用由相同经验证据构建的优化器替换 agent。
- ROME [41]、MEMIT [42]、Knowledge Neurons [11]、MEND [43]、Task Arithmetic [27]——通过连续更新修改事实关联或合并微调差值;论文指出这些方法产生连续更新,而 Tree-Ising 选择存储格式能精确表示的稀疏离散修改,并在 Section 4.5 与自身目标的 ROME 式 rank-one 解对比。
- Bit-flip attack [50]——翻转少量位即可大幅改变网络行为;作者称本文利用同样的敏感性来修复而非破坏。
激活转向与方向干预
- 推理时向残差流加方向的 steering 方法 [38, 56, 62] 与可折入权重的 directional ablation [5];本文的方向是同类对比方向,但干预形式是带 collateral 惩罚的稀疏权重编辑,推理时无需改动。
- ThinkEdit [53]——找到控制推理长度的线性方向并从少数注意力头的输出投影中移除,改动约 0.2% 参数;论文指出本文处理相反的失败模式(推理永不终止),且编辑 MLP 输出投影、用离散移动而非连续投影。
重复与循环
- 解码启发式 [22]、修改训练目标 [58, 59] 及推理模型思维链与解码配置的分析 [12, 48];论文指出 Tree-Ising 既不改解码器也不改训练过程,只离线编辑一次权重。
权重格式与 QUBO 求解
- 块浮点与 microscaling 格式 [13, 51]、无损 BF16 压缩 [60]、state trees [3];本文中 state tree 定义了前向目标的合法移动集合。
- AdaRound [46] 与 Muñiz Subiñas et al. [45]——后者把量化的层输出重建写成按行分离的精确 QUBO 并用模拟退火求解;论文称本文目标在重建项之外加入沿测量方向的行为项和稀疏代价。
量子硬件:量子退火训练二值网络 [52]、为 CNN 选剪枝量化配置 [57]、把变分量子电路作为适配器嵌入 LLM [34, 2];论文指出这些工作中量子电路是模型架构的新部件,而本文模型形式不变,量子设备只负责求解应修改哪些已有 BF16 权重。
基线与基准:对比基线是 Takehi et al. [55] 的 agent 编辑检查点;评测基准为 MATH-500、GSM8K、AMC23、Minerva Math、OlympiadBench。作者将本文定位为:同一修复任务上,用优化器取代 agent,得到更小、更便宜的编辑。
论文如何解决这个问题?
把修复写成 BF16 state tree 上的稀疏离散目标,精确分解为逐行 Ising 问题后用 GPU 退火或模拟分岔求解。
整体思路:Tree-Ising 把 agent 修复流程中的三步(选层、定目标、搜权重)全部数学化,只靠前向传播统计,把编辑限制为存储格式原生支持的位级移动,再按行分解求解(Figure 2)。
权重表示与合法移动
- 采用 state trees [3] 的无损 BF16 特例:每 64 个连续权重共享一个最大指数 E 作为共享节点,每个权重存 4 位状态 D = E − e、符号位和 7 位尾数。
- 每个权重只允许乘以集合 F = {−1, 2, 1/2, 4, −2, −4, −1/2, 1/4} 中的因子或保持不变;合法移动必须保持组内共享指数、不产生 escape,因此只改单个权重的符号位和 4 位状态,尾数与共享指数按构造不动。
- 每个候选权重预选一个移动后,编辑变成二值决策向量,目标成为次数不超过二的多项式,符合 QUBO 形式。
层选择
- 基模型在 384 道练习题(192 MATH 训练题、192 GSM8K 训练题)上各生成一次(8,192 token 上限),对循环与正确轨迹做 teacher-forced 前向,记录各层残差流 h(t)、MLP 输出 m(t) 和输出投影输入 a(t),按 Table 2 划分循环 token 集 R、受保护集 P、收尾集 Z、延续集 M。
- 方向定义为 uℓ ∝ uℓ,loop − β uℓ,end(β = 0.5),即循环方向与收尾方向的组合;层得分 sℓ = uℓ⊤(m̄ℓ,R − m̄ℓ,P) 衡量该层 MLP 在循环 token 上沿 u 多写了多少。
- 规则为取得分最高的两层、排除最后一层;在 Qwen3.5-0.8B 上选出第 15、19 层,与 agent 的选择一致(Figure 3)。
优化目标
- 目标为 E(Δ) = γ dose(Δ) + coll(Δ) + λ ‖ Δ ‖0:dose 是编辑沿 u 在循环 token 上的投影 u⊤∆µR,collateral 是受保护 token 上的输出扰动(即剪枝量化中常用的层输出重建误差),最后一项限制修改权重数。
- 目标剂量 dtarget = −τ u⊤WµR;Qwen3.5-0.8B 上设为 agent 编辑剂量的 1.6 倍(对应 τ = 6.7 和 6.1),新模型用 τ = 6.5,完全由基模型导出;作者注明与 agent 的比较并非严格等剂量。
逐行 Ising 分解与求解
- 固定统计量后,三项都按输出行求和,问题精确分解为每行一个独立子问题;行内保留得分最高的 K = 512 列,每行 512 个自旋,0.8B 两层共 2,048 个稠密 Ising 问题。
- 默认求解器为 GPU 模拟退火:每行 16 个副本、300 轮 Metropolis 扫描,温度从 2 几何降到 10⁻⁴ × 行中位 |ha|;备选为离散模拟分岔(dSB),1,200 步、步长 0.5,其余组件不变。
- 校准:λ 初始为单权重 collateral 中位数的 2 倍;每个 λ 下对 γ ∈ [10⁻⁶, 10⁶] 做几何二分找到达到目标剂量的最小 γ;超预算则 λ 翻倍,最多六次。
- 配方在 Qwen3.5-0.8B 上的预算为每层 65,536 个修改权重;行问题是标准 Ising 模型,可直接交给量子退火或 QAOA(Section 6 的 8 变量概念验证)。
论文做了哪些实验?
在 Qwen3.5-0.8B 上与 agent 编辑做同协议对比,并迁移到 Qwen3.5-2B,另做消融和 8 变量量子硬件验证。
实验设置
- 被测模型:Qwen3.5-0.8B(编辑第 15、19 层 down_proj,各 1,024 × 3,584)和 Qwen3.5-2B(第 15、19 层,各 2,048 × 6,144;加强变体加第 14 层)。
- 基线:Takehi et al. [55] 的 agent 编辑检查点,在同一评测框架、相同随机种子下重测,逐题配对检验。
- 数据:前向统计来自 384 道练习题(192 MATH-train + 192 GSM8K-train);消融用 128 道留出练习题;评测基准为 MATH-500、GSM8K、AMC23、Minerva Math、OlympiadBench。
- 评测协议:vLLM thinking mode,temperature 0.6、top-p 0.95、top-k 20、presence penalty 1.5、最多 32,768 token;</think> 后最后一个 boxed 答案用 Math-Verify 判分;@k 表示每题 k 次采样的平均正确率。
- 统计检验:逐题配对检验,对 agent 的 12 项比较做 Bonferroni 校正(p < 0.05/12)。
- 重复次数:论文报告每个基准评测使用单个生成种子,每个求解器只跑一次(Section 8)。
主结果
据 Table 3(Qwen3.5-0.8B,准确率 %;上块为 [55] 原报数,下块为统一框架重测):
表格较宽,可左右滑动
模型 MATH-500@4 GSM8K@1 AMC23@16 Minerva@4 OlympiadBench@1 Base model([55] 报告) 7.9 13.8 0.5 1.5 1.3 Agent edit([55] 报告) 48.1 67.1 23.4 25.4 21.8 Agent edit(本文框架) 51.7 65.6 22.0 24.2 21.4 Tree-Ising (SA) 54.6 70.5 22.7 26.1 24.3 Tree-Ising (SB) 55.1 70.8 25.0 25.6 24.0 - 作者称两种求解器下 Tree-Ising 在全部五个基准上都超过 agent 编辑;MATH-500@4(+2.9 ± 1.0 点,p ≈ 0.003)和 GSM8K(155 对 90 题,p = 4 × 10⁻⁵)的提升经 Bonferroni 校正后仍显著,OlympiadBench 的提升(p = 0.045)未通过校正。
- 截断率全面下降:MATH-500@4 从 31.6% 降到 23.9%,GSM8K 从 8.0% 降到 3.1%,OlympiadBench 从 47.8% 降到 32.5%(Table 3);作者认为准确率提升主要来自模型能在预算内收尾。
- 作者测得 agent 编辑的 51.7% 与一项独立复现的 51.0% 接近,认为与 [55] 原报 48.1% 的差异来自其初始评测设置;在开发期从未见过的 400 道 MATH-500 题上,Tree-Ising (SA) 53.8% 对 agent 50.8%(p ≈ 0.009)。
成本与编辑足迹
- 成本(Table 4):agent 发现过程为 158 轮、89.7M token、50 次前向请求、15.6 小时、$312;Tree-Ising 为 4 次前向请求、21.8 分钟模型 GPU 时间加 8.8 分钟退火、共 31 分钟、约 $0.90、零 LLM token。作者明确这是"发现修复的完整过程"与"应用固定配方"的对比,配方复用了 agent 的层选择和剂量。
- 足迹(Table 5):Tree-Ising (SA) 修改 112,630 个权重(agent 130,188,少 13%),BF16 位翻转 278,767(agent 621,388,少 2.2 倍),state-tree 位翻转少 4.0 倍;共享指数与尾数修改为零(按构造),而 agent 编辑改了 1,261 个共享指数和 129,668 个尾数。
消融与连续编辑对照
- 消融(Table 6,128 题练习筛,单次完成,标准误约 4.4 点):去掉收尾方向(β = 0)准确率 43.8%、截断率 53.1%;只用基本移动 f ∈ {−1, 2, 1/2} 为 50.0%;预算缩到每层 28k 为 49.2%;剂量 1.2× 为 57.8%(与选定配置 57.0% 在误差内且少改 31% 权重)。
- 连续解:同一目标的闭式 rank-one 解(ROME 式)在练习筛上 57.8%,与 Tree-Ising 相当,但修改两个矩阵 96% 的权重(7.02M 处,62 倍)和 103 倍的 BF16 位翻转;同剂量 directional ablation 只有 38.3%。作者据此认为准确率提升主要来自目标本身而非离散求解器,连续变体只在练习筛上评测。
迁移与量子概念验证
- Qwen3.5-2B 迁移(Table 7):层由前向扫描自选、剂量 6.5× 由基模型规则定,GSM8K greedy 准确率从 21.6% 升至 69.4%(1,319 题),截断率从 77.9% 降到 26.7%;编辑新解对 669 题、弄错基模型原答对题中的 38 题。加强变体(三层、9× 剂量)71.8%,但相对标准配方优势不显著(p = 0.09)。
- 量子硬件(Table 13):0.8B 第 15 层一行的 8 变量子问题在 IBM Heron(ibm_fez)上跑 QAOA,深度 2 时 1,024 次采样中 110 次采到精确最优(10.74%),均匀对照为 4 次;作者明确这不构成量子优势,均匀采样是较弱的对照。
其他消融与分析
- 求解器对比:SB 与 SA 在任何基准上都无统计差异(MATH-500@4 差 +0.45 ± 0.9 点,p = 0.62),SB 少改 4% 权重(108,327 对 112,630)。
- 层扫描:梯度归因排序最高的是第 14、21、18、16 层,未能复现 agent 的选择(Section 3.2)。
- 剂量达成:各层实际剂量为目标剂量的 6.2–6.8 倍自身写入,超出目标 0.3–2.3%(Table 9)。
- 2B 练习筛上准确率随剂量持续上升(Figure 4 右),作者据此加测 9× 剂量。
有什么可以进一步探索的点?
作者列出范围、基线、回顾性设计、代理目标、量子实验规模等局限,并提出多个后续方向。
作者指出的局限与后续方向
- 范围单一(Section 8):只处理推理循环这一种失败模式,只在同一模型家族的两个模型、数学基准上评测;未测指令遵循、通用语言建模或非数学基准,副作用除 collateral 项外未测量;评估更大模型、其他模型家族和其他失败模式是未来方向。
- 基线与评测(Section 8):基模型 7.9% 的 MATH-500 成绩直接引用 [55],未在自己框架中重跑;连续编辑只在 128 题练习筛上评测;早期变体在 100 道 MATH-500 题上筛选过,完整结果包含开发期见过的题;每个基准只用单个生成种子;表中 p 值为名义值,只有 MATH-500@4 和 GSM8K 的提升通过 Bonferroni 校正。
- 回顾性设计(Section 8):配方是分析 agent 公开日志后设计的,0.8B 上复用其层选择、剂量为其 1.6 倍且未跑严格等剂量(1.0×)编辑;排除最后一层的规则是看了 0.8B 扫描结果后定的;两个模型选中的层都是 full-attention 块,一致性可能来自共享架构而非独立验证;在没有该布局的模型上评估扫描是未来方向(Section 3.2)。
- 代理目标与求解器(Section 8):目标是未编辑模型统计的一阶代理,忽略层间影响,剂量只是行为变化的线性代理;候选列与移动预选是启发式;每个求解器只跑一次、计时条件不严格匹配,作者不对求解器相对速度下结论。
- 量子硬件(Section 8):仅 8 个变量(两个矩阵 730 万权重中的 8 个)、单次硬件作业、解未写回模型、对照为均匀采样而非随机角度电路;作者称这只展示正确映射,不构成量子优势;扩展到整层修复并测量下游准确率是未来方向(Section 9)。
- 记账与实现(Section 8):state-tree 位计数假设简单编码器,压缩检查点的直接打补丁尚未实现;时间成本为单次运行、不含双方的方法开发成本。
实验覆盖范围
- 被测模型为 Qwen3.5-0.8B 和 Qwen3.5-2B 共 2 个,均属同一混合 linear/full-attention 架构家族(Section 8)。
- 评测基准为 MATH-500、GSM8K、AMC23、Minerva Math、OlympiadBench 五个数学基准;2B 只评了 GSM8K greedy(Section 5)。
- 0.8B 的层选择复用 agent 结果、剂量参照 agent 编辑校准;无参考编辑的独立流程只在 Qwen3.5-2B 的 GSM8K 上验证(Sections 4–5)。
- 统计用 384 道练习题,消融筛 128 道;每个基准单个生成种子、每个求解器单次运行(Section 8)。
- 论文未报告与人工判分的一致性;答案判定完全由 Math-Verify 完成(Section 4.1)。
总结一下论文的主要内容
把 agent 式权重修复变成逐行 Ising 优化:更小、更便宜,且可迁移到无参考编辑的新模型。
一篇模型编辑方法论文:把 LLM agent 对循环模型的权重修复,重写为 BF16 state tree 上的稀疏离散优化问题 Tree-Ising。
- 问题:作者称 Qwen3.5-0.8B 在 thinking mode 下 93% 的 MATH-500 回答因循环耗尽 32k token,准确率 7.9%;GPT-6 Astra agent 的修复虽有效,但单次编辑要 158 轮、89.7M token、15.6 小时、$312。
- 方法:只允许保持共享指数和尾数的符号翻转与 2 的幂缩放;用前向统计定义削弱循环方向、强化收尾方向、保护正常输出的目标;精确分解为每个输出行一个 QUBO/Ising 问题,用 GPU 模拟退火或模拟分岔求解。
- 主要结果:
- Qwen3.5-0.8B 上 MATH-500@4 达 54.6%(SA)和 55.1%(SB),高于 agent 编辑的 51.7%;作者报告五个数学基准全部领先,MATH-500 与 GSM8K 的提升经 Bonferroni 校正后仍显著(Table 3)。
- 修改权重 112,630 个,比 agent 少 13%;BF16 位翻转少 2.2 倍;共享指数与尾数零修改(Table 5)。
- 单次修复 4 次前向请求、31 分钟、约 $0.90、零 LLM token(Table 4);作者说明这是固定配方与 agent 完整发现过程的对比。
- 同一配方在 Qwen3.5-2B 上无需任何参考编辑,GSM8K greedy 准确率从 21.6% 升至 69.4%(Table 7)。
- 8 变量 QAOA 在 IBM Heron 上深度 2 时 10.74% 采到最优,作者明确这只是概念验证、不构成量子优势。
- 作者结论:两种求解器效果相当,说明收益来自数学目标本身;闭式连续解准确率相当但要改 96% 的权重。作者认为 weight-space programming 的修复任务可以在几分钟内由优化完成,并计划公开代码。