HEST: entropy-trained hyperbolic probes for sparse activation steering

数学推理在少数高熵token处分叉，但常见激活转向仍对每个token加同一个欧氏向量。

• 场景：作者认为大模型解数学题的推理大体层次化，思维链常在少数高熵token处分叉并决定后续路径。论文写道，树在双曲空间中的嵌入畸变远低于同维欧氏空间，因此把双曲空间当作欧氏语言模型隐状态的表示候选。
• 现有做法：激活加法通常在每个生成token或提示词固定位置加同一欧氏向量，CAA在整段生成中使用同一转向向量。面向数学推理的转向多在长推理模型的步骤边界操作，并用「Wait」等关键词分类步骤；作者称instruction-tuned模型很少产生这些词。
• 观察：next-token熵在多数位置较低，只在一小部分位置超过阈值，作者称这些位置为hesitation points。同一熵可作探针的训练信号，不需要正确性标签或对比提示词。
• 方法：作者提出Hyperbolic Entropy Steering（HEST）。轻量探针把隐状态映入Poincaré球，标签只是模型自身的next-token熵；熵超阈值时沿readout最陡下降的测地线移动嵌入，再映回隐状态，其余位置不改。评测看greedy解码的最终答案是否与参考等价，不更新语言模型权重。

按Related Work，相关工作分成激活转向、熵与分叉token、测试时潜空间方法、双曲表示。

激活转向

• 固定向量：Turner et al. (2023)、Li et al. (2023)、Zou et al. (2023)与CAA（Rimsky et al., 2024）用对比提示词或样例得到方向，加到每个生成token或提示词固定位置。
• 依状态或带门控：ReFT与HyperSteer学习干预；AcT、ODESteer、FLAS、Curveball、Angular与Spherical Steering、K-Steering、CLAS使编辑依赖状态；MAT-Steer、FASB、Helix等限制施加位置。作者称机制上最接近的是K-Steering，它跟随带属性标签的非线性分类器梯度。
• 作者的区分：HEST同时用依状态的方向和稀疏门控，二者都来自模型自身的熵而非标签。附录A的Table 4按方向、位置、训练信号和几何比较这些方法。

熵与分叉token

• 高熵token：Wang et al. (2026)报告，推理强化学习里少数高熵token决定路径，只更新这些token可匹配或超过更新全部token。Zur et al. (2025)讨论隐状态与路径不确定性。
• 犹豫处的其他干预：HARP把熵超阈值的token当作犹豫点，对输入嵌入做dropout并混合第二次前向的logits。熵门控分支（Li et al., 2026a）在这类token上用过程奖励模型选择续写。
• 步骤边界：SEAL在双换行处切步，用关键词分类并在每步边界转向；FlowSteer保留该协议，把线性编辑换成flow matching。Sun et al. (2026)在步骤边界转向，使用正确性标签或正确解答的理想轨迹。作者称HEST同样按熵选token，但改隐状态，不用关键词或正确性标签。

测试时潜空间方法

• 多样本或逐题优化：Fractional Reasoning、LatentSeek、SPREAD在潜空间使用多个候选或按题优化。作者称HEST只改单次greedy解码，故不把它们作基线。Kim et al. (2026)的随机嵌入注入被作者称为与HEST互补。

双曲表示

• 几何与模型：Ganea et al. (2018)用Möbius运算定义Poincaré球上的双曲层；Busemann函数被用于相对理想原型的分类（Ghadimi Atigh et al., 2021）。HypFormer、HypLoRA、HELM等把双曲几何用于Transformer或大模型。
• HyperGuide：Liu et al. (2026)把隐状态投影到Poincaré球并微调模型。作者称本文探针沿用其排序与三元组损失，但用模型自身的熵、而不是搜索树中到解答的距离来训练，并用readout转向、不微调欧氏模型。

基线与基准：greedy解码与CAA。CAA用同一批状态、同一层和阈值的均值差，在每个生成token上以乘数1相加。基准为MATH-500、GSM8K，开发模型另评OlympiadBench。作者写明不纳入依赖关键词步骤的SEAL与FlowSteer、需要正确性标签的Sun et al. (2026)，以及改输入或多样本的方法。

作者把本文定位为：用自身熵同时决定转向位置和方向，方向来自双曲探针readout的黎曼梯度，且不需要正确性标签、对比提示词、语言模型训练或额外采样解答。

HEST在greedy解码中只编辑犹豫点：用next-token熵训练Poincaré探针，再沿readout下降最快的测地线改嵌入，并映回隐状态。

设定与熵

• 对象：解码器模型M，层ℓ残差流为h。读完位置i后有状态h_i和下一token分布p_i。
• 熵：由解码logits计算，无需标注。定义为H_i=−∑_{v∈ V}p_i(v)log p_i(v)。H_i>θ时该位置是犹豫点。熵既训练探针，也决定改哪里。

熵训练的双曲探针

• 嵌入：曲率−c的Poincaré球。先按训练状态的坐标均值和标准差标准化，再经隐藏宽1024、输出维n=128的两层感知机，用原点处指数映射映入球内。标量ω是输出范数的滑动均方根，固定嵌入尺度。曲率与理想点和感知机联合学习。
• 两种readout：Busemann readout b(z)来自边界上学习到的理想点，等值集是与边界切于该点的极限球面。radius readout r(z)是到原点的双曲距离，等值集是以原点为心的球面。作者希望自信状态的readout更低。
• 损失：沿用Liu et al. (2026)。熵间隔超过δ=0.3 nat的配对做边际排序，边际γ=0.1；三元组把同一解答中距锚点五个token以内的状态拉近，负样本来自另一题。数据是100道训练题的greedy状态与熵，无正确性标签；20题留出以选检查点。作者报告留出题上Busemann把85%到90%的熵配对排对，radius为82%到89%（Appendix D）。

测地线步进与映回

• 步进：犹豫点上z=E(h)。度量共形，故黎曼梯度与欧氏梯度同向。u为readout黎曼梯度的单位反方向，再做Möbius加法z'=z\oplus_c\tanh(\sqrt{c}\,t/2)\,u/\sqrt{c}。
• 步长含义：附录B给出Proposition 1的推导：t>0且梯度非零时，双曲距离恰为t；t不超过半径时radius下降恰为t；Busemann下降恰为√c t。作者称步长在每个状态含义相同。附录B.3称全部greedy测试解答的犹豫点都满足t不超过半径。
• 几何差别：c趋于0时探针变欧氏，测地线步变成直线，移动量为t/2。radius在两种几何都指向原点。Busemann在球内的下降方向依赖状态；其欧氏对应是线性函数，下降方向处处相同。映回后，任何readout都经探针雅可比得到依状态的编辑（Appendix L）。
• 映回：用阻尼Gauss–Newton从零编辑求解，使探针输出接近z'。最多四次迭代，阻尼为10的−3次方乘JJ转置迹再除以n，并把编辑范数截到不超过原状态范数。雅可比有闭式（Appendix C）。

熵门控解码与超参数

• 解码：熵超阈值时，从缓存去掉该位置的key和value，用编辑后的层ℓ状态重算该token的前向，再从新分布取下一token。编辑后的key和value留在缓存。其他位置不改。生成满3072个新token则回退到greedy答案。作者报告，开发模型犹豫点熵中位数在MATH-500为1.23 nat、GSM8K为1.44 nat，后一位置为0.075与0.048 nat（Appendix E）。
• 超参数：Qwen用层19，取自SEAL对由Qwen2.5-Math微调的模型所用层；Llama用层13，取自CAA与ODESteer的对应设置。开发模型θ=1，因为熵大于1表示有效候选token数超过e，约2.7。其他模型按teacher-forced的greedy熵校准θ，使每题转向数接近开发模型；校准不用答案标签，但会读评测提示词和模型自己的greedy解答（Appendix G）。步长在开发模型的MATH-500与GSM8K上选择：Busemann为0.5，radius为0.25，并固定用于另外两个模型。
• 图示：Figure 1的点云标明为示意。Appendix O称真实留出状态并不填满球，90%的缩放后范数在0.39到0.82，自信与犹豫两组有重叠。

实验设置

• 模型：Qwen2.5-Math-1.5B-Instruct为开发模型，另有Qwen2.5-Math-7B-Instruct与Llama-3.1-8B-Instruct。全部greedy，同一提示词，新token上限3072。
• 基准：MATH-500；GSM8K的1319道测试题；开发模型另评OlympiadBench，675道英文纯文本开放题中100题训练探针、575题评测。MATH-500与GSM8K的探针各用同数据集训练集的100题。
• 基线：greedy；CAA方向为低熵状态均值减高熵状态均值，同一状态、层和阈值，每个生成token乘数1。主表CAA无回退。
• 指标与判分：最终答案准确率及相对greedy的百分点。附录H给出修正与改错题数。同一协议抽取答案后做字符串、数值和符号比较（Appendix F）。Qwen2.5-Math在97%到99%的解答中使用boxed；Llama在MATH-500上四类抽取来源占31%、6%、59%、4%。
• HEST配置：主结果为Busemann t=0.5、radius t=0.25。开发模型的t在MATH-500与GSM8K上选出；另外两模型沿用该t，θ按无标签规则校准。
• 重复：论文未报告多种子重复。Appendix H写明符号检验把探针视为固定，不衡量训练轮次间的变异。

主结果

据Table 2。变化是相对greedy的百分点。CAA无回退。

Swipe horizontally to read the table

模型与数据集	θ	Greedy	Busemann	radius	CAA
Qwen2.5-Math-1.5B / MATH-500	1.0	74.20	76.00 (+1.80)	75.20 (+1.00)	70.00 (−4.20)
Qwen2.5-Math-1.5B / GSM8K	1.0	84.84	85.37 (+0.53)	84.53 (−0.30)	84.23 (−0.61)
Llama-3.1-8B / MATH-500	2.0	50.80	52.00 (+1.20)	51.00 (+0.20)	38.20 (−12.60)
Llama-3.1-8B / GSM8K	1.4	84.61	84.31 (−0.30)	84.53 (−0.08)	80.06 (−4.55)
Qwen2.5-Math-7B / MATH-500	1.0	84.00	84.80 (+0.80)	84.20 (+0.20)	82.60 (−1.40)
Qwen2.5-Math-7B / GSM8K	0.8	95.38	95.60 (+0.23)	95.45 (+0.08)	95.00 (−0.38)

• 作者的概括：Busemann版在六组中五组高于greedy，其中包括超参数不含测试标签的四组里的三组。例外是Llama-3.1-8B在GSM8K，修正18题、改错22题。六组合计修正88题、改错63题；按Table 2顺序的单组符号检验p为0.09、0.34、0.34、0.64、0.39、0.51，合并p=0.050。作者注明合并检验把六组当作独立，尽管各基准上三个模型评的是同一批题。开发模型那两行的步长是在这两个测试集上选出的。
• CAA：六组全部下降。它改写97%到100%的解答，合计修正205题、改错369题（p<10的−11次方，Appendix I）。加上与HEST相同的回退后仍全部低于greedy。
• 稀疏性与回退：Table 2中每题被转向token比例的中位数为0.8%到3.0%。Appendix K称Qwen2.5-Math-7B的汇总比例被触及长度上限的重复解码抬高：MATH-500上13次这样的解码含62%的被转向token。Llama在MATH-500上，greedy本身有65/500题触及长度上限；Busemann的17题修正里有4题属于greedy触及上限而转向解码做完且答对，去掉后为13对11（Appendix H）。

犹豫多少的题在受益

Figure 2与Appendix J按greedy解答的犹豫点数分成0–10、11–24、至少25，分组在干预前固定。

• 多数题：六组里0–10组占71%到81%的题；其中五组的greedy解出89%到98%。该组改错率至多0.03，准确率变化为−0.28到+0.84个百分点。
• 犹豫多的组：至少25个犹豫点时，五组增益为2.94到5.06个百分点，但该组小。变化写成100乘以错题修正率减对题改错率。
• 密集犹豫：OlympiadBench上34%的题有至少25个犹豫点，MATH-500上为9%；平均每题转向token为20对9。中间组Busemann改错22%的已解题。radius改错8%，更大步长最多升1.22个百分点（Table 1）。开发模型上Busemann在OlympiadBench的四个步长都不高于greedy。Llama在GSM8K的下降也出现在greedy只解出约三分之一题目的组。

位置、方向与几何

Section 5在开发模型、θ=1、层19上每次只改一个成分（Table 3）。

• 位置：同样步长下，每个token转向的MATH-500准确率为74.00%（−0.20），双换行步骤边界为73.80%（−0.40）。只有8.2%的犹豫点落在步骤开头。作者称CAA所加向量约为HEST步的五倍，Table 3a的Step为0.33对0.06。作者称小步加在每个token上接近中性，增益来自犹豫点。
• 方向：门控和步长不变时，缩放到HEST编辑中位大小的固定方向在MATH-500上与HEST同为76.00%，GSM8K只升0.08个百分点。离开理想点的方向只升0.40与0.15个百分点。Table 15中，HEST在被改动的错题里修正比例为0.154与0.204，高于固定方向和反向。
• 几何：c趋于0的欧氏探针同样训练，预测熵至少不差于双曲探针，步长匹配编辑中位大小。Busemann下它在MATH-500为73.40%（−0.80），GSM8K为84.69%（−0.15）。两基准上只有HEST做对48题、只有欧氏探针做对26题（合并p=0.014）。radius下两探针在GSM8K同为84.53%。作者称曲率对Busemann最重要，与第3.2节一致。

其他消融与分析

• 步长（Table 1，仅1.5B）：Busemann在MATH-500的四个步长都高于greedy，四步长平均+1.10与GSM8K的+0.17；radius的四个步长都不提升GSM8K，t=1时MATH-500为−0.80。
• 阈值与层（Appendix M）：θ=ln 2时作者称被转向token中位比例将近变为三倍，准确率降1.00个百分点；层9与层25增益为+0.60与+0.20，对照层19的+1.80。回退使各HEST变体变化至多0.40个百分点。
• 编辑差异（Appendix L）：400个犹豫状态上，Busemann编辑的成对余弦中位数为0.21，一半方差需要32个主成分。
• 映回误差（Appendix C）：MATH-500重跑复现500个解答；4426个被转向token上，readout降幅均值0.4293到0.4295，对照√c t=0.4294。
• 探针（Table 5）：七个Busemann探针的留出配对准确率为0.853到0.903，Spearman ρ为0.444到0.747。
• 个例（Figure 3、附录P）：该题greedy解答189个token中3个超过θ=1，首个犹豫点熵1.19；HEST解答583个token中转向12个。作者称转向后斜边与直角边的称呼对调，但最终比值正确；多数其他被修正题的首个改变token是措辞选择。

作者指出的局限与后续方向

• 可修正题量：收益受仍能被修正的题目数量限制；接近greedy上限时，如Qwen2.5-Math-7B-Instruct在GSM8K，提升空间小（Section 6）。
• 密集犹豫：解答犹豫很密时，如许多OlympiadBench题，正确答案脆弱，HEST可能把它们改错（Section 6）。
• 未测设置：其他解码方法、参数量超过8B的模型，以及数学推理以外的任务，仍待测试（Section 6）。
• 代码：作者在Conclusion写明计划公开代码。

实验覆盖范围

• 模型与解码：被测为Qwen2.5-Math-1.5B-Instruct、Qwen2.5-Math-7B-Instruct、Llama-3.1-8B-Instruct，均为instruction-tuned；实验解码为greedy，新token上限3072（Section 4.1）。
• 基准：MATH-500与GSM8K（1319题）三个模型都评；OlympiadBench只评开发模型，575题用于评测（Section 4.1）。
• 对照：基线为greedy与CAA。作者说明SEAL、FlowSteer依赖长推理模型的关键词步骤，Sun et al. (2026)需要正确性标签，潜空间方法使用多样本或按题优化，故未作基线；欧氏探针是同一流程在c趋于0时的对照（Section 4.1、Section 5）。
• 探针与重复：每组探针用100道训练题的greedy状态与熵，无正确性标签。Appendix H写明符号检验不衡量探针不同训练轮次的变异。论文未报告多种子重复，也未报告自动判分与人工判分的一致性。
• 已报告的变体：主结果含Busemann与radius；Section 5与Appendix M报告位置、方向、几何、阈值和层。开发模型的步长在MATH-500与GSM8K上选择，另外两模型沿用该步长（Section 3.5）。

HEST是不更新语言模型权重的推理时转向：模型自己的next-token熵既选出少数犹豫token，也训练给出方向的双曲探针。

要处理的情况是，数学解答里多数token已由上下文决定，分叉集中在高熵token，而常见激活加法仍对每个token加同一欧氏向量。长推理模型上按关键词和步骤边界转向的做法，又很少适用于instruction-tuned模型。

探针把指定层的隐状态映入Poincaré球，用熵的排序损失和三元组损失训练，没有正确性标签。熵超过阈值时，沿Busemann函数或到原点距离的最陡下降测地线走固定双曲长度，再映回隐状态。作者给出的几何结果是：步长t使Busemann readout下降√c t。主配置为Busemann、t=0.5；Qwen用层19，Llama用层13。开发模型θ=1，其步长在MATH-500与GSM8K上选择。

• 主结果：Table 2中，Busemann版在六组里五组高于greedy。Qwen2.5-Math-1.5B在MATH-500从74.20%到76.00%，在GSM8K从84.84%到85.37%；7B为+0.80与+0.23个百分点；Llama-3.1-8B在MATH-500为+1.20，在GSM8K为−0.30。六组合计修正88题、改错63题。
• 对照：同一数据上、每个token都加的CAA六组都下降，作者称降幅为0.38到12.60个百分点。开发模型上，同样训练的欧氏Busemann探针在MATH-500为73.40%，低于greedy。
• 何处变化：作者称增益主要在greedy解答犹豫较多的少数题上；犹豫少的题大多已经正确，结果很少改变。OlympiadBench上Busemann在四个步长都不提升，t=0.5时相对41.39%下降1.39个百分点。

作者的结论是：只转向犹豫token，在多数数学设置下提高greedy准确率，每个token加固定向量则会降低；开发模型上换成排序熵并不更差的欧氏探针后增益消失，作者认为这与双曲几何有关。收益受还能被修正的题量限制，犹豫很密时可能改错。