HEST：用熵训练的双曲探针实现稀疏激活引导
Hesitation Has a Geometry: Entropy-Trained Hyperbolic Probes for Sparse Activation Steering
AI 导读
研究者提出 Hyperbolic Entropy Steering（HEST），将隐藏状态嵌入 Poincaré 球，用仅以模型自身下一 token 熵为标签的轻量探针，在熵超过阈值的 token 处沿测地线引导激活。在 Qwen2.5-Math 与 Llama-3.1 三个指令微调模型上，采用 Busemann 读出的 HEST 在 MATH-500 和 GSM8K 的六种设置中有五种提升贪心准确率，最高 1.8 分；而每个 token 都加入对比引导向量的做法反而降低准确率。