跳到正文
原文
arXiv:可解释性· arXiv:2609.20722· Frank E. Bobe·· 14 天前

Deep Noir:用架构时序自动发现 Transformer 激活引导参数

Deep Noir: Autonomous Steering Discovery via Architectural Chronometry in Transformer Models

AI 导读

Deep Noir 提出一套框架,用 Logit Lens 收敛与因果的注意力头级归因,自动发现最优激活引导参数,替代人工选择引导位置与强度。在三个规模区间(1B 三个模型、2-3B 两个、7-9B 四个)上,该引擎在垃圾信息任务上于 1B 取得 16.7 个百分点提升(标准差 4.7,39 次运行),在 7-9B 的四种架构上提升扩大到 21 至 42 个百分点;在 SST-2 情感任务上无需改动代码即取得 13.1 个百分点提升。作者称机制层面的依据使自动发现的干预点可跨任务与架构泛化,情感任务上未做注意力头掩码的 RepE 未能超过基线,而 Deep Noir 改善了所有模型(p 小于 0.01)。

阅读原文arxiv.org