基于影响力的曲率感知数据加权激活引导方法
Steering by Influence: Curvature Aware Data Weighting for Activation Steering
AI 导读
研究提出影响加权激活传输方法，用影响函数估计每个数据点对模型概念表征的贡献，并按影响分数加权概念样本，通过最优传输将非概念文本的激活引导向概念文本。在毒性抑制（Jigsaw）、物体概念诱导（OneSec）和真实性诱导（TruthfulQA）上优于现有激活传输基线，同时用困惑度和 MMLU 准确率追踪能力，发现引导效果提升且基本保持模型质量。影响函数能捕捉激活方法遗漏的概念相关信息，两种方法对数据点的排序显著不同。