超越 Linear Probe:面向语言模型的动态安全监控
Beyond Linear Probes: Dynamic Safety Monitoring for Language Models
AI 导读
论文提出截断多项式分类器(TPC),作为线性探针的扩展,用于语言模型激活的动态安全监控。其思路是多项式可逐项训练和评估:推理时可提前停止做轻量监控,或在需要时使用更多项提供更强护栏。作者给出两种用法,一是作为安全旋钮,通过多评估项数从同一模型获得更强护栏;二是作为自适应级联,明确样本经低阶检查后提前退出,只对模糊输入评估高阶护栏。在 WildGuardMix 上,最多 30B 参数的 4 个模型中,TPC 在有害提示分类上不逊于或优于同等规模的 MLP probe 基线,同时比黑盒方法更可解释。代码地址为 http://github.com/james-oldfield/tpc。