局部稀疏性实现无监督 LLM 安全检测

监督安全分类器依赖固定的不安全标签，而部署时不安全分布会变；论文把问题改写成只建模安全数据的异常检测，并用SAE概念空间里的局部稀疏使高维检测可行。

• 场景与重要性：作者称部署期安全方法以监督为主，需要不安全训练数据。新越狱、标签集中没有的有害行为、以及模型未见领域的输入，都会使拟合固定不安全分布的分类器泛化差。
• 现有做法的不足：异常检测只在安全数据上建分数s，对不属于P的输入给高分，从而不偏向某一伤害类别。作者认为LLM嵌入维数高，无监督异常检测在此设置下表现差，因此该路线在现代LLM上仍少被探索。全局压缩表示（如标准自编码器、Figure 2中的CVDD与Deep SVDD）也明显弱于利用局部结构的方法。
• 核心观察：在线性表示假设（LRH）下，SAE恢复的概念空间里，邻近点共享一小部分共同激活支撑。Figure 1中每个簇掩码保留200个特征，各掩码部分重叠，并集约覆盖3,000个特征，远小于d=16,384。作者认为有效维度由局部稀疏sloc决定，而不是概念空间维数d2。
• 提出的框架：四阶段设计空间（嵌入空间、聚类、簇内稀疏子空间、打分），并给出两个实例：簇级免训练的FREQMASK-KM，以及每簇低秩适配的LEARNEDMASK-LORA。Section 6给出样本复杂度界：对SAE隐藏维d2与环境维d1只对数依赖，对局部稀疏线性依赖。
• 威胁模型：
  • 目标是构造分数s，使相对安全分布P不典型的输入得分高，并在阈值τ下判为UNSAFE；不要求不安全训练数据，因此不偏向特定伤害类别。
  • 知识与数据：拟合阶段只用安全样本；SAE在安全激活上训练。论文未用white-box、black-box或no-box描述攻击者知识。
  • 能力与输入：检测器读取指定层残差流，且取模型自身生成回复的最后一个回复token。校准阶段可额外使用不到1%的带标签子集（正文称1%不安全数据与1%良性OOD）。
  • 受害系统是指令微调LLM。评测的不安全输入包括BeaverTails有害请求、ToxiGen有毒与仇恨语言，以及HarmBench上汇集的对抗攻击。

相关讨论分散在引言、背景和实验基线中，作者按监督安全、异常检测与表示结构分组。

• 监督安全分类：Sharma等（2025）、Bai等（2022）、Chen等（2025b）、Zou等（2024）训练时使用带标签的不安全样本。作者认为不安全分布在部署中会剧变，包括新越狱（Andriushchenko等，2024；Nasr等，2025）、标签集未覆盖的有害行为（Turner等，2025）和未见领域输入（Oh等，2025），因而固定不安全分布上的监督程序可能泛化差。
• 异常检测与高维困难：Schölkopf等（1999）、Perera等（2021）把问题写成单类/异常检测：只对安全数据建模并标记分布外输入。Aggarwal等（2001）、Zimek等（2012）指出高维下无监督异常检测表现差。实验基线还包括全局Mahalanobis（Nader等，2014）、GMM、One-Class SVM（Schölkopf等，1999）、Deep SVDD（Ruff等，2018）和文本上的CVDD（Ruff等，2019）。
• 线性表示与稀疏自编码器：Park等（2023，2025a）与Mikolov等（2013）提出概念沿线性方向编码；Elhage等（2022）用叠加解释近正交概念的打包。Cunningham等（2023）、Bricken等（2023）、Templeton等（2024）、Gao等（2024）用SAE近似恢复过完备概念字典。Hübotter等（2025）观察到局部邻域内激活特征大量共享。Kantamneni等（2025）分析SAE在监督探测中的作用，论文放在附录C.3讨论。每簇适配使用Hu等（2022）的LoRA。

基线方法为Mahalanobis、GMM、One-Class SVM、Deep SVDD、CVDD，外加有不安全标签的监督线性探针（BCE）作为参照上界。基准/数据集为BeaverTails、ToxiGen和HarmBench（八种攻击算法汇集）；安全集约206K，组成见附录D.2；校准负例还用HellaSwag与HH-RLHF-helpful。

作者把本文定位为：在LRH概念空间上利用局部稀疏做单类安全检测，而不是拟合某一不安全分布，也不是对全部激活做单一全局压缩。

整体思路是把LLM激活上的异常检测拆成局部问题，使有效维度由局部稀疏sloc而不是SAE维数d2决定。框架不是单一算法，而是四阶段设计空间，实例化为FREQMASK-KM与LEARNEDMASK-LORA。

问题设定与局部稀疏

• 安全分布与分数：给定安全样本{xi}∼P，构造s:X→R，使相对P不典型的输入取值大。不使用不安全数据。
• SAE：层ℓ残差流a(ℓ):X→Rd1，编码器E:Rd1→Rd2，d2≫d1，E=ReLU(WE x+bE)。训练最小化安全激活上的重构L2加λ乘特征L1。激活支撑ϕ(x)为非零坐标，平均稀疏s=E∥z(x)∥0≪d2。文中部分模型约(d1,d2,s)≈(4096,16384,100)。
• 局部稀疏：在概念空间度量ρ下，邻域Nr(x)内激活支撑的并显著小于d2，记其期望为sloc。作者认为若算法显式或靠归纳偏置使用这种稀疏局部块，有效维度是sloc。

嵌入、聚类与局部子空间

• 嵌入：后续步骤都在SAE特征z(x)上进行。作者认为直接在稠密残差流里找式(3)的局部稀疏不可行。
• 聚类：在安全集D上用度量ρ做K-means，得到Nc个簇。Hamming距离ρL0只按激活支撑分组；ρL1与ρL2同时看哪些特征激活以及幅度。Nc过小会使簇内支撑并集变大；过大则每簇样本约N/Nc变少，每簇协方差会病态。
• 频率掩码：在索引集I上统计每个特征的激活频率，取top-k。I=D得到全局掩码；I=Cc得到每簇掩码。Figure 1示意每掩码200个特征，并集约3,000。
• 学习子空间：每簇加秩至多r的LoRA适配器，与掩码一起在Cc上优化。作者称直接在每簇拟合完整E、D会提高留出重构损失和安全数据上z(x)的平均密度，因此限制为低秩适配。

打分与两个实例

• 分配与分数：测试点按聚类度量ρ分到最近质心。距离分数是掩码后与质心的ℓ1或ℓ2距离，协方差可靠时可用Mahalanobis；重构分数是该簇局部编码器/解码器的残差。阈值τ全局共用：s(x)>τ判UNSAFE。
• FREQMASK-KM（Algorithm 1）：L2 K-means（FAISS默认，均匀随机初始化质心），全局频率掩码，分数为掩码后与所属质心的ℓ1距离。簇级无学习参数。
• LEARNEDMASK-LORA（Algorithm 2）：同样的L2 K-means；掩码最小化每簇重构加λ∥m∥1，再在冻结SAE上拟合每簇LoRA；分数为该簇适配后的重构残差。
• 校准：作者观察到不安全样本的簇分配很不均匀，集中在少数安全簇。可用小于1%数据，对每簇分数做仿射校正，而不重训表示。细节在Section 5与附录B。

成功判定与理论保证

• 实验指标：AUROC，以及假阳率5%处的真阳率TPR@5%FPR。主结果是BeaverTails、ToxiGen、HarmBench三类的平均。监督BCE线性探针只作上界，不参与无监督排名。
• 理论对象：Section 6把SAE当作给定，只分析FREQMASK-KM是否估准安全几何。总体分数s⋆是全局频率掩码下到总体K-means中心的ℓ1距离，阈值按安全假阳率q选取；它不是最优安全/不安全分类器。
• 样本复杂度：Assumption 1限制掩码后簇内二阶矩与几乎必然界；Assumption 2要求第k与第k+1个频率有间隙γ>0，且安全分数在阈值附近的质量线性受控。Theorem 1称，在式(11)的样本量条件下，以至少1−δ的概率，拟合检测器与总体检测器在安全分布上的不一致概率不超过η0,n+L0εn。作者称掩码恢复对d2只对数依赖；界不覆盖SAE训练，也不覆盖聚类误差ρn、η0,n对维数的依赖。区分安全与不安全还依赖不安全分布，不能只由局部稀疏推出。

实验设置

• 模型：六个指令微调模型：qwen2-1.5b-instruct、ministral-8b-instruct、llama3-8b-instruct、qwen3-8b、gpt-oss-20b、gemma-4-26b。残差流层分别为20、20、25、30、20、25，取中后层且未按下游AUROC调层。每个输入记录模型自身生成回复的最后一个回复token。
• 数据：安全集汇集通用能力、指令跟随及评测基准的安全部分，每模型约206K；分源、划分与许可在附录D.2。不安全类为BeaverTails、ToxiGen、HarmBench（八种攻击算法汇集）。主表AUROC与TPR@5%FPR是三类平均，5个随机种子。
• 基线：全局Mahalanobis、GMM、One-Class SVM、Deep SVDD、CVDD；监督线性探针BCE只作参照。
• 指标：AUROC（越高越好）与TPR@5%FPR。Table 1的Local列标记是否在稀疏局部子空间上打分。
• 论文未报告：各类别的单独样本量、评审模型、以及主实验的具体k与Nc（消融在附录F、G）。

主结果

Table 1的三类平均AUROC（5 seeds，±为文中标准差）：

表格较宽，可左右滑动

方法	Ministral 8B	LLaMA3 8B	Qwen3 8B	GPT-oss 20B	Gemma 4 26B	Qwen 1.5B
BCE（监督）	0.993	0.972	0.993	0.990	0.983	0.982
FREQMASK-KM	0.914	0.937	0.915	0.900	0.856	0.762
LEARNEDMASK-LORA	0.896	0.912	0.917	0.919	0.904	0.794
Mahalanobis	0.892	0.913	0.914	0.843	0.901	0.756
GMM	0.881	0.906	0.942	0.925	0.861	0.780
One-Class SVM	0.829	0.841	0.885	0.850	0.886	0.756
Deep SVDD	0.389	0.475	0.389	0.535	0.665	0.507
CVDD	0.712	0.665	0.705	0.706	0.672	0.545

• 作者解读：局部稀疏实例在4个模型上是最好的无监督方法，其余为次优且AUROC差距在0.025以内。FREQMASK-KM在Ministral与LLaMA3上最好；Qwen3与GPT-oss上GMM略高（0.942、0.925）；Gemma上LEARNEDMASK-LORA最好（0.904），Mahalanobis为0.901。≥8B模型上与监督探针仍差约0.04–0.08 AUROC，作者将其读作放弃“预先知道不安全分布”的代价。
• TPR@5%FPR更不统一：最优方法随模型变化：Ministral上One-Class SVM为0.694，LLaMA3上FREQMASK-KM为0.457，Qwen3与GPT-oss上GMM为0.639与0.725，Gemma上LEARNEDMASK-LORA为0.642。LEARNEDMASK-LORA在每个≥8B模型上接近该模型最优。Qwen 1.5B上所有无监督方法AUROC低于0.80，且TPR@5%FPR低；作者认为表示质量限制了无监督检测能恢复的信息。Deep SVDD与CVDD明显落后。
• 标准差：FREQMASK-KM的AUROC标准差在Table 1中为0.000；Deep SVDD的标准差较大，例如Ministral上0.389±0.152。

设计分解与掩码

• 测了什么：Table 2把方法按聚类、稀疏化、打分分解，AUROC为五个≥8B模型、5个种子上Table 1均值。激活空间的CVDD为0.692；换成SAE空间后为0.806。FREQMASK-KM（全局top-k，ℓ1到质心）0.904，LEARNEDMASK-LORA（每簇学习掩码，SAE残差）0.909，与Mahalanobis 0.893、GMM 0.903同档。每簇top-k的Local FREQMASK-KM为0.790，低于全局掩码版本。
• 作者解读：从激活空间到SAE空间贡献了很大一部分增益；进入SAE后，两种局部子空间构造尽管做法不同，AUROC落在同一档。作者认为若有效性质是局部低维，则合理取出该子空间的做法都应有效；哪个实例领先取决于模型（Table 1：FREQMASK-KM在Ministral、LLaMA3上分别高0.018、0.025，Qwen3上两者持平，LEARNEDMASK-LORA在GPT-oss、Gemma上高0.019、0.048）。
• 掩码开关（Table 3）：关掉掩码并只为无掩码条件重扫Nc后，Qwen 1.5B上无掩码0.776、有掩码0.762（Δ=−0.014）；LLaMA3两者均为0.937；GPT-oss从0.781到0.900（+0.119）；Gemma从0.766到0.856（+0.090）。作者称掩码在五个≥8B模型上匹配或超过无掩码的最好结果，且差距随模型变大而变大。

局部有效维度与校准

• d90（Figure 3）：d90是解释90%方差所需的最少PCA成分数。LLaMA3-8B、Qwen3-8B、GPT-OSS-20B的每簇d90中位数为22、20、17.5；原始SAE空间为72、43、78；全局掩码子空间为51、41、18。环境维d2=16,384。附录Figure 15中Qwen2-1.5B与Ministral-8B的每簇中位数为36与40.5。Gemma-4-26B因所选掩码只有k=25而未画入Figure 3。作者称每簇掩码不是全局掩码的子集。
• 簇占用（Figure 4，LLaMA3-8B，100个簇）：作者称留出安全数据的占用接近训练分布；不安全数据与良性OOD（HellaSwag、HH-RLHF-helpful）各自集中在少数簇，且彼此所在簇不同。图中纵轴为share，横轴为Cluster index。
• 1%校准（Table 4）：用1%不安全数据与1%良性OOD做每簇仿射校准。负例为留出的分布内安全点加上训练中没有的HellaSwag与HH-RLHF-helpful；正例为留出的不安全点。未校准FREQMASK-KM的AUROC为0.265到0.750；校准后FREQMASK-KM为0.986、0.973、0.978、0.985、0.969、0.962（按Qwen2-1.5B到Gemma-4-26B），LEARNEDMASK-LORA为0.985、0.990、0.987、0.981、0.982、0.976。作者称局部低维子空间上的方法达到接近最优，且良性假阳率从0.12–0.92降到至多0.041（Tables 4与6）。同表监督BCE为0.977、0.981、0.967、0.975、0.975、0.953。

其他消融与分析

• 附录F、G按阶段改变FREQMASK-KM与LEARNEDMASK-LORA：聚类度量、Nc、掩码大小k、掩码开关、打分规则、簇内安全与不安全激活支撑的重叠、提取层、SAE稀疏惩罚；正文未给出这些扫描的具体数字。
• Figure 2（LLaMA3-8B）以AUROC对FPR@95比较FREQMASK-KM与单类基线及监督参照；图注轴为AUROC（纵，约0.65–1.00）与FPR@95（横，0–1），具体端点数值以Table 1为准，因图中未逐点标出。
• 负面结果：Local FREQMASK-KM的五模型平均AUROC 0.790低于全局FREQMASK-KM的0.904（Table 2）；Qwen 1.5B上掩码使AUROC从0.776降到0.762（Table 3）；Table 4中CVDD校准后在Gemma上为0.317，低于其未在该列给出的其他模型。

作者指出的局限与后续方向

• 监督假设的覆盖：Section 5称监督方法仅在标签覆盖部署时的不安全分布时有效，而跨安全子领域的证据表明这种覆盖很少完整。单类设定用≥8B模型上相对监督探针0.04–0.08的AUROC差距，换取不依赖该假设。
• 对安全分布敏感：Section 5称无监督检测器按安全训练表示打典型性分，训练中代表性不足的良性区域即使安全也可能得高分（引Ruff等，2018）。监督检测器同样敏感于良性偏移，并且还依赖不安全训练分布在部署时仍然有代表性；作者认为后者更难满足，因为不安全输入开放且可能随新攻击策略对抗演化。
• 校准的经验前提：Section 5称可用少量标签做每簇仿射校正，依赖于不安全与新良性数据集中在少数簇、安全数据更均匀这一经验观察（Figure 4）。附录B给出其余细节。
• 理论不回答可分性：Section 6称，估准安全几何与“该几何是否保留区分安全/不安全的信息”是两个问题；后者依赖不安全分布，不能只由局部稀疏回答。Theorem 1不界定SAE训练，也不界定聚类误差对维数的依赖。附录I.8称，对固定q>0，估计误差趋于零不必推出安全分类误差趋于零。
• 误用风险：附录A称对安全分布的敏感性会在与训练集不同的合法良性输入上产生假阳；操作者若放宽阈值，会同时降低对真正不安全输入的检测。作者称若单独使用这类检测器、而不做Section 5的校准或可比的良性偏移防护，结果可能比一种监督流程更差（该段在所给文本中截断）。
• 论文未把代码发布写成已完成事项：脚注称代码位于项目仓库；正文未在Limitations中把开源列为未来工作。

实验覆盖范围

• 被测模型为Qwen2-1.5B、Ministral-8B、LLaMA3-8B、Qwen3-8B、GPT-oss-20B、Gemma-4-26B共6个指令微调模型，激活取各模型一个指定中间层的最后一个回复token（Section 4.1）。
• 主指标是BeaverTails、ToxiGen、HarmBench三类的平均AUROC与TPR@5%FPR，5个随机种子（Table 1）；论文未在正文给出每一类的单独AUROC。
• 无监督基线为Mahalanobis、GMM、One-Class SVM、Deep SVDD、CVDD；监督参照为BCE线性探针。Table 2的均值只对五个≥8B模型计算。
• 校准实验使用1%不安全数据与1%良性OOD，负例含留出安全点、HellaSwag与HH-RLHF-helpful（Table 4，Section 5）；良性假阳率的区间写在正文并指向Tables 4与6。
• d90报告了LLaMA3-8B、Qwen3-8B、GPT-OSS-20B（Figure 3）以及Qwen2-1.5B、Ministral-8B（附录E，Figure 15）；Gemma因k=25未纳入Figure 3。论文未报告主实验的查询次数或人工一致性。

作者给出一个只用安全数据的LLM安全异常检测框架：在SAE概念空间里按簇取稀疏子空间再打分。

• 问题：监督分类器要有不安全标签，而新越狱、未见伤害和未见领域会改变不安全分布。高维激活又使普通异常检测难以统计上可行。作者依据线性表示假设，认为邻近点共享少量激活特征，检测可以在局部低维块上进行。
• 方法：四阶段为SAE嵌入、K-means、局部掩码、打分。FREQMASK-KM用全局激活频率的top-k掩码和到簇质心的ℓ1距离，簇上不训练。LEARNEDMASK-LORA为每簇学习掩码并加低秩适配，用重构残差打分。Section 6对FREQMASK-KM证明：在局部稀疏与频率间隙条件下，安全分布上与总体检测器的不一致随样本量下降，且掩码恢复对概念维数只对数依赖。
• 主结果：Table 1中，FREQMASK-KM在LLaMA3-8B上AUROC 0.937、在Ministral-8B上0.914；GMM在Qwen3-8B与GPT-oss-20B上为0.942与0.925，局部方法落后不超过0.025。Gemma上LEARNEDMASK-LORA为0.904。五个≥8B模型的平均上，SAE空间CVDD为0.806，FREQMASK-KM与LEARNEDMASK-LORA为0.904与0.909（Table 2）。Qwen 1.5B上无监督方法均低于0.80。
• 校准与维度：允许使用1%不安全数据与1%良性OOD做每簇仿射校准后，FREQMASK-KM的AUROC从0.265–0.750升到0.962–0.990（Table 4）。Figure 3中三个模型的每簇d90中位数为22、20、17.5，相对d2=16,384很小。
• 作者结论：局部稀疏是LLM表示上单类检测可行的结构原因；成功方法必须显式或通过归纳偏置利用它。与监督探针相差约0.04–0.08 AUROC，被作者看作不预先假设不安全分布的代价。检测仍随安全训练集变化，欠表示的良性输入可能被标成异常，少量簇级校准可以修正这一敏感性。