Study: Classification suffixes improve out-of-distribution malicious input detection with activation probes

要分清的是：用户轮后的分类后缀，能否在探针没见过的攻击上改善恶意输入检测，以及起作用的是分类格式还是点名的准则。

• 部署场景：作者称LLM智能体越来越多把激活探针当作运行时监控，读模型自己的隐藏状态，在行动前标出prompt injection、jailbreak与不安全请求。部署时面对的，是探针训练未见的攻击类型。
• 已有缺口：作者称Tillman and Mossing [2025]的任务指令能改善分布外监控，但指令全程带语义、机制未拆开，且只在一个闭源模型、单一数据集的有限任务内偏移上测过。
• 作者的拆分：起作用的是“诱导了一次分类”，还是“点名了某个准则”。
• 作者的做法：长度匹配的post-user后缀阶梯，在三个开源模型族、13个基准的strict LODO下比较；后缀走KV-cache fork，读完即回滚。
• 威胁模型：
  • 监控目标：行动前标出恶意输入，类型包括prompt injection、jailbreak与不安全请求。
  • 受害系统：把激活探针挂在自身前向上的LLM智能体；监控不另做一次独立前向。
  • 防御方控制：用户轮之后追加短指令，在后缀末读隐藏状态，再回滚KV cache，使对外生成与无后缀逐字节相同。
  • 偏移设定：strict leave-one-dataset-out。作者称每个报告数字都来自探针训练未见的基准。论文未写攻击者知识等级。

作者把工作放在prompted probing、探针架构和跨数据集评测上，并用后缀阶梯把格式与准则内容拆开。

Prompted probing与激活探针

• Tillman and Mossing [2025]：提出instruction-conditioned probing，在GPT-4o快照上比较linear、prompted与SAE probing的AUROC。本文作者称其改善了分布外安全监控，但指令未分解，泛化测试是单数据集上有限的任务内偏移。
• 从线性方向到多位置池化：Zou et al. [2023]把概念读成隐藏状态中的线性方向；Abdelnabi et al. [2025]、Zou et al. [2025]做单点注入检测。Kramár et al. [2026]在生产规模使用attention、multi-max、MLP等多位置池化。作者称这条线改的是探针架构，prompted probing作用在输入上，二者正交，本文把二者接上。

探针读的是概念还是表面特征

• Wang et al. [2025]：恶意输入探针分布内可到>98%，但仍会学触发词和指令模式，并且不能泛化。作者用内容无关的A/B对照回应“触发词”这一半：准则不含攻击词表时增益仍在。对“指令模式”这一半，作者称自己的后缀就是这样一种模式，因此不声称探针读到真实有害性。

格式重于标签内容

• Min et al. [2022]：从行为上显示in-context learning对标签内容大体不敏感（format over content），途径是示范。
• 提示格式：Sclar et al. [2024]、Mizrahi et al. [2024]讨论提示对格式敏感。作者把自己的结果说成安全探针上的激活层类比，并写明这是对有增益可谈的Llama、Gemma；Qwen上增益小，作者称接近天花板。

跨数据集评测、部署载体与基线

• Fomin [2026]：恶意分类器在LODO下相对分布内CV塌缩，作者转述其pooled AUC差距为8–16点，并转述SAE特征层面的数据集捷径并不能因果解释该差距；该工作不改变分类器如何被提示。本文作者采用其LODO，但问的是读出如何被提示，目标是更好的排序，不是消掉他们测到的分布内差距。
• David et al. [2026]：提出KV-fork的post-user后缀，把监控工作点放在低FPR而不是汇总AUROC，并显示通用后缀让读出对输入扰动更稳。作者称该工作没问分类指令额外带来什么。
• 基线与基准：对照是无后缀none，以及中性后缀reflect（作者称为更严的基线，因为任意后缀已经挪动读出位置）。基准是13个聊天安全、jailbreak与注入集，协议为LODO加共享良性池。作者没有重跑Tillman and Mossing的GPT-4o设置。

作者称本文坐在Tillman and Mossing的prompted-probing问题与David et al.的后缀载体、低FPR视角之间，用受控阶梯在LODO下把格式和内容分开。

做法是在用户轮后加一条短指令，用suffix ladder逐档隔离成分，经KV-cache fork在后缀末读激活，再把cache回滚。评测是strict LODO，不是分布内交叉验证。正文有四则后缀原文，此处不引。

监控对象与读取点

• 模型与层：Llama-3.1-8B、Qwen3.5-9B、Gemma-4-12B。作者称读在晚期层、约深度的2/3，因为恶意/良性在那里最线性可分。App. C给出Llama L31，Qwen L27/L31，Gemma L40/L47。
• 默认探针：冻结、标准化残差流上的单点L2-logistic，C=0.1，位置是后缀最后一个token。按LODO折训练，不更新骨干。
• 多位置读出：§4.2另评attention（全位置softmax加权）、multi-max（全位置top-k max）、MLP（逐位置MLP再池化），优化器为Adam，设定来自Kramár et al. [2026]的生产探针族。论文未给出k、学习率或步数。Table 14另有一列mean，Table 13未定义其拟合。

后缀阶梯

• 控制：各档共享同一句首，长度受控。作者称相邻比较只多一个成分，而不是比长度或“有没有额外文本”。主后缀intent与其内容无关对照A/B为29 token。
• none：无后缀基线。
• irrelevant：无关文本，隔离“随便追加文字是否够”。
• reflect：要求留意上文、不要求做决定，隔离“只注意是否够”。作者后来把它当作中性后缀。
• decide：用散文做二分类，隔离“没有输出模板的决定是否有用”。
• classify_grammar / classify_length：加上输出模板，准则与恶意无关，隔离“准则内容是否重要”。
• A/B：内容无关标签，隔离“准则里有没有内容”。
• intent：恶意/良性准则，即作者所说的“有意义”准则。

KV-cache fork

• 路径：用户轮之后追加后缀，探针在后缀末读，然后回滚cache。作者称对外生成与无后缀逐字节相同，监控搭在已有前向上。Figure 1画出serve+monitor、probe reads与revert KV后生成。
• 作者不重测的部分：这一载体来自David et al. [2026]。作者称本文不重新验证其开销与扰动稳健性，只问后缀该写什么。开销描述是29-token后缀和数MB的KV cache、没有第二次前向。
• 与prompt侧重写的差别：作者称接到已有探针上只是多追加一个后缀，架构与训练数据不变；服务与监控留在同一次前向。作者另称，相对单独的LLM monitor，复用该前向大约少六个数量级计算（引McKenzie et al., 2025）；本文未测墙钟。

数据与成功判定

• LODO：13个基准。每个含恶意数据集的恶意样本，对照同一个固定、平衡的共享良性池排序。9个集含恶意样本；4个良性来源集贡献该池。每集最多N=2000，更小的集用全部。
• 指标：主指标shared-benign AUC，无阈值，9个含恶意集都有定义。另报TPR@1% FPR。作者称这是部署护栏所在的严格工作点。
• 对照与汇总：差值相对none；作者称部署上更相关的对照是reflect。汇总是数据集等权平均，同时报逐数据集。数字均为LODO out-of-fold。没有LLM裁判。

实验设置

• 被测模型：Llama-3.1-8B、Qwen3.5-9B、Gemma-4-12B。§5写Llama L31为non-thinking，Qwen L31为thinking，Gemma为L47。Table 3未写层号。
• 基准与规模：13个集，strict LODO，每集最多N=2000，计数随模型略有出入（Table 12）。含恶意集的恶意条数：advbench 520、harmbench 400、wildjailbreak 2000、yanismiraoui 1034、deepset 203、jayavibhav 1004、mosscap 2000、qualifire 795、safeguard 620。良性来源10k_prompts_ranked、dolly_15k、openorca各至2000，softAge 1001，论文称这四个集贡献共享池。混合集的良性条数见同表，论文未写明是否并入该池。
• 探针：按LODO折，在冻结、标准化残差流上训练。单点为末位token的L2-logistic，C=0.1。多位置为attention、multi-max、MLP，以及Table 14的mean列；全位置，Adam。
• 后缀：none与中性reflect。单点阶梯还有irrelevant、decide、classify_grammar、classify_length、A/B、intent。多位置五档为irrelevant、reflect、classify:length、classify:A/B、classify:intent，不含decide与classify_grammar。
• 指标与检验：shared-benign AUC；TPR@1% FPR。汇总为数据集等权均值。检验有paired Wilcoxon、sign-test、TOST（±2点界）。没有LLM裁判或人工标注。论文未报告随机种子或重复次数。附录A称逐折校准偏移使推断单位是差值，不是绝对AUC。
• 缺行：Gemma的wildjailbreak没有reflect运行，表中为“–”。

主结果

据Table 3，∆ shared-benign AUC相对none（points；LODO，9个含恶意集等权）。*为paired Wilcoxon p<0.05。摘要写up to ∼4 AUC points；该表最大正值是Llama intent +3.82。

Swipe horizontally to read the table

后缀	Llama	Qwen	Gemma
irrelevant	−0.14	+0.07	+1.29*
reflect	−0.44	+0.76	+0.61
decide	+2.14	−0.25	+0.41
classify_grammar	+2.00	+0.85	+2.33
classify_length	−1.56	+1.22	+3.09*
A/B	+3.61*	+1.18	+2.71*
intent	+3.82*	+0.59	+3.23*

• 格式与准则：作者称排序增益来自分类格式。Llama上不要求分类的两档，作者标为n.s.；一旦分类，A/B与intent在shared-benign AUC上等价（TOST，±2点界；Llama p=0.004，Gemma p=0.005），作者称相差不到1个AUC点。classify_grammar与classify_length在Llama上方向相反。表注称Llama的空后缀档停在基线，Gemma对任意post-user后缀都有反应（位置搬迁）；Qwen接近天花板，intent一行无*。
• 22/27与例外：作者称分类后缀在22/27个model–dataset格为正（sign-test p<10−3）。intent低于none的格子：Llama jayavibhav 95.4→93.5；Qwen deepset 90.3→89.1、qualifire 98.3→97.9、mosscap 93.2→90.2；Gemma yanismiraoui 92.5→92.4（Table 5–7）。非饱和集抬得更多，如Llama deepset 80.0→90.9、harmbench 80.9→91.1。Figure 2图注称均值为9个LODO集上的∆，并写±SEM；本文未见误差棒的具体数值。
• 更严的基线：作者把reflect当作“分类额外带来什么”的基线。分类后缀赢38/52次逐数据集比较（作者称73%，sign-test p=6×10−4；Llama中位数+1.8，均值被mosscap拉大）。Llama上reflect把mosscap从82.8拉到63.4，同时抬高deepset/harmbench，汇总值因此互相抵消。

严格工作点TPR@1%

据Table 8，∆ TPR@FPR=1%相对none（pp）。Gemma的reflect是8个数据集的平均。

Swipe horizontally to read the table

后缀	Llama	Qwen	Gemma
reflect	−9.1	+4.7	+17.3
A/B	−8.4	+4.2	+17.6
intent	+19.6	+4.5	+24.2

• 准则在这里拉开：作者称intent在Llama上高于A/B与reflect（≈+28pp，9/9，单侧p=0.002），Gemma上intent比A/B高+6.6pp（9/9，p=0.002）。Qwen上intent相对A/B为+0.3pp，n.s.。作者把它写成方向性结果，不是校准过的幅度，并称主张是“内容增加精度”，不是“必须有内容”。正文写Gemma的reflect为+17pp，Table 8为+17.3。
• A/B在Llama的低FPR处为负：Table 9中harmbench由none的24.2到A/B的4.5、intent的44.8；advbench由77.7到36.5、94.4。若干Llama数据集上A/B低于none，intent则上升。
• 宏ROC刻度不同：Figure 7图注给出Llama面积intent 0.936、A/B 0.934、none 0.898、reflect 0.893，并称曲线在FPR=1%附近交叉。Figure 4图注称Qwen曲线挤在0.94基线附近，Gemma在面积上像Llama那样分开。这些是0–1刻度；Table 5印的是80.0这类数值。此处不做换算。作者称自己在1% FPR的召回与同期探针监控处于同一范围，并引用McKenzie et al. [2025]的43%（1% FPR）及其最佳LLM monitor的∼55%；该句不是本文表内数字。

多位置池化探针

据Table 4，相对none的shared-benign LODO AUC增益（pp），主层。格子为五档阶梯均值，括号内为最好的一档。末行论文标为mean，Table 13未定义其拟合。

Swipe horizontally to read the table

读出	Gemma-4 L47	Qwen3.5 L31	Llama-3.1 L31
attention	+1.7（+2.0）	+0.8（+1.3）	+2.3（+2.8）
multi-max	+4.5（+4.8）	+0.4（+0.7）	+2.0（+2.9）
MLP	+1.5（+1.9）	+0.9（+1.0）	+1.6（+1.8）
mean	+2.1（+2.4）	+0.6（+0.7）	+1.9（+2.2）

• 跨读出：作者称按阶梯平均，22/24个model×readout配置、110/120个readout×rung格优于none（92%），不需要先选档。作者称增益是表示的性质，不是某一个探针头。
• 池化上的格式/内容：作者称A/B与intent在池化读出上平均相差在0.3个AUC点以内（24格中23格在1点以内，Table 14）。
• 哪一档更高取决于读出：作者称length与reflect成为列内最高的次数多于intent（Table 14，bold为该列最高档）。作者称有效后缀之间的跨读出差≲1点；大的跳跃是无后缀到有后缀。Qwen主层基线作者称约95。作者称全网格里一个负配置是其第二层最饱和的attention读出；Table 14中Qwen L27 attention的none为96.8、intent为94.9。22/24优于none，作者未点名另一个未优于none的配置。

表示几何

• 留一攻击源：不拟合探针，用除一个攻击源外的恶意减良性均值差，看能否分开留出源与共享良性池。作者报告Gemma从无后缀0.74升到有后缀0.93；无后缀时各源方向的平均成对余弦为0.18，分类档为0.90。Llama、Qwen无后缀已是0.93与0.96，几乎不动（§4.1、App. C.2；App. C.2另写∼0.93）。
• t-SNE：Figure 5图注称，Gemma单点读出在无后缀时恶意与良性交织，分类后缀下分开。作者称t-SNE是示意，定量主张是迁移AUC。转换文本看不到点的位置，不能另作描述。
• 余量：Figure 3图注给出intent增益对无后缀AUC的pooled r=−0.78（p=1.4×10−6；Llama −0.77，Gemma −0.92，Qwen −0.29）。作者认为斜率有一部分是天花板，余量只部分解释Qwen的较小效应；Qwen的thinking模式是未拆开的混淆。

其他消融与分析

• 层（§5）：Gemma +3.1（L40）与+3.2（L47）；Qwen在L27与L31都接近零。Table 3的Gemma intent为+3.23，与§5的+3.2不是同一写法。Llama的L27只出现在Table 14，§5未给层间差。
• [email protected]（§5）：作者称它低估排序增益；Gemma为+1.8–2.8，对照AUC +2.7–3.2。
• 数据集内AUC（§5）：只存在于4个混合类基准；作者称它会把Qwen上的reflect误读成+2.4。
• Qwen相对none为6/9，作者称这不是零效应（§5）；该计数与Table 6的intent列一致。
• 作者称按基准定制内容会在体裁外过拟合；所附文本没有该实验的数值表。

作者指出的局限与后续方向

• 不把分类特异效应写到Qwen（§5）：相对none为6/9，作者称不是零；相对中性后缀只有4/9，精度增量平坦。
• 跨模型幅度与读出设置相混（§5）：Llama L31、non-thinking；Qwen L31、thinking；Gemma L47。
• 内容定制与概念（§5）：content-tailoring是初步结果（一个体裁、来源混淆）。作者不声称探针读到真实有害性，只称内容无关格式给出更可迁移的读出。
• 不把主张放在逐格检验上（§5）：n=9时双侧Wilcoxon的最小p为0.004。作者改靠22/27的sign-test、TPR@1%的单侧检验，以及A/B对intent的TOST。
• 聊天体裁以外是猜想（§6）：基准是聊天风格；未改变输入封装或体裁，包括单轮相对多轮、工具调用记录，以及表格或代码等重格式。作者称外推不是结果。
• 后续三件事（§6 Future work）：在分布外验证下搜索可迁移的攻击族内容，而不是按基准定制；测智能体工具调用与多轮；把同一后缀用到非安全目标（如任务类型），以区分“任意轴更好读”和“只是调动安全先验”。作者称几何只说明后缀在何处有帮助，没有解释内容无关的分类格式为何让表示更可分。

实验覆盖范围

• 被测模型为Llama-3.1-8B、Qwen3.5-9B、Gemma-4-12B共3个。读出层为Llama L31（Table 14另有L27）、Qwen L27/L31、Gemma L40/L47（App. C、§5）。
• 评测为13个基准的strict LODO。shared-benign AUC用9个含恶意集，每集最多N=2000，恶意条数见Table 12。4个良性来源集贡献共享池。
• 读出包括末位token线性探针，以及attention、multi-max、MLP和Table 14的mean列。多位置网格为三模型×两层×这些列（§4.2、Table 14）。
• 单点阶梯含none、irrelevant、reflect、decide、classify_grammar、classify_length、A/B、intent。多位置五档为irrelevant、reflect、classify:length、classify:A/B、classify:intent。
• 论文未报告随机种子、重复次数、top-k的k，以及后缀的墙钟耗时或查询次数；开销只写到29 token与数MB KV cache（§3.1）。判定来自探针分数的AUC与TPR，论文未报告LLM裁判或人工一致性。

用户轮后的分类后缀，被作者用作激活探针的分布外检测干预：排序看格式，低FPR精度看是否点名恶意/良性。

• 问题：智能体监控要在探针没见过的基准上，于行动前标出prompt injection、jailbreak与不安全请求。作者要拆开后缀里的分类格式和准则内容。
• 做法：Llama-3.1-8B、Qwen3.5-9B、Gemma-4-12B上，共享句首、长度受控的阶梯经KV-cache fork接到后缀末，读完回滚。13个基准strict LODO，恶意样本对共享良性池算AUC，另报TPR@1% FPR。
• 排序：Table 3中intent相对none为Llama +3.82、Gemma +3.23、Qwen +0.59；Llama的A/B为+3.61。作者称Llama/Gemma上二者等价（TOST，p≤0.005），并称22/27格为正。
• 精度：Table 8中Llama intent的∆TPR@1%为+19.6pp，A/B为−8.4pp。作者称Qwen上准则带来的精度增量平坦。Llama的reflect使mosscap从82.8降到63.4（Table 5）。
• 读出：多位置池化110/120格优于none。Gemma留一攻击源迁移AUC从0.74到0.93；Llama、Qwen无后缀已是0.93、0.96。作者称表现最好的后缀取决于读出，不是自动有效。
• 作者的结论：在有低FPR余量时点名真实类别，准则保持宽泛，因为按基准定制会在体裁外过拟合。聊天体裁以外的推广，作者写成猜想而不是结果。