NeuroFilter: Activation-value guardrails for privacy-conscious LLM agents

智能体即使已获授权访问敏感上下文，仍可能向不该听的对象披露；文本层监控又贵、又难拦住跨轮意图。

• 场景：作者认为个人助理、金融、法律、医疗等智能体的效用依赖日历、邮件、组织记录和病历。不当披露可触及 GDPR、HIPAA、CCPA 一类监管，或带来保费、承保与信贷等下游损害。
• 现有不足：作者认为按字符串是否像敏感信息的 PHI/PII 检测，与上下文完整性不对齐：同一内容对医生可允许、对保险代表不可允许。LLM 监督器、防火墙和思维链自评估要额外调用模型，且对多轮抽取和 mosaic 攻击脆弱。
• 观察：作者称违规意图在中间层激活中线性可分，且方向随隐私情境变化，不是单一的有害性方向。
• 提出：NeuroFilter 在激活上做输入过滤。单轮用投影分数，多轮用 activation velocity 跟踪累积漂移。作者称这是沿对话轨迹探测模型内部的首次系统研究。
• 威胁模型：
  • 目标：从信息画像 I 中取出攻击者未知的敏感属性值，并最大化绕过率 r_bypass，即全程未被过滤器标记的对抗轨迹比例。
  • 知识：对智能体 A 为 black-box。不观察模型内部、系统提示词 S 或检索上下文 C。
  • 能力：自适应选择文本提示词，观察回复，并塑造历史 H_t。作者把绕过输入过滤视为后续诱导泄露的必要条件。
  • 受害系统与攻击：有状态 LLM 智能体。三类攻击为 single-turn jailbreaks、conversational manipulation、mosaic attacks（Figure 1）。标签看相对 ψ 的意图，未真正说出秘密也可算对抗。

论文把背景分成上下文隐私、越狱、现有防御和机制可解释性。

上下文完整性

• Nissenbaum（2004）：隐私是信息流是否符合发送者、接收者、数据主体、渠道和传输原则。
• Mireshghallah 等（2024）、Shao 等（PrivacyLens）：论文称模型可以答对孤立的“可否披露”，仍会在交互里说出情境敏感信息。
• Bagdasaryan 等（2024）、Das 等（2025）、Abdelnabi 等（2025）：即便写了隐私指令，单轮提示和可自适应转向的多轮对话仍能引出不当披露。

越狱与多轮攻击

• SORRY-Bench、JailbreakBench、AutoDAN：研究如何引出不被允许的内容。AutoDAN 用遗传算法、按模型损失改写单轮提示词。
• 多轮红队：Perez 等（2022）与 Crescendo（Russinovich 等）利用反馈、长程规划和思维链式分解，诱导有害行为或逐步套取信息。
• mosaic：Glukhov 等（2024）与 Fractured SORRY-Bench 把恶意目标拆成表面良性的子提示，聚合后重建被禁止的回复，从而绕过逐轮语义审查。

上下文隐私防御

• 监督与防火墙：Ghalebikesabi 等用 LLM 监督规范；Abdelnabi 等做动态输入/输出防火墙；Bagdasaryan 等做上下文限制和数据最小化。
• 输出侧：另有情境感知的输出脱敏或过滤。作者写明它们不是输入过滤器，故不作为本文基线。
• 作者的批评：这些防御计算开销大，并且对把意图散到多轮的操纵和 mosaic 仍然脆弱。

机制可解释性

• 线性表征与叠加：Elhage 等（2022）、Park 等（2024）认为许多概念对应近似线性方向，多个原子特征可叠在重叠子空间。
• 安全相关方向：已有工作在激活或注意力中定位概念，把 harmfulness 与 refusal 分成不同线性方向，或探测高风险交互。
• 作者的区别：这些工作把 harm 当成单一静态概念，且做静态分类。作者认为这与依赖关系和动态因素的上下文隐私不对齐。

基线与基准：对照为 SAE 探针、Llama Guard 4，以及 agentic network firewalls。数据为 CMPL、PrivacyLens、Fractured SORRY-Bench；有害性探针用 WildJailbreak，SAE 语料用 TinyStories。

作者把违规看成依赖情境、单条提示词或回复里可能看不见、但会显现在跨轮内部轨迹中的对抗目标，并据此做低时延激活探针，而不是再调用一个 LLM 监督器。作者称把线性探针用于多轮攻击过滤是此前没有的扩展。

NeuroFilter 不判断表面文字像不像敏感信息，而是在指定层的缓存激活上估计是否存在违反隐私指令 ψ 的意图，并在生成回复前截断。

问题设定

• 交互：智能体 A 由模型 M 实现，共 T 轮。回复取决于系统提示词 S、检索上下文 C 和历史 H_{t-1}。
• 隐私指令：信息画像 I 含属性 a_i 与取值 v_i。ψ(a, ρ_U)=1 表示向角色 ρ_U 披露 a 在情境上适当，为 0 则不适当。作者假设智能体能获知或推断角色。ψ=0 时仍揭示 v_i 即为违规。
• 过滤器：ϕ_ℓ 读层 ℓ 的激活序列，输出 1 表示预测有违规意图。默认取该层、提示词最后一个 token 的残差流。
• 目标：在泄露轮 t_leak 之前尽早标记对抗轨迹，且良性轨迹不被标记。标签看意图，不要求无防御时真的说出秘密。

单轮探针

• 假设：作者依据线性表征假设，把违规意图视为某层激活里近似线性可分的二值概念。
• 训练：每层用激活和 0/1 标签拟合逻辑回归，最小化标准 logistic loss。权重 w_ℓ 是分离超平面的法向量。附录 B.2 写明用 scikit-learn 默认 lbfgs、最多 1000 次迭代、类别权重平衡。Figure 2 左为训练流程。
• 打分：投影分数为 s_ℓ(p)=⟨ a_ℓ(p), w_ℓ⟩。不低于阈值 τ 则判为恶意并中止生成。
• 层与阈值：默认 5 折交叉验证，每折留出 20% 训练数据。多轮的层和阈值都由此选出。

多轮 activation velocity

• 动机：作者称单轮探针能挡显式越狱，但 mosaic 和对话操纵里，单轮可以看起来良性，整段对话却滑向违规。
• 速度：把到第 t 轮的提示历史拼起来再取激活。速度是相邻激活之差除以 Δt，本文 Δt=1。
• 累积漂移：再在速度向量上训练线性探针，权重记为 w_vel。累积统计为 C_t=∑_k=1^t⟨ v_k^ℓ, w_vel^ℓ⟩。C_t 超过 τ 就标记该轨迹。作者的解释是：单点激活或仍像良性，位移方向可以露出持续推向违规的力。

推理部署

1. Cache：对用户提示做前向，截取预定层激活，供跨轮使用。层由验证选出。
2. Compute：单轮算投影；多轮把本轮激活变化累进轨迹统计。作者称每轮额外开销为 O(d)，d 为模型维度。
3. Filter：分数超过 τ 则中止生成并返回预设拒绝；否则继续生成回复。流程见 Figure 2 右。

判定口径

• 安全：对抗轨迹的首次标记不晚于泄露。mosaic 需要全部子回复才能拼出原请求，作者把 t_leak 设为轨迹长度 T。
• 效用：良性轨迹不被标记，目标假阳性率为 0。
• 对抗成功：攻击者最大化全程未被标记的轨迹比例 r_bypass。评测同时报告标记是否早于泄露，以及良性轨迹上的假阳性。

实验设置

• 智能体模型：主实验为 GPT-OSS 20B（MXFP4）、Qwen 2.5 32B Instruct 与 Llama 3.3 70B（后两者 NF4）。未另说明时结果来自 Qwen 2.5 32B Instruct。消融另用 Qwen 2.5 7B Instruct、7B、7B Coder Instruct、14B 与 14B Instruct。
• 单轮数据：CMPL Insurance 16000 组、Scheduling 40000 组。AutoDAN 对每个敏感属性生成 10 条恶意提示，Insurance 4 个属性、Scheduling 10 个，配 200 个信息画像和等量、风格匹配的良性提示，70:30 划分。PrivacyLens 由 Gemini 2.5 Pro 各生成 100 条恶意与良性提示，配 493 个 vignette，共 98600 组，同样 70:30。
• 多轮数据：CMPL 用文中框架生成 40 条对抗与良性轨迹、每条 20 轮（合计 800 轮），Insurance 与 Scheduling 均 50:50。Fractured SORRY-Bench 为攻击与良性各 450 条，60:40。另用 GPT 4o Mini 经 PyRIT 打 Crescendo。GPT 4o Mini 也用于 CMPL Insurance 的多轮攻击生成。
• 基线：单轮比 SAE 与 Llama Guard 4；多轮比 agentic network firewalls 与 Llama Guard 4。作者未把输出过滤、脱敏和数据最小化当作基线。
• 指标与阈值：测试准确率、r_bypass、效用代价 UT（良性被标成恶意的比例），以及投影分数或累积漂移相对决策边界的距离。另报 FLOPs、时延和内存。多轮的层与 τ 默认由 5 折交叉验证选取；Figure 7 另报 τ=0。
• 其他设置：单轮 AutoDAN 使用模型损失。作者称这强于第 3.3 节的 black-box。CMPL 的安全指令见附录 B.1；PrivacyLens 的系统提示不含安全指令。

主结果

下表据 Table 1（Qwen 2.5 Instruct，CMPL Insurance）。单轮是 7B，多轮是 32B。GPT-OSS 20B 与 Llama 3.3 70B 的 r_bypass 未在该表报告。

Swipe horizontally to read the table

设置	过滤器	r_bypass	UT
单轮，7B	SAE	0%	0.0054%
单轮，7B	Llama Guard	100%	0%
单轮，7B	NeuroFilter	0%	0%
多轮，32B	Agentic Network Firewall	2.5%	100%
多轮，32B	Llama Guard	100%	0%
多轮，32B	NeuroFilter	0%	0.05%

• 作者解读：作者称线性探针在安全与效用上可比或好于这些基线。正文写多轮 NeuroFilter 的 ASR 为 0%、良性效用保持 100%；Table 1 的 UT 为 0.05%，两处口径不完全相同。
• 防火墙：作者称只有 2.5% 的对抗轨迹绕过并随后违规，但数据防火墙抽掉了完成任务所需属性，良性任务完成率从 100% 降到 0%。
• Llama Guard：即便加入上下文隐私指令和安全说明，仍把 CMPL Insurance 的不当提示或轨迹标成 safe。作者将其归到按一般 harm 训练、未按情境规范判定。

单轮行为与情境依赖

• 三模型：作者称 Figure 4 里，CMPL Insurance 单轮探针在 GPT-OSS 20B、Qwen 2.5 32B Instruct、Llama 3.3 70B 上，除最初几层外测试准确率接近或达到 100%，投影分数差大体随后层增大。Scheduling 与 PrivacyLens 见附录 Figure 13、14；作者称多个层达到 100%。
• 有害性探针不迁移：WildJailbreak 上各 2000 条攻击与良性提示训出的探针，用到 GPT-OSS 20B 的 CMPL Insurance 单轮时，作者称若干层接近随机、后层尤甚，测试准确率从未超过 65%（Figure 5 左、Figure 6）。
• 方向随情境变：Qwen 2.5 32B Instruct 上，Insurance 与 Scheduling 的违规方向被作者称为各层近乎正交。Figure 5 标注 Average Similarity 为 -0.00，作者称全层平均余弦相似度为 0。禁止属性探针叠加后，作者称后层大多探测准确率超过 90%（Figure 5 右）。

多轮轨迹与攻击迁移

• CMPL：Figure 7 中，交叉验证阈值与 τ=0 下，CMPL 测试轨迹的攻击都在前 3 轮内被检出；良性标记率低，例外是 GPT-OSS 20B 第 2 轮为 25%。
• Crescendo：同一 CMPL 探针面对 GPT 4o Mini 的 Crescendo 时，交叉验证阈值偏保守：20 轮后 GPT-OSS 20B 最多有 55% 攻击轨迹未检出，良性标记率为 0。τ=0 时，全部 Crescendo 攻击在 10 轮内被标出；GPT-OSS 20B 有一条良性轨迹的标记从前 4 轮延到前 7 轮。作者认为按分布选阈值可能过拟合，τ=0 更一般。论文未报告 Crescendo 轨迹条数。
• mosaic：Fractured SORRY-Bench 上，三模型在 3 轮后探测准确率大于 80%，最高大于 90%（Figure 8）。跨轮平均的 5 折结果为 GPT-OSS-20B 87.1%±0.7%、Qwen2.5-32B 86.8%±2.4%、Llama-3.3-70B 88.8%±1.0%。附录 Figure 16：CMPL Scheduling 在三模型上于 3 至 5 轮后达到 100% 探测准确率。作者称该基准目标异质，单探针仍得到上述准确率，并建议按违规类型分别训练。

计算开销

Table 2：单轮 7B 上，SAE 训练 10.07 PFLOPs，相对 NeuroFilter 的 2.47 GFLOPs，因子为 4.08×10^6；二者推理均为 7.17 KFLOPs、约 0.1 µs、7.0 KiB。Llama Guard 单轮推理 2.67 TFLOPs、0.38 s、1.93 GB；多轮推理时延 0.52 s。多轮 32B 上，防火墙训练 1.13 PFLOPs（相对因子 2.70×10^5），推理相对因子 9.16×10^9，时延 2–5 s，内存大于 60 GB；NeuroFilter 推理 10.24 KFLOPs、3.22 ns、10.0 KiB（L1）。正文另写防火墙训练为多轮探针的 4.08×10^6 倍；该数字与表中单轮 SAE 的相对因子相同，与防火墙行的 2.70×10^5 不一致，此处以表为准。Llama Guard 的训练 FLOPs 论文未给出；作者认为其远高于探针。

其他消融与分析

• 量化（Qwen 2.5 32B，CMPL Insurance，NF4、8 bit、BF16）：除最早几层外测试准确率大于 90%，中间层约 16–47 为 100%（Figure 9）。
• 微调：Qwen 2.5 7B 的探针用于 7B Instruct 时，作者称不能完全沿用，多数层准确率下降、投影分离更吵，部分后层仍高（Figure 10）。7B 到 7B Coder、14B 到 14B Instruct 见附录 Figure 17。
• ROT3：要求回复做可逆字符变换后，除最早几层外准确率仍高，相对 Figure 4 置信度略低（Figure 15，Qwen 2.5 32B）。作者称该设置对输出语义审查稳健。
• 训练规模（Fractured SORRY-Bench，GPT-OSS 20B，τ=0，测试集固定为 180 条）：150 条训练轨迹相对 250 条，除第 2、7 轮外测试准确率降幅不超过 2%；100 条时降幅不超过 6%（Figure 11）。
• SAE：7B、CMPL Insurance 单轮，第 21 层测试准确率 99.58%。作者称同设置线性探针在 90%–100%，并选该 SAE 做 Table 1。SAE 在 TinyStories 上训练，层为 14–27，隐藏维是输入输出的 4 倍。
• 泛化曲线：附录 C.1 称 CMPL Insurance 静态探针（GPT-OSS 第 24 层、Qwen 第 40 层）及 Fractured SORRY-Bench 上 GPT-OSS 的训练与测试损失间隙小，未见过拟合迹象。

作者指出的局限与后续方向

• 迁移：附录 A.1 写，探针依赖特定模型状态；微调变体上置信度和准确率下降，模型更新后需重新标定，或用迁移学习适配。
• 架构：同一节写，评测只用 decoder-only，原因是这类架构普遍，且缺少适于对话基准的可比 encoder-decoder 模型。作者称框架本身不绑定该架构。
• 长程策略：附录 A.1 写，对隐蔽、长期对抗策略的检测存在操作上的约束。
• 规范边界：作为监督方法，探针依赖训练时定义的隐私规范，并非用来发现该威胁模型之外的违规；部署者须自行写全隐私指令（附录 A.1）。
• 异质目标：探针针对单一或紧密相关的 harm 概念，在 Fractured SORRY-Bench 这类目标差异大的攻击上可能变差（附录 A.1）。
• 后续：作者计划按威胁类别分别训练探针并集成，使用比本文更大、且能做非平凡划分的轨迹集，做成可按情境开关的多头过滤器；也可把未标记案例交给输出护栏或 LLM 监督器（附录 A.1）。

实验覆盖范围

• 模型与精度：智能体包括 GPT-OSS 20B、Qwen 2.5 32B Instruct、Llama 3.3 70B，以及 Qwen 2.5 7B/14B 系列。主实验为 NF4 或 MXFP4；量化消融含 NF4、8 bit、BF16（Section 5、6.3）。
• 单轮规模：CMPL Insurance 16000 组、Scheduling 40000 组、PrivacyLens 98600 组，均为 70:30。AutoDAN 生成使用模型损失（Section 5）。
• 多轮规模：CMPL 为 40 条轨迹、每条 20 轮（合计 800 轮），Insurance 与 Scheduling 均 50:50。Fractured SORRY-Bench 为攻击与良性各 450 条、60:40。Crescendo 由 GPT 4o Mini 生成；论文未报告其轨迹条数（Section 5、6.2.3）。
• 对照：安全与效用对照为 SAE、Llama Guard 4 和 agentic network firewalls。作者写明输出过滤与脱敏不在比较范围内（Section 5、A.2）。
• 选择协议：层与阈值默认 5 折交叉验证，每折留出 20% 训练数据。Fractured SORRY-Bench 给出三模型跨折均值和标准差（Section 5、6.2.3）。

NeuroFilter 是给有状态 LLM 智能体用的推理时隐私输入过滤器，按上下文完整性而不是词面敏感性来拦披露。

• 问题：智能体要读病历、日程等特权上下文，但同一事实对医生可说、对保险代表不可说。作者认为再加一个 LLM 监控既贵，也挡不住单轮看起来良性、多轮才露出意图的操纵和 mosaic。
• 做法：在指定层、默认最后一个 prompt token 的残差流上训练逻辑回归。单轮看与探针权重的投影；多轮用相邻激活差定义 activation velocity，再累加到违规方向上的漂移，超过 τ 就停生成。层和 τ 由 5 折交叉验证选择。
• 主结果：Table 1 的 CMPL Insurance 上，Qwen 2.5 7B 单轮 NeuroFilter 的 r_bypass 与 UT 均为 0%；32B 多轮 r_bypass 为 0%、UT 为 0.05%。同表 Llama Guard 的 r_bypass 为 100%；防火墙多轮 r_bypass 为 2.5%、UT 为 100%。正文称防火墙把良性任务完成率从 100% 降到 0%。
• 其他结果：作者称三个主模型在 CMPL 单轮的后层准确率接近或达到 100%。有害性探针在 GPT-OSS 20B 上从未超过 65%。CMPL 多轮攻击在前 3 轮内被检出。交叉验证阈值下，Crescendo 在 20 轮后于 GPT-OSS 20B 最多 55% 未检出；τ=0 时 10 轮内全部标出。Insurance 与 Scheduling 的违规方向，作者称平均余弦相似度为 0。
• 作者结论：作者认为违规方向依赖情境，可由属性探针叠加来组装；activation velocity 把探针从静态单轮扩到多轮。作者同时指出探针要随微调重做，且只覆盖训练时写明的规范。