防御arXiv 2610.10655
Nullify:面向 LLM 遗忘的零空间激活引导免训练方法
提出零空间激活引导 Nullify,免训练擦除指定记忆并保持效用
- arXiv
- 2610.10655
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama-2-7B-chat-hf、Qwen3-8B
提出零空间激活引导 Nullify,免训练擦除指定记忆并保持效用
提出 Persona Guardrail,强制客服智能体守住功能边界
Persona Guardrail 是客服向智能体的同步运行时防御:先写明功能边界,再决定放行或拦截,而不是只检测某一攻击类。
提出 SCALPEL,用对比 SAE 在表征层选择性遗忘特定事实
SCALPEL 是不改基座权重的表征层遗忘方法,面向与保留数据重叠的窄目标。
提出 ARIA,在冻结权重上用 SAE 做推理时遗忘门控
提出 Skill-as-API,隔离多智能体协作中的 skill 正文与系统提示词
Skill-as-API 是面向智能体软件工程的协调协议,用来在跨组织调用时把 skill 的代码和系统提示词留在所有者进程。作者针对三条威胁:经通道或命名空间抽取专有方法,用注入让被调用模型输出系统提示词,以及协作结束后权限继续保留。
提出 LeakGauge,用行为后缀的 prefill 对数概率检测上下文泄露
提出软提示防御 AREA,重锚定注意力以缓解系统提示泄露
作者研究真实 LLM 应用中的 system prompt 泄漏,并给出不改权重的缓解方法 AREA。
提出推理时框架 STaR,抑制大推理模型推理轨迹中的敏感内容
STaR在推理阶段约束大推理模型的整段 CoT,使指定 forget set 中的敏感内容不出现在中间步骤或最终答案里,且不更新参数。问题来自 LRM 会把敏感知识写进多步推理,而答案级遗忘在 ZeroThink、LessThink 等解码下仍可能泄漏。STaR 先判断查询是否相关并检索遗忘片段,再加安全前缀。