Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
Defenses and guardrails · Papers
Found 13 papers提出 Safety-Aware Pruning,缓解视觉 token 剪枝放大的多模态越狱
- Published
- Evaluated models
- LLaVA-1.5-7B
Abstract剪枝去掉背景 token 后注意力塌向恶意前景。
这篇工作评估视觉 token 剪枝如何改变 VLM 在多模态越狱下的行为,并给出推理时防御 SAP。
提出 EmoRSS,推理时在拒绝子空间反向抵消情绪激活偏移以缓解过度拒答
- Published
- Evaluated models
- Llama-3.1-8B-it, Qwen3-8B
提出 Prefix Steering,以短前缀激活引导控制行为并保住能力
- Published
- Evaluated models
- OLMo 3 7B, OLMo 3 32B, Qwen3 1.7B and others4
Abstract短前缀 steering 用已有方向做短暂干预。
本文用注意力层匹配连接提示词与激活干预,并把干预改成从末提示词 token 开始的短前缀。
提出生成时防御 SENTINEL,匹配输入输出以抽出越狱意图并停写
- Published
- Evaluated models
- Llama2-7B, Llama3-8B, Mistral-7B-v0.2 and others6
提出 DNAlign,在不改权重的推理期用零空间约束控制信号做安全对齐
- Published
- Evaluated models
- Vicuna-7B, Qwen-7B
AbstractDNAlign 用零空间约束的推理期控制做安全对齐,Table I 平均奖励高于所列基线。
DNAlign 是一个不改 LLM 参数的安全对齐框架,用来在推理时压低有害输出,并减少对中性知识所支持的流畅、事实回答的改动。
提出 HeadEdit,经冻结 unembedding 做随输入变化的 logit 校正
- Published
- Evaluated models
- Qwen3-4B, Gemma-3-4B-IT, Llama-3.2-3B-Instruct and others4
Abstract低秩 unembedding 校正抬高九个设置的总体准确率,并可部分预测 DPO 更新。
HeadEdit 是一种不更新参数的行为校准方法,作用点是冻结的 unembedding,而不是中间层残差或新的梯度优化。
提出 Constitutional adapters,蒸馏宪法行为以缓解越狱与失准
- Published
- Evaluated models
- Qwen3.5-4B, Llama-3.1-8B-Instruct, Gemma-4-E4B and others4
Abstract差分宪法适配器在长上下文和多轮上更稳,并可按 α 换取遵从。
提出 CAM-Steer,推理时按多类别风险引导隐藏状态以降低有害回复
- Published
- Evaluated models
- Qwen3-8B, Llama-3.1-8B-Instruct, Gemma-2-9B-IT
提出 AEGIS,用中层内部信号选择性激活后层适配器拦截音频越狱
- Published
- Evaluated models
- Qwen2-Audio-7B, VITA-1.5, Ultravox v0.5 and others6
提出 SPARK,在预填充阶段修复多模态 KV 记忆以防御视觉语言模型越狱
- Published
- Evaluated models
- LLaVA-OneVision-7B, Chameleon-7B, Qwen2-VL-7B and others4
提出 REINS,在 SAE 空间抑制有害延续并增强拒答
- Published
- Evaluated models
- Qwen3.5-4B-Base, Qwen3.5-2B-Base, Gemma-3-1B-IT
AbstractREINS 分角色抑制有害延续并增强拒答。
REINS 是一种推理时 SAE 安全转向方法,并配有用于上下文伪装的基准 GUISE。
分析续写触发越狱的注意力头机制并提出 HCS
- Published
- Evaluated models
- LLaMA-2-7B-Chat, Qwen2.5-7B-Instruct
Abstract作者称越狱来自两类头竞争,HCS 加蒸馏可把该竞争用于推理时干预。
作者用注意力头机制分析 continuation-triggered jailbreak:同一有害指令下,把 continuation 后缀从指令后面挪到提示词边界外,模型更容易顺着后缀继续生成。
提出推理时防御 SafeThink,监视思维链并在低于阈值时注入转向前缀
- Published
- Evaluated models
- R1-Onevision-7B, OpenVLThinker-7B, VLAA-Thinker-7B and others6
You have reached the end