Translation in progress Some entries still include text in the original language.
Oct 12 · Monday
Defenses and guardrails · Papers
Found 15 papers提出 Safety-Aware Pruning,缓解视觉 token 剪枝放大的多模态越狱
- Published
- Evaluated models
- LLaVA-1.5-7B
Abstract剪枝去掉背景 token 后注意力塌向恶意前景。
这篇工作评估视觉 token 剪枝如何改变 VLM 在多模态越狱下的行为,并给出推理时防御 SAP。
AI summary研究者提出一种轻量级路由 logits 安全检测器,在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号,在生成前判断多模态请求是否安全,且不修改模型参数或专家路由。
- Published
- Evaluated models
- Qwen3-VL-30B-A3B-Instruct, Kimi-VL-A3B-Instruct
Abstract读出而非操纵 router logits,可在不改模型的情况下降低两模型的组合式安全错误。
作者在两个指令微调 MoE VLM 上比较改模型与读路由。组合式风险按 HoliSafe 分成五类:图文各自可安全,合在一起才不安全,或不安全内容只在图像里。
提出融合定位拒答与能力保留的安全微调,补齐视觉定位输出的拒答缺口
- Published
- Evaluated models
- Claude Sonnet 4.6, Gemini 3.5 Flash, Molmo2-8B and others5
Abstract论文揭示了 VLM 定位安全落后于 VQA 的对齐断层,提出三成分微调方案有效弥合差距并保留定位能力,表征分析揭示了对齐机制。
提出审计感知遗忘框架 AVCE,从文本与视觉通路擦除扩散模型概念
- Published
- Evaluated models
- Stable Diffusion XL (SDXL), Stable Diffusion v1.5 (SD v1.5), Flux 1.0
AbstractAVCE 在审计锚点上改两条注意力通路。
AVCE 是面向扩散模型的概念擦除方法,要让擦除经得起绕过文本条件的潜空间审计,而不只是挡住对抗提示词。
提出 Intent-Privilege OPSD,对齐视觉语言模型在隐式风险下的安全与帮助性
- Published
- Evaluated models
- Qwen3-VL-4B-Instruct, LLaVA, LLaVA-1.5-7B and others4
Abstract作者报告训练期证据化意图蒸馏兼顾安全与帮助性,效果受标注质量和评测设置影响。
Intent-Privilege OPSD 是针对跨模态隐式风险的训练期安全—帮助性对齐方法。作者关注的不是直接拒绝敏感请求,而是按可观察图文证据保留正常帮助、约束有害信息。
构建 TriggerBench 并训练 ThinkingGuard,检测图文隐式风险
- Published
- Evaluated models
- ThinkingGuard(Qwen3-VL-8B-Instruct)
AbstractTriggerBench 隔离触发条件,ThinkingGuard 用分步归因在隐式风险检测上取得作者报告的较高平均分。
这篇工作研究多模态隐式风险检测:图文各自良性,风险只在关键元素与触发元素交互时出现。
提出 AEGIS,用中层内部信号选择性激活后层适配器拦截音频越狱
- Published
- Evaluated models
- Qwen2-Audio-7B, VITA-1.5, Ultravox v0.5 and others6
提出 PALS,用潜空间平滑防御全双工语音对话的对抗扰动
- Published
- Evaluated models
- Moshi-style agent
提出 SPARK,在预填充阶段修复多模态 KV 记忆以防御视觉语言模型越狱
- Published
- Evaluated models
- LLaVA-OneVision-7B, Chameleon-7B, Qwen2-VL-7B and others4
用后验重加权解释多模态上下文越狱,并提出风险门控的良性示例注入防御
- Published
- Evaluated models
- Qwen3-VL-2B, Qwen3-VL-4B, Qwen3-VL-8B and others8
Abstract后验重加权解释上下文越狱的缩放,并支持风险门控的良性示例防御。
Zhang 等把多模态 ICL 越狱写成对齐模型在安全与有害隐模式之间的推理时后验漂移,并据此做风险门控防御。
解释后验安全的权重几何脆弱性,并提出预训练持续安全共训练
- Published
- Evaluated models
- Qwen-2.5-7B, Qwen-2.5-7B-Instruct, Llama-3-8B and others15
Abstract论文将后验安全脆弱性归因于正交抑制,并提出通过预训练持续共训练实现具备微调抗性的安全防护。
提出 Rationale-Only 安全微调,去掉拒答声明以降低误拒
- Published
- Evaluated models
- Llama-3.1-8B, Mistral-7B-v0.3, Gemma-2-9B and others8
Abstract去掉套话拒答声明、只训理由,可降低假拒答,有害查询上的服从率仍低。
这是一项针对安全微调数据的结构分析:假拒答被作者追溯到回答里的套话式拒答声明,而不是只靠推理时补救。
提出 DataShield,用共识子空间过滤会削弱安全的微调数据
- Published
- Evaluated models
- Phi3-medium-4k-it, Qwen3-4B-it, Gemma2-27B-it and others4
提出推理时防御 SafeThink,监视思维链并在低于阈值时注入转向前缀
- Published
- Evaluated models
- R1-Onevision-7B, OpenVLThinker-7B, VLAA-Thinker-7B and others6
提出多轮多模态越狱,并用 FragGuard 拦截有害响应
- Published
- Evaluated models
- LLaVa-1.6 (7B), LLaVa-1.6 (13B), Qwen-2-7B and others5
You have reached the end