风险意识注入：在不牺牲实用性的前提下校准 VLM 安全
[Daily Paper] Risk Awareness Injection: Calibrating VLMs for Safety without Compromising Utility
AI 导读
Wang 等人提出风险意识注入（RAI），一种无需训练的框架，通过在视觉嵌入空间放大不安全信号来恢复 VLM 的安全校准。该方法针对跨模态安全缺口：能可靠拒绝有害文本请求的 LLM，在同样内容以图像呈现时往往照做，因为 RLHF 或指令微调的安全对齐主要作用于文本表示，而视觉编码器走的是另一条通路。RAI 从已知不安全内容的语言嵌入构建不安全原型子空间，在推理时识别嵌入接近该子空间的视觉 token 并调制其表示，以触发模型已有的安全机制。作者称该方法在多个多模态越狱基准上大幅降低攻击成功率，同时在标准 VLM 评测上保持任务表现。作者还提出该思路可推广到具身 AI，例如机器人 VLA 模型；其能否抵御专门针对不安全原型子空间的自适应攻击仍是未解问题。