MMAligner：通过表示校准保护多模态大语言模型
MMAligner: Safeguarding Multimodal Large Language Models through Representation Calibration
AI 导读
研究者提出 MMAligner，一种通过校准表示来保护多模态大语言模型（MLLM）的方法，把不安全的多模态输入的表征调整回模型已有的拒答区域。作者从表示几何角度分析认为，从文本学到的安全机制可跨模态延续，共享的安全子空间和拒答边界仍然有效，但不安全的多模态输入会发生表示偏移，多数落到边界之外，从而绕过模型内在的安全机制，说明多模态安全退化源于表示错位而非缺乏安全能力。MMAligner 对不安全输入施加硬下界以确保拒答、用软上界避免过度修改，并加入针对良性输入的保留目标。在多个开源 MLLM 上的实验显示，该方法将不安全多模态输入的平均拒答率提升至 99%，效用损失低于 2%，且所需训练数据很少。