检查时安全，使用时却不安全：LLM 智能体压缩边界处的 relinking 攻击
[Daily Paper] Safe to Check, Unsafe to Use: Relinking at the Compression Boundary of LLM Agents
AI 导读
一篇论文发现，LLM 智能体部署前通常在全精度下评测，实际却以量化或压缩形式提供服务，而安全对齐比任务能力更易受精度下降影响，压缩模型可能保留完整任务能力却丧失大部分安全对齐。论文描述了一种 relinking 攻击，把量化作为可控手段，在不做微调、不访问梯度的情况下选择性削弱安全对齐而保留任务能力，属于权重层面的安全绕过。论文据此主张安全评测应在与部署相同的精度下进行，包括训练后量化的步骤之后。
推荐理由
论文指出压缩会在保留任务能力的同时削弱安全对齐，部署前的全精度评测因此可能给出无效的安全保证。