Skip to content

Translation in progress Some entries still include text in the original language.

Failure-First·Indexed by this site · Originally publishedSelectedAttention55

检查时安全,使用时却不安全:LLM 智能体压缩边界处的 relinking 攻击

[Daily Paper] Safe to Check, Unsafe to Use: Relinking at the Compression Boundary of LLM Agents

AI summary

一篇论文发现,LLM 智能体部署前通常在全精度下评测,实际却以量化或压缩形式提供服务,而安全对齐比任务能力更易受精度下降影响,压缩模型可能保留完整任务能力却丧失大部分安全对齐。论文描述了一种 relinking 攻击,把量化作为可控手段,在不做微调、不访问梯度的情况下选择性削弱安全对齐而保留任务能力,属于权重层面的安全绕过。论文据此主张安全评测应在与部署相同的精度下进行,包括训练后量化的步骤之后。

Why it was selected

论文指出压缩会在保留任务能力的同时削弱安全对齐,部署前的全精度评测因此可能给出无效的安全保证。

Read originalfailurefirst.org