从信号退化到计算崩塌：揭示 LLM 量化的两种失败模式
[Daily Paper] From Signal Degradation to Computation Collapse: Uncovering the Two Failure Modes of LLM Quantization
AI 导读
一项机制可解释性研究把 LLM 量化的失败区分为两种模式：4-bit 下的信号退化与 2-bit 下的计算崩塌。研究用 Pararel 事实召回测试显示，Llama-3.1-8B 从 FP16 降到 4-bit 时准确率下降可控，降到 2-bit 时准确率跌至零。机制分析发现 2-bit 模型注意力熵升高、SwiGLU 符号翻转率超过 30%、Top-1% 激活神经元重叠的 Jaccard 指数降至约 0.1，且量化误差与原始信号子空间高度对齐（约 0.8），属于破坏性干扰。修复方面，4-bit 信号退化可用两阶段修复，把 Mistral-7B 准确率从 0.00% 提升到 81.26%、Llama-3.1-8B 提升到 75.19%；2-bit 计算崩塌则不可逆，仅把 Llama-3.1-8B 前两层量化为 2-bit 就使准确率从 100% 降到 41.65%，需要微调重建。