少即是多：上下文压缩中的 LLM 规模悖论

在 compressor–decoder 的有损上下文压缩里，增大压缩器规模可以降低对原文的忠实恢复，尽管重构误差下降。作者称之为 Size-Fidelity Paradox。

• 场景：作者认为 scaling hypothesis 主导 LLM 训练，更大模型通常生成更好。上下文压缩把自然语言映成少量 memory tokens 以加速解码；已有研究也报告更大压缩器的压缩质量更好。
• 现有评测的不足：训练损失、perplexity、BLEU、ROUGE、BERTScore 主要奖励流畅和表面相似。作者称它们分不清内容来自压缩表示，还是由参数先验补上，因此高重构分仍可能改掉或丢掉原文细节。
• 核心观察：超过一定参数规模后，更大压缩器在保真上可以不如更小模型。作者归纳两个主导因素：knowledge overwriting，用内部信念替换源事实；semantic drift，释义或重组而非逐字复现。
• 本文做法：用两项诊断任务隔离这两种失败，在 Qwen-3 与 LLaMA-3.2、0.6B 到 90B、4×/16×/64×共 27 个压缩器设置上检验；再用 effective rank 与 conditional entropy 分析压缩记忆如何组织、重构约束有多紧。

论文第 2 节分缩放行为与长上下文压缩两组，诊断数据来自知识冲突文献。

缩放定律及其例外

• Kaplan 等（2020）、Hoffmann 等（2022）及论文所引后续工作：增大规模通常降低训练损失，并提升多种生成与推理表现；更大模型往往有更强的世界知识。
• Wei 等（2023）、Zhou 等（2024）、Chen 等（2025）：规模并不保证一律更好。论文称这些工作报告更大模型在困难输入上可能更不可靠，例如高置信错误或更弱的校准；但它们主要看问答或推理的正确性，对忠实复现输入提供的洞察有限。

长上下文压缩与重构评测

• Ge 等（2023）的 in-context autoencoder、Mu 等（2023）的 gist tokens、Chevalier 等（2023）、Dai 等（2025）的预训练上下文压缩器、Li 等（2025）的 500xCompressor 等：多数采用 compressor–decoder，把长序列编成紧凑潜表示，再条件解码。
• 论文称先前评测以重构为中心，按压缩率和模型规模比较训练损失、perplexity、BERTScore、BLEU 和 ROUGE。作者认为这些指标可能只是压缩质量的表面代理。

知识冲突数据

• Ming 等（2024）的 FaithEval、Xie 等（2024）的 ConflictQA，以及 Longpre 等（2021）的实体知识冲突：考察上下文与参数知识冲突时模型是否跟随上下文。本文用前两者构造反事实诊断，没有把它们当作压缩算法。
• 下游使用 MuSiQue、QASPER 和 BBH，看压缩后的检索增强问答和上下文学习。论文未把这些数据集上的原方法当作压缩基线。

基线与本文定位

• 基线方法：没有与其他压缩算法对照的外部方法基线。对照是同一训练协议下不同规模的压缩器，以及表面重构指标相对诊断 QA。基准/数据集为 FineWeb、FaithEval、ConflictQA，跨域为 ArxivCorpus。
• 作者把本文放在保真优先的 compressor–decoder 设定：目标是以最小失真重构原文，而不是生成合理释义，并分析规模如何改变记忆组织、削弱字面恢复。

作者用同一协议训练多规模压缩器，固定解码器做重构，再用诊断问答和记忆探针看保真是否随规模下降。

压缩设定与训练目标

给定词表序列 x，压缩器把它映成连续记忆。论文的核心映射是 Z=f_θ(x)，记忆槽数 M 远小于长度 L，压缩率 ρ=L/M。解码器是条件于 Z 的因果语言模型，按前缀逐步估计原文概率。

训练损失把重构和续写相加：L=L_re+L_nt。L_re 要求在 Z 条件下重构被压缩前缀，L_nt 对后续片段做自回归预测。作者称这与允许释义的摘要不同：偏离逐字输入即视为信息损失。后文的 λ 扫描里，λ 加权 L_nt，(1−λ) 加权 L_re，默认 λ=0.5。

记忆配置与训练协议

• 片段：压缩段长 256 token。压缩率 r 下记忆数 m=256/r，因此 4×、16×、64× 分别使用 64、16、4 个记忆嵌入。段末附加可学习 memory query tokens，取其末层隐藏状态；多段独立压缩后拼接，并加记忆边界嵌入。
• 优化：AdamW，学习率 1×10−4，cosine，global batch size 512，warmup 300 步，梯度裁剪 0.5，1 个 epoch，bfloat16。可训练的是压缩器和 memory converter，解码器冻结。32B 用 ZeRO-3，更小模型用 ZeRO-1。按重构验证损失选模型。附录 B 给出分词对齐、相邻段配对，以及不足 512 个压缩器 token 的文档丢弃规则。
• 模型：主解码器为 Meta-LLaMA-3.2-8B-Instruct。LLaMA-3.2-11B 与 90B 去掉视觉编码器，只留文本骨干。训练文本来自 FineWeb。

知识覆写诊断

• 数据：FaithEval 与 ConflictQA 中引入了与既有事实矛盾的上下文。作者保留冲突明确的例子，使源证据和参数知识可以分开。
• 判定：每个反事实上下文压缩后，配一个针对被改事实的问题。候选包括源一致的反事实答案，以及合理的世界知识替代。知识保真是选出源一致答案的准确率。
• 材料：附录 D 给出构造、过滤和可选的候选生成提示词。

语义漂移诊断

• 出题：在 FineWeb 与 FaithEval 上，用 DeepSeek-R1 生成要求精确关系、而不只是主题梗概的问题。正文列出七个维度：main topic、entity list、predicate exactness、relation anchor、coreference、role binding、modifier scope。
• 答案约束：可答问题的答案必须是原文的精确子串。Table 3 报告七维微平均 QA 准确率。附录 D 给出完整提示词，附录 F 给分维结果。
• 过滤：用 Qwen3-0.6B、1.7B、4B、8B、32B 在 16× 下压缩并重构，对规范化后的源一致金答案算 Exact Match。覆写题若五个压缩器的 EM 都大于 0.8 则丢弃；漂移题先对每个上下文的 20 个问答取平均 EM，五个压缩器都大于 0.8 则丢弃该上下文。

记忆探针与下游协议

• effective rank：对 batch 堆叠的记忆矩阵取奇异值，把归一化奇异值的熵再取指数，用来衡量表示铺在多少个方向上。作者把它联到知识覆写。
• 条件熵：在金前缀上做 teacher forcing，计算解码器下一步 token 分布的熵，再对 token 平均，记为 H(Z)。作者把它联到语义漂移：熵高表示多个合理续写仍有竞争力。固定规模的训练动态用来判断压缩目标偏向高值还是低值。
• 其余协议：泛化实验更换解码器、预训练语料或损失权重，主压缩协议不变。下游 RAG 比较无上下文、原文上下文和 4× 压缩后重构的上下文；ICL 比较 zero-shot、完整示例和只压缩 demonstration 的 4× 设置，测试 query 不压缩。

实验设置

• 压缩器：Qwen3 的 0.6B、1.7B、4B、8B、32B；LLaMA-3.2 的 1B、3B、11B、90B。每个规模有 4×、16×、64×，作者称共 27 个设置。
• 解码器：主实验固定 Meta-LLaMA-3.2-8B-Instruct。第 5.1.1 节另用 Qwen3-0.6B 与 4B；附录 E 把 Qwen3-32B 配到 LLaMA-3.2-8B 和 Qwen3-32B。
• 规模：Table 1。重构用 FineWeb 的 4,444,672 个上下文。覆写：FaithEval 598 个上下文、598 个问答；ConflictQA 1,356 个上下文、1,356 个问答。漂移：FineWeb 449 个上下文、8,980 个问答；FaithEval 598 个上下文、11,960 个问答。跨域语料为 ArxivCorpus，约 20.9B tokens。
• 指标：表面指标为 BLEU、ROUGE-L、chrF++、BERTScore-F1。诊断指标是源一致答案准确率，以及七维微平均 QA 准确率。过滤使用 Exact Match。论文未写 LLM 裁判、判定阈值或人工一致性。
• 下游：MuSiQue 与 QASPER 报告 F1 和 EM；BBH 五个子集报告 EM，论文写每子集 250/187 个评测样例。论文未说明下游推理模型，也未报告重复次数。

主结果

下表据 Table 3，压缩率 4×，解码器为 Meta-LLaMA-3.2-8B-Instruct。该表说明 Reconstruction 列代表 BLEU。省略 Qwen3-1.7B：BLEU 0.94，覆写均值 0.83，漂移均值 0.82。

表格较宽，可左右滑动

压缩器	BLEU	覆写均值	漂移均值
Qwen3-0.6B	0.95	0.83	0.83
Qwen3-4B	0.94	0.84	0.83
Qwen3-8B	0.94	0.83	0.81
Qwen3-32B	0.97	0.74	0.69
LLaMA-3.2-1B	0.94	0.83	0.82
LLaMA-3.2-3B	0.90	0.83	0.82
LLaMA-3.2-11B	0.92	0.73	0.70
LLaMA-3.2-90B	0.97	0.71	0.64

• 作者称规模效应非单调，约 3–4B 往往更稳。组内最优并不唯一：4× 时 Qwen3-0.6B 与 4B 的漂移均值同为 0.83；LLaMA-3.2-1B 与 3B 的覆写均值同为 0.83。表中最大模型的相对降幅为 Qwen3-32B 漂移 −16.87%、LLaMA-3.2-90B 漂移 −21.95%。
• 16× 时 LLaMA-3.2-90B 的 BLEU 为组内最高 0.86，覆写均值 0.65（相对降幅 −20.73%），漂移均值 0.60（−27.71%）。同率 Qwen3-32B 的 BLEU 为 0.85，低于 1.7B 与 4B 的 0.86，覆写均值 0.67、漂移均值 0.66，低于 4B 的 0.83。
• 64× 时组内最高 BLEU 出现在最大模型：Qwen3-32B 0.29，LLaMA-3.2-90B 0.33。作者举例：LLaMA-90B 的 BLEU 高于 LLaMA-3B（0.33 对 0.29），覆写准确率更低（0.53 对 0.62）。该率 Qwen3 漂移均值的组内最优是 4B 与 8B 并列 0.44，32B 为 0.31。

解码器、语料与损失权重

• 解码器：Table 4，Qwen3 压缩器、16×、Qwen3-4B 解码器。4B 压缩器的 FaithEval 覆写为 0.66、ConflictQA 为 0.81，8B 为 0.62 与 0.75。换成 Qwen3-0.6B 解码器后，重构和 QA 整体更低；四列 QA 上 8B 都最低，但 4B 与 0.6B 并不一律同向，FaithEval 覆写为 0.54 对 0.59。作者称解码器容量调节幅度，但不消除 8B 相对更小压缩器的更高错误率。附录 Table 12：Qwen3-32B 配 Qwen3-32B 时，FaithEval 覆写 0.63、ConflictQA 0.74、FineWeb 漂移 0.55、FaithEval 漂移 0.70，仍低于 Qwen3-4B 配 Qwen3-4B 的 0.66、0.81、0.63、0.77。解码器从 LLaMA-3.2-8B 换到 Qwen3-32B 时，FineWeb 漂移从 0.57 到 0.55，FaithEval 漂移从 0.74 到 0.70。
• 跨域：Table 5，在 ArxivCorpus 上以 16× 预训练的 Qwen3。重构从 0.72、0.76 到 0.77；FaithEval 覆写为 0.60、0.69、0.63，ConflictQA 为 0.77、0.82、0.79。作者称保真 QA 仍非单调，8B 低于 4B。
• 损失权重：文本中的 Table 6 列出 4× 的 Qwen3-0.6B，以及 Qwen3-4B 的 λ=0.3、0.5、0.7。0.6B 在默认 λ=0.5 时 FineWeb 重构 0.95、ConflictQA 0.95，λ=0.9 时为 0.87 与 0.85。作者称配比会移动重构–保真权衡，但没有恢复保真随规模单调上升。

下游 RAG 与 ICL

• RAG：Table 7，4× 压缩后由固定解码器重构再问答。MuSiQue 无上下文 F1 9.11、EM 2.67，有原文为 33.26 与 23.91；压缩后 Qwen3-0.6B 为 24.14 与 15.08，32B 为 14.55 与 0.53。QASPER 上 0.6B 为 28.93 与 19.16，32B 为 23.94 与 13.18，均低于有原文的 46.22 与 31.90。作者称 8B、32B 差于 0.6B 和 1.7B。例外：1.7B 的 QASPER F1 为 29.46，高于 0.6B 的 28.93。
• ICL：Table 8，只压缩 demonstration。BBH 五子集 EM 均值：zero-shot 50.0，完整 ICL 70.4；4× 下 0.6B 为 65.2，4B 为 63.6，8B 为 60.8，32B 为 60.9。作者称更大压缩器带来更低准确率，尤其是 8B 和 32B。例外：Tracking Shuffled Objects 上 32B 为 57.6，高于 8B 的 54.8 和 4B 的 56.8。

记忆几何与条件熵

• 秩：作者称 Figure 3(a) 中 effective rank 随压缩器规模上升；Figure 3(b) 中固定规模训练先扩张后收缩；Figure 3(c) 中峰值之后更高的秩对应更低的知识保真 QA。正文未给出相关系数。Table 14 中 eRank 从 Qwen3-0.6B 的 856.8 到 32B 的 1169.3，eRank/d 从 0.8455 降到 0.2284；LLaMA-3.2-90B 的 eRank 为 1194.4，eRank/d 为 0.1458。
• 截断：Table 15，Qwen3-8B、16×。保留 90% 谱能量时，FineWeb 重构 0.8493（+0.0074）、ConflictQA 0.9104（+0.0173）、FineWeb 漂移 QA 0.7452（+0.0164）。75% 与 50% 三项都低于未截断的 0.8419、0.8931、0.7288。作者称适度截断去掉低能量尾，过强截断会切掉承载源信息的方向。
• 熵：作者称 Figure 4(a) 中更大压缩器的条件熵高于中等规模；Figure 4(b) 中固定模型训练使熵下降；Figure 4(c) 中更高条件熵对应更低的语义漂移 QA。正文未给出熵的数值。附录 Figure 7 的文字称，Qwen3-0.6B 与 4B 在 4× 的 λ 扫描里，平均熵在 λ=0.5 附近最低。

其他消融与分析

• Table 2，Qwen3、4×、FineWeb：BERTScore-F1 从 0.995 到 0.998；BLEU 最高为 32B 的 0.968，8B 为 0.940，低于 0.6B 的 0.952。
• Figure 2：作者称更大压缩器损失下降更快并达到更低损失；正文未给出损失数值。
• 第 7 节用 Table 9 做定性对照：作者称覆写和漂移可以像幻觉，但压缩错误是未保住源事实或关系，即使替换内容在世界上为真也算失败。
• 附录 Table 11 给出四项重构指标的完整均值；Table 13 给分维漂移 QA。正文主结论使用 Table 3 的微平均。
• 模型选择指标是重构验证损失，不是诊断 QA。

作者指出的局限与后续方向

• 结论仍绑定 memory-token 的 compressor–decoder 及相应训练目标。检索式压缩、抽取式压缩或带显式复制机制的架构，可能表现出不同的缩放行为（附录 A）。
• effective rank 与条件熵是对压缩记忆 Z 的诊断探针，不是悖论的完整因果解释，本身也没有给出恢复大压缩器保真的完整干预（附录 A）。
• 秩干预进一步提示：保真依赖于记忆里学到的、与源对齐的结构，而不只是秩这类标量（附录 A）。
• 诊断 QA 用来加压源特定保真，尤其是反事实事实和细粒度语义关系。作者称它们不能替代全部下游评测；不同应用对释义、抽象或事实替换的容忍可以不同（附录 A）。
• 作者认为应按目标用途的保真要求选择和训练压缩器。显式加强大压缩器的源锚定并保持效率，是后续方向（附录 A）。

实验覆盖范围

• 压缩器为 Qwen3 五个规模和 LLaMA-3.2 四个规模，压缩率 4×、16×、64×；主结果解码器为 Meta-LLaMA-3.2-8B-Instruct（第 4 节、Table 3）。
• 解码器配置还包括 Qwen3-0.6B、Qwen3-4B、LLaMA-3.2-8B 和 Qwen3-32B（第 5.1.1 节、附录 E、Table 4、Table 12）。
• 预训练语料为 FineWeb；另有 ArxivCorpus 上 16× 的 Qwen3 压缩器。损失权重扫描在正文中对应 4× 的 Qwen3（第 5.1 节、Table 5、Table 6）。
• 下游任务为 MuSiQue、QASPER，以及 BBH 的 Date Understanding、Causal Judgement、Logical Deduction、Formal Fallacies、Tracking Shuffled Objects，压缩率为 4×（第 5.2 节）。
• 论文未报告诊断 QA 的人工一致性、统计显著性检验和重复次数，也未报告 RAG 与 ICL 使用的推理模型。

作者报告上下文压缩中的 Size-Fidelity Paradox：压缩器更大时，重构可以更好，对原文的保真却可以更差。

• 设定是 compressor–decoder。长文被压进少量 memory tokens，再要求逐字恢复，而不是生成流畅释义。作者认为 BLEU 等表面指标看不出事实被先验替换，或关系被改写。
• 做法是固定 Meta-LLaMA-3.2-8B-Instruct 解码器，在 Qwen3 与 LLaMA-3.2、0.6B 到 90B、4×/16×/64×上用同一协议训练。反事实问答测知识覆写，七维关系问答测语义漂移；有效秩和 teacher-forced 条件熵用来看记忆是否变宽、重构是否更不确定。
• Table 3 的 4× 结果中，LLaMA-3.2-90B 的 BLEU 为 0.97、漂移均值为 0.64；Qwen3-32B 的 BLEU 为 0.97、漂移均值为 0.69。同表 3–4B 档的漂移均值在 0.82 到 0.83。
• 64× 时 LLaMA-90B 的 BLEU 为 0.33、覆写均值为 0.53，LLaMA-3B 为 0.29 与 0.62。16× 时 LLaMA-90B 漂移相对组内最优的降幅为 −27.71%。重构并非每一步都随规模上升：16× 的 Qwen3-32B BLEU 为 0.85，低于 4B 的 0.86。
• 4× 压缩后再做下游任务时，MuSiQue 的 F1 从 Qwen3-0.6B 的 24.14% 到 32B 的 14.55%（Table 7）。BBH 五子集 EM 均值从 0.6B 的 65.2% 到 32B 的 60.9%（Table 8），Tracking Shuffled Objects 上 32B 高于 4B 和 8B。
• 作者的结论是：有利于复杂推理的性质也会削弱忠实重构所需的刚性约束；缩放定律在目标从合理生成转向忠实保存时并不直接搬过来。压缩器规模应与应用的保真要求一起考虑。