字节研究揭示DeepSeek-V4检索波动原因
字节 Seed 团队发现，DeepSeek-V4 系列在长上下文检索中的准确率会随目标信息在输入中的位置周期性起伏，并将原因指向其采用的分块 KV Cache 压缩。在 128K Token、约 1.6 万个键值对的大海捞针测试中，DeepSeek-V4-Flash-Base 不同位置间的最大准确率差距达 40.2 个百分点，DeepSeek-V4-Pro-Base 为 34.8 个百分点；后训练后差距缩小。
字节 Seed 团队发现，DeepSeek-V4 系列在长上下文检索中的准确率会随目标信息在输入中的位置周期性起伏，并将原因指向其采用的分块 KV Cache 压缩。在 128K Token、约 1.6 万个键值对的大海捞针测试中，DeepSeek-V4-Flash-Base 不同位置间的最大准确率差距达 40.2 个百分点，DeepSeek-V4-Pro-Base 为 34.8 个百分点；后训练后差距缩小。