面向大语言模型的参数内记忆增强综述

如何在部署时把预训练后的知识放进可复用参数对象，而不是全部做成上下文token。

• 场景：作者称LLM与智能体要纳入新文档、领域约束、用户偏好和交互经验；多数系统用显式token，即in-context learning（ICL）。
• 现有不足：作者称ICL可解释、可检查、易修改，但计算和延迟随检索token增长，长上下文会耗尽窗口；稀疏注意力与KV压缩只能缓解。
• 观察：记忆可表示成参数、adapter或类参数对象，推理时组合进前向。作者称可避开长上下文预填充的二次成本，复用时降低延迟；论文未报告耗时。
• 本文提出：综述部署时插入前向的参数记忆，按放置位点与获取时机分类，并用记忆对象、获取算子、增强算子划定边界。
• 边界：未改的、由token预填充得到的KV cache被作者视为token记忆，不纳入；编码器独立产生的KV bank仍在范围内。

相邻工作被用来划定参数内记忆（in-parameter memory, IPM）的边界，而不是作为作者跑过的性能基线。

ICL与长上下文

• 文本记忆：Dong et al. (2024)综述ICL；Lewis et al. (2020)、Gao et al. (2023)、Fan et al. (2024)讨论RAG。作者称记忆是冻结模型上的文本演示或检索文档。
• 智能体：作者将Ying et al. (2026)与DeepSeek-AI (2026)列为ICL式智能体记忆的例子。
• 窗口缩放：作者引用有限窗口（Vaswani et al., 2017; Liu et al., 2024），并称稀疏注意力与KV cache压缩只能缓解、不能去掉随长度增长的成本。

Table 1中的相邻范式

• 可插拔PEFT：Hu et al. (2021)、Li & Liang (2021)、Lester et al. (2021)、Liu et al. (2022)训练后仍在部署时插入。作者按三项检验将其纳入。
• 全参数SFT：更新在服务前并入骨干，没有留给增强算子的独立对象，作者将其排除。
• 未改KV cache：Rehg (2024)、Kim et al. (2026)、Cai et al. (2024)讨论压缩。作者称其条目是预填充副产品，缺少独立获取算子，故排除。

持续学习与并行综述

• 持续学习：Kirkpatrick et al. (2017)、Shi et al. (2025)研究任务序列上吸收新知识并减轻遗忘，典型做法是离线更新模型参数。作者以部署时是否仍增强记忆对象作为分界。
• 近期迁移：Lin et al. (2025a)、Xu et al. (2026b)被作者称为转向IPM；若推理时才插入，就作为offline方法进入分类。
• 架构向综述：Zhoubian et al. (2026)覆盖KV cache、SSM、MoE和参数高效适配。作者不把未改token派生KV cache算作IPM。

放置位点的既有观察

• FFN：Geva et al. (2021)、Dai et al. (2022)、Meng et al. (2022)把前馈层与键值记忆、事实关联联系起来。作者据此把FFN当作自然注入位点。
• 注意力：Schlag et al. (2021)讨论线性注意力与fast-weight把关联压进固定大小状态。作者据此把attention当作另一类位点。

作者把本文放在这些工作旁边：只索引由独立算子产生、并在部署时组合进前向的参数对象，按目标模块和获取时机组织，而不是覆盖全部记忆形式。论文没有作者自己运行的对比基线。

整体做法是用两个算子描述in-parameter memory（IPM），再按增强位点与对象形成时间，把方法放进Figure 3的清单。

算子表述

• 对象与算子：骨干参数为θ，记忆对象为ϕ。获取算子A产生ϕ，增强算子C在推理时组合它。分类中的放置是C的位点，不是A的位点。以LoRA生成为例，A是从文档或任务描述发出adapter的超网络，C是选定模块上的推理组合。
• 一次获取：A把来源K映到ϕ。作者称K通常是静态外部记忆。覆盖连续向量上的梯度优化、一次前向超网络，以及发出KV对的知识编码器。
• 有状态获取：写成ϕ_t = A(ϕ_t−1, z_t)，用步骤t的证据改写当前记忆；作者称这些证据通常由模型自己产生。生成写成y_t ∼ p_C(θ,ϕt)(y_t ∣ x_{≤ t})，分布来自已与当前记忆组合的骨干。
• 组合与频率：C可以是加到冻结参数、LoRA残差、额外KV、虚拟token，或直接更新隐表示。A可以逐token、逐segment或按需触发。

纳入边界

• 三项检验：Table 1要求同时成立：连续参数形式；由独立的A产生，而不是跑模型的副产品；部署时作为独立对象进入前向。
• 排除与保留：全参数SFT在服务前并入θ，最后一项不成立。未改KV cache第二项不成立。编码器产生的KV bank，以及发出类参数状态的学习写入规则，作者留在边界内。附录称永久并入的对照不进入Table 3。
• 与持续学习：分界是ϕ是否仍在部署时被增强。离线训练但推理时插入的方法，进入offline。

两轴

• 参数放置：Embedding侧是连续提示、前缀或隐输入；Attention侧是KV、注意力侧adapter或矩阵值关联状态；FFN侧是前馈参数或替代投影。两处及以上为Hybrid。位点在读路径、容量、更新成本和与预训练检查点的兼容性上不同，论文未给统一数值。
• 获取时机：看ϕ形成于服务中（online）还是服务前（offline），不是产生它的算子何时训练。作者举例：超网络可离线训练，但它为某次部署发出的LoRA仍算online。
• 通常对应：作者称offline通常是一次获取，online通常是有状态获取。Table 2列出操作标准和典型对象，包括软提示、软token、记忆表、编码KV bank、adapter、fast weights和online neural memory。

四类做法

• Embedding：online在推理时形成或更新软token或软提示，如MemGen、GradMem；MINT维护可学习软提示库，改的是CLIP的输入提示。offline如prompt-tuning、TokMem、Engram，对象在片段中固定，仍在推理时进入前向。
• Attention：online包括Titans、Atlas（Figure 3写作ATLAS）、δ-mem和CEPE等测试时记忆或编码KV。offline的prefix-tuning学习每层连续KV。KBLaM、AtlasKV、SR-KI能当场投影新句子，但作者因知识离线组织而标为offline。
• FFN：作者称online通常用超网络生成MLP LoRA；Doc2LoRA的报告实现改MLP down-projection，因此标为FFN。同组还有码本、侧记忆和fast-weight写入。offline如PRAG，把检索知识编进FFN侧参数，再在推理时插入。
• Hybrid：改动跨过一个以上位点。online如Temp-LoRA在推理期训练临时多位点LoRA，SHINE一次前向把上下文映到逐层LoRA。offline如同时适配attention与FFN的标准LoRA。

比较时记录的性质

• 四项：Section 5按任务目的、物化时机、持久性、写入与读取成本比较。Table 3记录位点、对象类型和A；Table 4记录部署时怎么用。
• 档位来源：写入和读取是由机制推断的定性档。作者称来源论文很少报告可比较的FLOPs或墙钟时间。

作者没有跑实验；所谓结果是对已有方法机制的定性比较。

实验设置

• 作者实验：论文未报告作者自行运行的模型、数据集、评审模型、样本量或重复次数。
• 比较材料：Figure 3的审计清单，以及附录Table 3、Table 4。
• 成本定义：写入和读取为定性档，由机制推断，不是统一基准上的测量（Section 5、Table 4标题）。
• 基线：没有作为对照跑过的基线模型，也没有ASR一类数值指标。
• 范围：比较限于通过Table 1、且讨论在文本模态下的方法（Section 2.3、Section 8）。
• 列对齐：下列只采用Section 5正文写明的概括，不把可能错位的Table 4单元格当成逐行测量。

主结果

论文没有可填测量值的实验结果表。Section 5对online与offline的概括如下。

作者概括（Section 5）	写入	读取
online：生成式adapter、软提示	中，一次写成新对象	该段未单列
online：循环fast weights、online neural memory	低，按token	该段未单列
offline	高，一次性	低

• 行模式：作者称online行几乎总是按请求或按token，且短暂或限于会话；offline行几乎总是部署前形成且持久。用的是almost always，不是逐行全称。
• 同对象：作者称adapter在线生成便宜、离线训练贵；编码KV在CEPE、M+按请求组合，在KBLaM、AtlasKV预先计算。
• 权衡：作者称online能立即适应，但写入时计算更高；offline更稳定，没有离线训练就不能吸收新流。需要精确引用、出处、定向删除或人工修订时，作者认为ICL更合适。

放置轴上的作者解读

• Embedding：作者称从输入进入、骨干可冻结，组合最便宜，但影响要经过上面每一层，因此间接。
• Attention与FFN：作者称attention侧可按内容寻址，但与头结构和注意力预算耦合。FFN侧写入事实关联所在层，可直接改写行为；读取是逐位置的，共享权重上的顺序写入会互相干扰。
• Hybrid：作者称跨位点最能表达，既能影响读什么，也能影响怎么计算；但行为难以追溯到单一组件，更新要在不同对象之间协调。

其他消融与分析

• 论文未报告消融、参数扫描、查询次数或重复次数。
• 保留性同样只有定性档；作者称来源论文很少共享基准或可比较测量（Section 5、Section 8）。
• Sparse Memory Finetuning：Table 3列为FFN online（Lin et al., 2025a）；Section 4.3又把同名做法归于Berges et al. (2024)并称为offline。分类以Figure 3与Table 3为准。
• 任务目的标签包括知识注入、长上下文建模、任务适配、文档问答、持续学习和终身编辑等，论文未在统一基准上比较分数。

作者把局限写成模态、架构和测量三件事，并把干扰、安全、与ICL协同和递归自我改进列为开放方向。

作者指出的局限与后续方向

• 模态：只考虑文本模态；视觉、音频、视频上的同类工作未纳入（Section 8）。
• 新架构：未纳入建在更新LLM架构里的IPM，作者点名Mixture of Latent Experts（MLE）、Multi-head Latent Attention（MLA）和Manifold-Constrained Hyper-Connections（mHC）（Section 8）。
• 测量：比较没有数值测量；写入成本、读取成本和保留性是机制推断的定性档，因为来源论文很少共享基准或可比较测量（Section 8）。
• 干扰：顺序编辑和循环写入会覆盖较早关联；子空间投影、范数约束和擦写门能减慢这一过程，但长流上的冲突检测和固定容量分配仍开放（Section 6）。
• 安全：作者称不可信上下文写入一次后会被当作可信知识读出，现有记忆系统不记录出处；参数写入可把行为植入权重，行为级遗忘会留下痕迹。更新预算、按出处调节的写入门和隐私感知的巩固仍开放（Section 6）。
• 协同与自我改进：A决定什么留在上下文、什么进入ϕ，且C在一次前向里同时读两者；以及让A把有用的部署经验写进ϕ的模型原生递归自我改进（Section 6）。

实验覆盖范围

• 纳入标准写在Table 1：参数形式、独立获取、部署时增强，三项都成立才纳入。
• 方法清单以Figure 3为审计集合，附录Table 3、Table 4记录位点、记忆对象、A、任务目的、物化、持久性和定性读写档。
• 放置分为Embedding、Attention、FFN、Hybrid，时机分为online与offline（Section 3、Figure 3）。
• 成本比较使用机制推断的定性档；论文未报告统一基准上的FLOPs、墙钟时间或保留率（Section 5、Section 8）。
• 论文未报告作者自行运行的模型、数据集、评审方式或重复次数。

部署时插入前向的参数记忆被单独划界，并按位点与时机归类。

• 问题：预训练后的文档、偏好和交互经验若全部变成上下文token，成本随长度上升。作者称稀疏注意力和KV压缩只能缓解，不能去掉这一缩放。
• 表述：记忆对象由获取算子产生，增强算子在推理时组合。放置看组合位点，时机看对象形成于服务前还是服务中，而不是算子何时训练。一次获取的来源通常是外部静态记忆；有状态获取通常改写模型自己产生的证据。
• 地图：四类位点再分online与offline。常见对象是软提示、软token、记忆表、编码KV、adapter、fast weights和测试时神经记忆。知识可以离线组织、仍能投影新句子，作者仍把KBLaM一类标为offline。
• 比较：没有作者自己的数值实验。Section 5称online方法几乎总是按请求或按token、短暂或限于会话；offline几乎总是部署前写入且持久。生成式adapter为一次中档写入，循环状态为按token的低档写入，offline为一次性高档写入、低档读取。同为adapter，在线生成与离线训练的写入成本不同。
• 取舍：作者称online能马上适应，写入计算更高；offline更稳，却不能没有离线训练就吸收新流。精确引用、出处、定向删除和人工修订，作者认为仍更适合文本形式的ICL。
• 后续：开放问题包括干扰与遗忘、安全感知获取、与ICL一次前向协同，以及把部署经验写进参数的递归自我改进。作者在结论中称，相对ICL，IPM更有效率，也更模型原生。综述只讨论文本，未纳入MLE、MLA、mHC，也没有统一数值测量。