面向大语言模型的参数内记忆增强综述
Towards In-Parameter Memory Augmentation for Large Language Models
AI 导读
一篇综述系统梳理了在部署阶段为大语言模型（LLM）增强"参数内记忆"的方法：把承载记忆的参数对象在推理时接入前向传播，以补充上下文学习（ICL）占用上下文容量、重复离散编码成本随上下文长度增长的问题。综述用两个正交维度组织该领域：参数放置位置（Embedding、Attention、FFN 层或 Hybrid）与参数获取时间（部署中在线获取 vs 部署前离线获取），并讨论了干扰、安全、与 ICL 协同设计及递归自我改进等开放方向。