Some text is shown in its original language while the English translation is being prepared.
arXiv· arXiv:2602.08563· Ahmed Salem, Andrew Paverd, Sahar Abdelnabi·Indexed by this site · Originally publishedSelectedAttention57 无状态却并非遗忘:LLM 中的隐式记忆作为隐藏信道
Stateless Yet Not Forgetful: Implicit Memory as a Hidden Channel in LLMs
AI reading guide
来自微软 MSRC 等机构的研究者提出 LLM 的隐式记忆概念,指模型把状态编码进自身输出,并在这些输出被重新作为输入时恢复,从而在看似独立的多次交互之间维持状态。作者据此提出一类时间炸弹后门,其触发条件需在多次交互中逐步累积,而非由单次输入触发,并给出提示与微调两种概念验证实现。在提示设置下,推理模型在比特设置与传播的精确匹配准确率上明显高于非推理模型,非推理模型的误激活率至少为 13.2%;微调把比特设置精确匹配准确率提升到 77.8%–82.4%,误激活率低于 2%,良性任务上的困惑度与平均损失变化低于 1%。论文还指出零宽字符编码会被清洗和改写防御完全消除,而语义级编码更稳健但模型更难可靠生成,并列出隐蔽的 Agent 间通信、基准污染、定向操纵和训练数据投毒等风险。
Deep readingGenerating
Why it was selected
论文提出隐式记忆概念,并给出时间炸弹后门在提示与微调两种植入方式下的准确率与误激活数据,可供评估跨会话状态带来的新风险。
Read originalarxiv.org