自我演化智能体的安全性综述：SAVER 过渡中心框架

自演化智能体把经验写成可复用状态后，安全属性能否在积累、泛化与跨上下文复用中保持。

• 场景与重要性：作者称，部署后的大语言模型参数通常不随新交互自动改变；在开放交互环境中，这推动智能体持续更新模型参数、记忆条目、工具定义、技能库或工作流。个人助理、工作流智能体、多智能体共享状态和运行中加载模型侧更新，都会把早先事件变成影响后续决策的状态。作者认为部署已从单轮问答转向多会话助理、自主编码智能体和跨天或跨周积累状态的多智能体工作流。
• 现有综述的不足：作者称，已有综述按组件、生命周期阶段或攻击类别组织智能体安全，能定位脆弱组件、风险阶段或可见失效，但不必然展示同一段可复用影响一旦写入状态后，其载体、角色、权限和下游后果如何变化。同一内容作为瞬时上下文可以无害，作为持久记忆则不安全，编译成工作流规则或带工具的技能后则更关键。拆开这些步骤会把一次因果事件切碎，并掩盖安全边界在何处被越过。
• 核心观察：作者的 Takeaway 1.1 称，不安全影响不必始于有害内容；适应可以把原本合法状态的持久性、权限或范围扩大到其原先有效条件之外。点式的回答对齐或动作授权因此不够：一次交互中安全的行为，之后可能被存储、抽象或以更广的持久性、权限或范围复用。
• 本文提出什么：作者提出转移中心框架 SAVER，分析顺序为 Substrate × Adaptation → Violation → Exposure → Response。基底定位可复用影响所在，适应标识改变它的操作，违规刻画受损的安全属性，暴露确定失效对谁、在何处可观察，响应评估影响能否被遏制、修复或撤销。分析单元是 S×A 转移。选择语义解释转移为何发生，反馈语义解释响应如何重塑后续转移。作者还给出评测与治理议程，主张评测从一次测量转向纵向证据。
• 范围：作者将自演化智能体定义为：其观察、动作、反馈或执行轨迹在智能体循环或运行时内更新可复用状态，且该更新能改变后续行为。只检索静态语料的 RAG 相邻；在循环内写入、修订、选择或继承并随后引导动作的智能体是核心。一次输出安全、无持久复用的工具使用和静态模型训练不在核心范围，除非它们说明后续自适应状态转移。

作者把相关工作读成同一条转移上的不同证据段，而不是按模块罗列。

记忆与可复用上下文

• 个人智能体与记忆综述（文中引 [40, 104, 109, 261]）——定义载体，并说明持久性需要来源与策略元数据。
• 记忆攻击被拆开：AgentPoison 针对已中毒库的触发检索；隐蔽注入针对从外部环境进入的准入路径；更广的投毒与休眠记忆强调持久与延迟激活；MemMorph 跟踪检索记忆到工具劫持。分母不同：中毒检索机会、不安全写入机会、延迟触发机会或工具路由机会。
• 隐私与非投毒分支：PerMemSafe 问保留状态对特定用户和目的是否仍然合适；PS-Bench 指出真实记忆作为个人上下文仍可能通过使有害请求合法化而削弱安全边界；EchoSafe 是推理时反思记忆库调节上下文安全决策的多模态证据，作者称这不是文本智能体记忆的一般保证。

自演化与错误演化

• 能力机制：反思与技能库把反馈或成功轨迹变成策略和可调用过程（文中引 [177, 199]）。安全问题从晋升改变来源、权限、范围、隐私或可恢复性时开始。
• 安全评测：Obsessive Experience Poisoning（OEP）测试局部有用经验的有害迁移；SEVerA 研究在合成可复用行为之前的验证。经验驱动安全与 MemEvoBench 把评测从一条被晋升的规则扩到演化中的记忆与更新。Red Queen Gödel Machine 使评估器与效用和智能体共同演化；作者称，即使记录了每一次已提交更新，选择这些更新的准则本身若也变了，基准仍可能漏掉漂移。

工具、工作流与运行时响应

• 暴露机制：提示注入攻击与基准表明不受信任文本成为规划上下文，工具调用使后果可观察（InjecAgent、AgentDojo 等）。
• 响应分层：风险评判与安全基准改进识别；GuardAgent 与 TrustAgent 增加局部护栏推理。权限与运行时控制（如 SafeAgent）问执行是否应当继续。作者称这些控制通常能停止或收窄动作，但通常不修复早先请求该动作的记忆或工作流状态。POLARIS、MAGNET、WebCoach 使路线与工作流轨迹更可见；作者认为未解决的是这些操作记录与恢复所需状态谱系之间的连接。

模型适应与既有框架

• 模型侧：静态模型安全、参数高效微调风险、RLHF 后门、休眠行为、安全与隐私综述、后门综述，解释可复用更新能引入的失效模式。Safe LoRA 是适配器层面对微调安全损失的有界缓解；KVEraser 研究预填充后擦除已处理上下文的影响。作者称，在智能体循环谱系、缓存局部残留探测和部署回滚记录成为常规之前，这一支仍是前沿。
• 基线框架：OWASP LLM Top 10 与 MITRE ATLAS 提供风险和战术词汇；NIST AI RMF 与 Microsoft AI Risk Assessment 处理过程所有权、测试和事件管理；信息流控制、来源追踪和运行时验证检查允许的流与已声明性质。作者称 SAVER 用这些概念定位可复用对象改变角色的那一次转移，并不替换它们的策略或执行机制。
• 邻近综述：通用与自主智能体综述比较记忆、规划、工具和协调组件；自演化综述考察适应发生在何处、如何发生；可信与安全综述组织风险和治理性质；基准综述比较任务与指标；轨迹保证问组合行为是否尊重系统级约束；Module-Lifecycle Attack Surface（MLAS）更直接关注自演化智能体模块与生命周期威胁。作者的定位是：固定同一段可复用影响，跟踪其载体和角色变化，按论文观察到的转移片段比较工作，组件和论文角色只作次级描述。

作者把自演化写成外层循环，再用 SAVER 比较循环内的状态转移。关系 S×A→V→E→R 是分析顺序，不是伤害的强制时间线。

问题设定与形式化

智能体在步 t 写成 𝒜_t=(Θ_t,ℳ_t,𝒯_t,𝒲_t)：Θ 为参数化模型侧状态，M 为记忆与上下文，T 为工具与技能，W 为工作流与多智能体路由。循环依次为观察、执行轨迹、反馈、候选更新集 Δ、演化策略选出 δ★（可选择不更新），再由更新算子提交、修订、忽略或隔离，得到 A_{t+1}。效用代理 û 只给当前评估器下的有用性分数；授权条件 c 表示提交前所需的安全与授权证据。作者的 Takeaway 2.1 称，通过 c 只说明符合步 t 所表示的控制，局部成功不是更广复用的许可，若选择漏掉相关约束或反例，可能保留安全假设不能迁移的更新；这是内生漂移的一种可能机制，不是效用与安全必然对立。

• 转移记号：每一跳写成 (s, ℓ, σ) 经操作 a 与授权条件 c 到 (s′, ℓ′, σ′)。s 是载体，ℓ 是安全属性，σ 是部署或会话上下文。
• 晋升测试：被选更新若把回合证据移入更持久、更一般或承载动作的角色，即为晋升。安全晋升要求 c 授权新角色、目标上下文中安全属性仍有效、反证未被丢弃、源到后代关系仍可恢复。任务成功不自动授权一般工作流规则、可复用技能或带工具的策略。
• 存储与激活分开：Takeaway 2.2 称，保留对象的许可不决定它后来可以影响什么。有效写入不能代替当前任务、用户和效应专用的激活决定。Zhang and Zhang 的授权连续性区分转移包络（旧授权可幸存哪些变更）与不可变效应上限。

五个字段与选择、反馈

• Substrate（S）：载体，如提示上下文、记忆条目、检索块、工具或 API 绑定、工作流规则、共享制品、适配器、策略状态。
• Adaptation（A）：对载体的已提交状态变更，Section 4 的七类：add、abstract、activate、modify、forget、propagate、migrate。write、summarize、retrieve、load、inherit、rollback 按对状态的效果映射到这些族。预防研究可以标出被提议的操作，但记录的是被阻止的提交或激活，不是已完成转移。
• Violation（V）：未能随转移保留的属性，包括来源丧失、权限或权威升级、范围扩大、隐私破坏、可用性损失、预算耗尽、审计轨迹缺失、可逆性失败。
• Exposure（E）：失效变得可见的表面，如工具调用、模型输出、共享制品、治理审计、删除请求。
• Response（R）：可遏制或修复的机制，如准入门、迁移检查、激活授权、运行时护栏、后代回滚、删除核验、可争议记录。
• 选择与反馈：选择解释演化策略为何从 Δ 中选出 δ★；比较跨时间转移还需要候选来源、评估器与目标版本、授权证据以及被拒绝或不可用的替代。响应可以修订下一步的 c、效用评估器或进入候选集的策略与经验。作者称，由此产生的反馈是否提高安全性仍是经验问题。EDDOps 描述这种运行时调整和受治理的再开发。

阅读顺序与证据边界

Figure 2 的中心环把基底与适应耦合成 S×A，再追踪 V→E→R。周围面板预告基底、操作、安全属性、暴露面和治理分类。Figure 4 把文献按载体分成记忆/检索、工具/API/技能/工作流、共享制品与智能体状态、模型与策略状态，每支再对应违规→暴露和响应。

• 证据索引：六个正文章节各有论文级证据索引，角色赋给一行所命名的贡献，而非永久赋给整篇论文。同一贡献在各索引中保留一个主要角色。
• 边界：Takeaway 2.3 称，持久性证据不建立传播，挡住一次工具调用不建立后代修复。部分痕迹只支持部分主张。没有完整 SAVER 记录并不由此证明系统不安全，只限制系统能对跨多跳的诊断、恢复和问责作何主张。作者称 SAVER 是有界追踪透镜，不是安全前提。最深边界是语义不透明：摘要、检索抽象和潜在表示会部分消解谱系，有些后代被漏掉并不是因为少了钩子。
• 能力与安全：Takeaway 2.4 称，展示记忆、技能或模型更新复用只是标出值得测试的载体和操作；只有评测也观察到相关安全属性、激活权威或响应，才建立转移安全。能力、攻击和防御研究可以进入同一次比较，但不能互换其主张。

语料与后续章节结构

综述基于安全、机器学习、NLP、检索和相邻智能体研究的系统范围综述。冻结编码池 683 篇：579 篇去重登记工作、48 篇非重复论文卡补充、56 篇渲染稿中的额外学术工作。检索、筛选、截止、非论文排除和 577 篇可视化子集写在 Appendix A。Figure 1 是该冻结语料子集上的时间分布和 SAVER 流：左侧为基底趋势与子集总计，中间为经适应流向六类违规或四段响应的流，右侧为终端族总计与季度气泡量。

正文随后按 SAVER 展开：Section 3–4 分别是载体与操作，Section 5 是跨转移失败的安全属性，Section 6 是失效可观察的表面，Section 7 是预防、激活控制、监测、遏制、恢复与可争议性，Section 8 把整段转移译成基准与证据要求，Section 9 是研究议程。Figure 3 把分析单元从单次回答、经工具中介的动作，扩到携带安全属性跨会话的可复用状态转移；属性包括来源、权威、隐私、可逆性、新鲜度、可审计性、范围和可争议性。

实验设置

• 研究类型：系统范围综述，不是对具体模型的攻击或防御实验。作者没有报告被攻击的模型列表、攻击成功率或评审模型。
• 语料：冻结编码池 683 篇，其中 579 篇去重登记工作、48 篇非重复论文卡补充、56 篇渲染稿额外学术工作。检索、筛选、截止、非论文排除和编码局限在 Appendix A。可视化子集为 577 篇。Figure 1 的范围包括经渲染引用闭包加入的学术工作，并排除被引网页和标准，不计入论文数。
• 编码对象：每篇贡献按 SAVER 字段编码。基底示例包括 Model、Memory、Workflow、Tools & Skills；适应为七类操作；违规为六族；响应为四段。角色按行所命名的贡献标注为 Attack、Defense 或 Benchmark，而不是整篇论文的固定角色。
• 比较协议：论文按观察到的转移片段比较：载体–操作对、违规属性、暴露面、响应机制。能力研究若只标出载体或操作而未测安全，作者将其与安全证据区分。Appendix A 给出证据层级规则；正文未附上这些规则的具体条文。
• 指标：正文给出的定量结果是语料计数和 Figure 1 上的族计数，不是 ASR 或准确率。作者明确区分一次攻击路径的证明负担与恢复必须覆盖相关未来激活点的证明负担。
• 案例：OpenAI–Hugging Face 事件被当作相邻基础设施案例，说明跨载体的角色变化决定事件范围和响应完整性；作者称它不是内生智能体状态更新的直接证据。

主结果

Figure 1 子集上的基底与终端族计数如下（图中标注，正文未逐项复述全部坐标）：

类别	计数	出处
Model（基底）	44	Figure 1
Memory（基底）	201	Figure 1
Workflow（基底）	224	Figure 1
Tools & Skills（基底）	108	Figure 1
Provenance Loss	97	Figure 1
Authority Escalation	77	Figure 1
Incomplete Rollback	9	Figure 1
Monitoring & Containment	136	Figure 1

• 作者的解读：安全失效不必来自内在有害信息；原本合法的状态在适应使其持久性、权限或范围超出原先有效条件时变得不安全。已评工作强调准入、检索、激活、暴露和局部遏制；后代修复以及恢复适应之后的评测证据仍然稀疏。Figure 1 中 Incomplete Rollback 标为 9，Monitoring & Containment 标为 136，与这一疏密判断方向一致；正文未把二者做成统计检验。
• 证明负担不同：Takeaway 1.2 称，一条成功路径就可以建立攻击，而恢复必须处理相关的未来激活点。连接的载体到暴露痕迹和局部运行时控制只提供部分证据，其结果本身不建立同一影响已从跨会话的后代中撤回。
• 端点分数：Takeaway 1.3 称，攻击成功、识别准确率和即时阻断测量的是局部结果；若不随后追踪所涉状态，这些分数不能区分被停止的事件和被修复的原因。纵向评测必须检验该状态或其后代在适应恢复后能否再次激活。

文献汇合与评测覆盖

• 测了什么：作者按转移段比较已有基准能观察到哪一段，而不是新跑模型。记忆侧：LoCoMo 测保留的对话上下文，MemEvoBench 考察记忆适应，GhostWriter 与 PASB 都把提交和稍后激活动分开（前者是隐藏对抗记忆，后者是智能体对普通对话主张的处理），InjecAgent 观察不受信任上下文的工具后果。工具与运行时：AgentDojo 观察工具中介暴露，R-Judge 测风险识别，PerMemSafe 评测个性化回复安全，ACIArena 跟踪跨智能体的级联注入，HarnessSafe 连接载体保留、边界跨越、良性激活和可见违规。模型侧：运行时遏制与模型回归研究提供响应和部署观察。
• 结果（作者的文献判断）：记忆与工具研究提供具体写入路径、检索触发和动作边界；权限与运行时控制标出激活门和局部阻断点。它们对同一影响迁入工作流规则、共享制品或模型侧状态之后发生什么提供的证据较少。恢复主张尤其难，因为必须把响应连到每一个相关后代并测试稍后再次激活。作者称这种不平衡不只是防御论文数量不足，而是事件级证据与跨会话修复的更强证明义务不匹配。
• 作者的解读：剩余比较不是简单的“连通对不连通”，而是每条连通痕迹留下哪些更早的选择决定和更晚的修复结果未被观察。Takeaway 2.4 称能力证据不是安全证据。

其他消融与分析

• Figure 1 还标注 Purpose Failure 55、Integrity Failures 76、Safety Regression 25、Preventive Governance 61、Transition & Activation 20、Recovery & Contestability 21；右侧为 23Q1 至 26Q3 的季度气泡，正文未逐季给出数值。
• 授权连续性：作者称当前形式模型给出证明义务，但尚无部署基准测量变更后仍保留的无效授权、被不必要撤销的有效授权、固定上限之下获得的权威、再授权成本，以及各自被允许的变更组合成超出原包络的情况。
• Takeaway 9.2：上下文积累不是更新驱动的漂移。无害回合可以共同闭合有害目标，压缩可以把已接受片段重新连成可执行指令；token 数量本身不诊断安全漂移。评测应把交互内第一次促成伤害的组合，和持久更新造成的边界变化分开，并记录各自负责的操作。
• 模型侧治理：Safe LoRA 与 KVEraser 在适配器和缓存层提供有界修复把手；作者称把更新准入、部署范围、激活、回滚、缓存局部擦除和残留影响核验连起来的生命周期治理仍然薄。更新谱系能指出什么变了，不能由此建立哪些行为已被移除。
• 传播：作者把未解决的痕迹缺口收成几个问题：哪个智能体写了状态、哪个收到、安全属性如何变化、摄取发生在何处、哪些后代必须被修复。Agents of Chaos 报告现场实验室中观察到的失败之间的跨智能体传播；正文在此处被截断，后续数字不在所附文本中。

作者指出的局限与后续方向

• 纵向评测（摘要、Takeaway 1.3、展望）：作者主张评测必须超出一次测量，转向纵向证据，核验不安全影响能否追溯到其源转移、在其暴露面被遏制，并在继续适应之后不再出现。端点的攻击成功、识别准确率和即时阻断不能区分被停止的事件和被修复的原因。
• 后代修复证据稀疏（摘要）：已评工作强调准入、检索、激活、暴露和局部遏制；后代修复以及恢复适应之后的评测，证据仍然稀疏。Takeaway 1.2 称，局部痕迹和运行时控制的结果本身不建立同一影响已从跨会话后代中撤回。
• 证据边界与语义不透明（Section 2.4，Takeaway 2.3）：持久性证据不建立传播，挡住工具调用不建立后代修复。部分痕迹只支持部分主张。有些后代被漏掉是因为摘要、检索抽象和潜在表示部分消解谱系，而不只是因为少了钩子。
• 反馈是否更安全尚未验证（Section 2.4）：把干预连到后续更新的过程模型提出了联系，但由此产生的反馈是否提高安全性仍是经验问题。
• 授权连续性没有部署基准（Section 9 附近）：形式模型提供证明义务，但尚无部署基准测量无效授权保留、有效授权被不必要撤销、上限之下获得的权威、再授权成本，以及被允许变更的组合是否把智能体移出原包络，也未检验包络与效应抽象在持续演化下是否仍然可靠。
• 模型侧生命周期治理薄（Section 9.3）：适配器与缓存有有界修复把手，但把准入、部署范围、激活、回滚、缓存局部擦除和残留影响核验连起来的治理仍然薄。更新谱系不能由此建立哪些行为已被移除。传播侧未解决的是写者、接收者、属性变化、摄取位置和必须修复的后代（Section 9.4）。Takeaway 9.2 还要求把交互内的上下文组合与持久更新造成的漂移分开记录。

实验覆盖范围

• 冻结编码池为 683 篇，可视化子集 577 篇；Figure 1 给出该子集上基底、违规/响应族的计数，检索与编码局限写在 Appendix A。所附正文没有给出各安全属性的统计显著性检验。
• 比较覆盖记忆写入与检索、工具调用与权限、工作流与技能复用、共享制品与多智能体传播、模型侧加载与部署这几段转移；Figure 4 把每段再分成违规→暴露和响应。
• 文中点名用于观察不同转移段的基准包括 LoCoMo、MemEvoBench、AgentDojo、R-Judge、PerMemSafe、ACIArena、HarnessSafe、InjecAgent、PS-Bench，以及 GhostWriter 与 PASB 对提交和稍后激活的分离。作者称这些连通痕迹仍留下更早的选择决定和更晚的修复结果未被观察。
• 响应讨论覆盖预防治理、转移与激活、监测与遏制、恢复与可争议性；Figure 1 将 Incomplete Rollback 标为 9、Recovery & Contestability 标为 21、Monitoring & Containment 标为 136。
• 论文未在所附正文中报告新的模型攻击实验、查询次数、重复次数或评审与人工的一致性。OpenAI–Hugging Face 事件被作者限定为相邻基础设施案例，不是内生智能体状态更新的直接证据。

SAVER 是一篇关于自演化智能体安全的转移中心综述：安全对象从单次回答或单次授权动作，转到可复用状态在多次转移中的谱系。

• 问题：智能体若在循环内用观察、动作、反馈或执行轨迹更新记忆、工具、技能、工作流或模型侧状态，早先事件会成为以后的原因。作者认为，局部有用甚至合法的状态，经适应扩大持久性、权限或范围后可以变得不安全，因此只检查当前回答或当前动作不够。
• 框架：外层循环把效用选择和授权条件分开，再提交更新。SAVER 以基底×适应为最小比较单元，接着记录哪项安全属性失败、在哪个表面变得可观察、何种响应能遏制或修复。选择解释转移为何发生，反馈表示响应可以改写下一步的约束和候选集，但作者称这是否提高安全性仍是经验问题。存储许可与激活权威被要求分开检查。
• 语料：冻结编码池 683 篇，可视化子集 577 篇。Figure 1 子集中 Workflow 224、Memory 201、Tools & Skills 108、Model 44；终端族里 Monitoring & Containment 为 136，Incomplete Rollback 为 9，Recovery & Contestability 为 21。
• 判断：作者称已有工作把准入、检索、激活、暴露和局部遏制写得较满，而同一影响迁入其他载体之后的后代修复、以及适应恢复后的再激活评测，证据稀疏。一条成功攻击路径即可成立，恢复则必须覆盖相关未来激活点。能力复用本身不是转移安全的证据。
• 议程：作者要求评测给出纵向证据，使不安全影响能追溯到源转移、在暴露面被遏制，并在继续适应后不再出现；同时把交互内的上下文组合与持久更新造成的边界变化分开。授权连续性的形式义务尚无部署基准，模型侧从准入到残留核验的生命周期治理被作者称为仍然薄。