迈向安全的世界模型：风险、防御与评估

预测准确不能单独推出世界模型决策安全。

• 使用场景：世界模型预测动作条件后果，用于规划、从想象经验学习、仿真和模型中介评估。作者认为，观测、状态与记忆、动力学、评估、执行或反馈中的误差会进入不安全决策，并随更新持续（摘要、Section 1）。
• 既有工作留下的缺口：MBRL、机器人安全学习、ML生命周期保证和VLA安全综述被作者称为互补基础。作者把问题收窄为：环境的学习描述中的偏差如何变成不安全决策，以及何种证据支持该联系（Section 1）。
• 核心观察：偏差可以没有攻击者，来自数据不全、部分可观测、模型偏差或不合适目标；也可以来自对数据、观测或其他接口的故意操纵。作者认为二者都要沿同一功能视图追踪，但因果前提必须分开（Section 1、Section 3.5）。
• 提出的组织：六个功能阶段，加上非对抗失效、攻击、防御、评测和部署条件的文献综合；证据语料为163篇去重引用（摘要、Section 3.1）。阶段表示依赖，不是六个必选软件模块（Section 3.2）。
• 威胁模型：这不是一篇提出单一攻击的论文。Section 3.5要求攻击主张写明六个维度。
  • 目标：完整性破坏、定向不安全行为、隐患隐藏、计划排序操纵、可用性下降、信息抽取或持续妥协。
  • 知识：white-box、gray-box或black-box，对象包括模型、规划器、防御、部署版本和环境。
  • 能力与入口：训练样本、观测、记忆、参数、模型查询、规划接口、动作通道、日志或反馈；预算包括投毒比例、扰动幅度、查询次数、物理可实现性和跨模态协同。
  • 受害对象：用于学习、规划、仿真或安全评估的学习型动作条件环境预测器，以及构造、消费、执行和更新这些预测的组件（Section 1–2）。静态编码器和不进入时间决策过程的一次性预测器不在主范围内。

作者按引言和基础章节整理互补工作，没有做实验对照。

决策用的世界模型

• Moerland等（2023）：把基于模型的强化学习组织成模型学习与模型使用。
• Hafner等的PlaNet（2019）与Dreamer系列（2020–2025）：论文转述PlaNet用紧凑循环状态空间模型支持从像素规划；Dreamer及其后续用大量潜轨迹训练策略和价值函数。
• Schrittwieser等（2020）的MuZero，Hansen等（2024）的TD-MPC2：论文转述MuZero不必重建观测即可支持规划；TD-MPC2把隐式世界模型用于连续控制的多任务轨迹优化。

安全保证与生命周期

• Brunke等（2022）：讨论机器人中的安全学习，强调约束、控制和保证。
• Mohseni等（2023）：把机器学习可依赖性技术连到工程安全策略。
• Ashmore等（2021）：按机器学习生命周期组织保证。作者没有把这三篇写成失效方法，只称为互补基础（Section 1）。

具身系统与软件智能体

• Li等（2026）的VLA安全文献：把具身威胁、防御和评测放进同一讨论。
• Chen等（2026）：用架构–生命周期连接计算机使用智能体的感知、决策、工具权限、执行和维护。作者写，这些依赖有助于标出预测在何处获得动作权限；本综述还要求动作条件动力学，以及从预测到后果的追踪（Section 1）。

相邻概念边界

• 仿真器、数字孪生、策略、价值函数和基础模型：Section 2.5划功能边界。被用来预测决策后果的学习仿真器可以落入世界模型定义；世界模型也可以只预测紧凑潜状态。策略把信息状态映到动作，世界模型把状态和动作映到可能后果。基础模型只有在预测过程满足上述功能标准时才纳入。

• 基线与基准：论文没有实验基线。Section 7用SafeBench、Safety-Gymnasium、nuPlan、WorldGym等作叙事锚点。作者称这些资源的智能体、危害、分母、模拟器和oracle不同，不能只按指标名比较（Section 7.4、Table 7.1）。

• 定位：作者的组织问题更具体，即学习到的环境描述中的偏差如何成为不安全决策，以及何种证据支持这一联系（Section 1）。Section 2.4写，架构演化本身不建立安全性提升。

作者用六阶段安全闭环组织文献，而不是提出新的世界模型或新攻击。

功能定义与使用方式

• 部分可观测时，智能体依据历史而不是真实状态行动。世界模型把历史映成内部状态，并预测动作条件下的下一步潜状态、观测、奖励、安全代价，以及终止或约束相关变量（Section 2.1）。预测分布可分成环境随机性和模型不确定性。
• 内部状态不假定等于物理状态。作者区分任务充分与安全充分：两段历史对奖励预测可以等价，却在选择安全动作所需变量上不同（Section 2.1）。
• 五种非互斥架构族见Table 2.1：潜状态空间、价值等价或任务导向、观测生成或交互、对象中心或空间、混合的世界–动作或评估器。三种使用方式是用模型规划、从想象中学习、模型中介评估（Section 2.2–2.3）。

六阶段与归因

• S1数据与观测，S2状态与记忆，S3动力学与想象，S4评估与规划，S5动作与控制，S6反馈与更新。前向路径解释危害形成，反馈路径解释纠正、持续和放大（Section 3.2）。
• 失败记在安全相关对象最先被破坏的阶段；后续传递不再另计为根因。无法唯一确定时，主阶段归因保持未解决（Section 4.1）。
• Table 3.1给每阶段的保护对象、失效类型和最低证据。作者还定义两个跨阶段性质：决策关键保真，即可改变计划可接受性、排序或安全裕度的区分与不确定性是否保留；可恢复性，即能否及时从退化状态回到可接受运行状态（Section 3.3）。

从偏差到伤害

作者把风险源到后续数据变化写成诊断链

r → Δz_t → Δp_θ → ΔĴ_c → Δrank(α) → Δa_t → H → Δ𝒟_t+1

它标出最先被破坏的对象、计划排序变化、外部伤害或约束违反，以及反馈对后续观测、记忆或训练数据的改变；各项不必齐备（Section 3.4）。

决策关键误差写成

DCE(M, M′) = 1[G(M, z_t, 𝒜_t) ≠ G(M′, z_t, 𝒜_t)]

G返回模型在给定状态和候选计划集上诱导的安全相关关系。作者称该指示量不是通用安全指标，必须连同被改变的关系、规划器、时域和实现结果一起报告（Section 3.4）。

• 攻击主张还要写生命周期阶段、访问面、能力与预算、持续性与自适应性。只测固定扰动对固定防御时，编码为非自适应攻击（Section 3.5）。
• 主张模板要求写明运行假设与版本、被改变的对象或决策关系、指标与测试分布，以及最深后果层级。缺字段则标为不完整，不用解释把主张升级（Section 3.6）。

证据直接性与结果层级

• E1：被评对象是学习到的环境预测器、其状态、想象rollout，或它对学习、规划、监测的明确贡献。
• E2：相邻观测、预测、规划、控制或学习接口，未直接评测所论世界模型依赖。
• E3：集成智能体或控制器的行为或保证，未分离世界模型依赖。硬件部署本身不把E1或E2改成E3。
• E4：术语、一般机制或二次综合。直接性不是质量排序，也不等于结果层级。结果层级另分为模型、规划、行为、运行（Section 3.6）。
• 编码元组还包括模型族、使用方式、主阶段、风险机制、保护对象、防御功能和领域（Section 3.7）。防御功能分为预防、检测、缓解、隔离、恢复，以及变更后的保证更新。

评测主张怎么判定

• 评测被定义成对一条指定主张的检查，而不是模型级安全总分。作者举例：行人占用预测在留出城市路线上校准三秒，只是模型层主张，既不建立规划器保持间隙，也不预测部署车辆的碰撞率（Section 7.1）。
• oracle可以是仪器化真值、高保真仿真或数字孪生、形式规约、专家标注、学习分类器或LLM/VLM评审、带离策略或因果假设的日志估计。报告应写出oracle，以及它未代表现实的哪些方面。论文未指定作者自己使用的评审模型或阈值。
• Section 7.6把配对候选协议、基准卡、条件分层和跨版本再认证写成建议，作者明确它们不是已在文献中验证过的标准。

实验设置

• 研究类型：以主张为中心的文献综合，不是频率型元分析，也没有作者新跑的模型实验（Section 3.1）。
• 检索：覆盖到2026年9月的学习世界模型、潜动力学、动作条件预测环境、交互生成环境，以及世界模型支持的规划、控制、监测或安全评估。查询将这些概念与safety、robustness、uncertainty、attack、defense、assurance、evaluation、benchmark等组合。论文未报告各库命中数和PRISMA流程。
• 纳入与排除：纳入评测动作条件预测器或其状态、rollout、不确定性的工作，测量这些预测如何影响规划、学习、执行、监测或更新的工作，可传递世界模型风险的相邻接口，以及解释主张所需的评测资源。排除无时间决策角色的静态感知或一次性生成、无相关接口的一般性能论文、重复版本，以及无技术对象或可评测协议的评论。
• 编码：每条结果记录主阶段、风险机制、保护对象、防御功能、结果层级、领域与运行假设、E1至E4和发表状态。同一结果跨节引用保持同一编码（Section 3.1、Section 3.7）。
• 语料：本稿163篇不同引用。分节引用数不可相加。补充的语言智能体接口检索默认编为E4，除非测到具体的学习世界模型依赖。
• 指标：作者未计算ASR，也未设评审阈值或重复次数。约束来自主张模板、四层结果和决策关系是否改变。

主结果

| 阶段 | 非对抗失效 | 攻击 | 防御 | | S1 数据与观测 | WAKER | BadDreamer | ReSim | | S2 状态与记忆 | PIGDreamer | ARB4WM | RePo | | S3 动力学与想象 | Calibrated MBRL | DINO-WM/PPO | MOPO | | S4 评估与规划 | CAP | AdvDO | SafeDreamer | | S5 动作与控制 | Recovery RL | BadWAM | Shielding | | S6 反馈与更新 | Continual updates | TrojanWorld | AdaWM |

据Table 1.1。单元格是代表工作，不是性能分数，也不是排行。评测维把S1至S3的模型层资源并到Calibrated MBRL，S4为SafeDreamer，S5为SafeBench，S6为SAFE-SMART / ASIMOV。Table 5.1把AdvDO标为S2/S4；Table 1.1把它放在攻击维S4。DINO-WM/PPO在Table 1.1位于S3，Section 5.7则按固定世界模型、下游策略吸收被污染经验来写。

• 作者认为架构从潜动力学走到物理机器人和可交互生成环境，本身不建立安全性提升（Section 2.4）。
• 作者称像素或潜变量误差不应被当成同等重要。攻击或失效要报到最深已展示因果层；预测像素变化本身不是成功的控制攻击（Section 3.4–3.5）。
• 作者称Section 7所考察资源中，没有一项在同一危害定义下同时测量内部状态有效性、反事实排序、物理伤害、限时干预和重复发布回滚（Section 7.8）。

失效与攻击的证据边界

• 组织方式：Section 4按最先被破坏的对象写无攻击者失效。作者称任务回报和视觉质量不能代替约束满足，模拟代价违反不是已观察到的身体伤害，检出异常也不等于及时恢复。期望约束与逐轨迹规则不能互换。
• 转述的分离：Objective Mismatch的Cartpole实验被转述为控制变差、验证似然没有变差；本稿未给出降幅（Section 5.4）。BadWAM默认每个被攻击重规划步17次前向查询，在惩罚预测未来偏差的同时增大动作偏差；作者称监控绕过仍未解决（Section 5.6）。
• 作者的解读：模型层破坏不必与行为破坏程度同向。BadDreamer的证据停在开环路点；DINO-WM/PPO路径停在原模拟器中的执行。作者称这些链条没有共同展示攻击走完整个闭环，也没有给出物理机器人后果（Section 5.7–5.8）。

防御、评测资源与部署

• 防御边界：Table 6.1把MOPO、SafeDreamer、FOSP、Shielding、预测安全过滤、Safe Deep Policy Adaptation、AdaWM和世界模型异常检测按阶段、保护对象和证据边界并列。作者称E1不表示形式保证，E3也不表示结果证据更弱。
• 作者标明未直接评测之处：记忆投毒、过期和压缩损失的直接世界模型安全文献稀少；相应记忆策略是由接口和背景证据综合的工程要求，不是已直接评测的世界模型记忆防御（Section 6.2.2）。持续更新系统的自动再认证，直接E1证据稀少（Section 6.6.3）。Domberg与Schildbach的残差检测被编为E1运行层检测；作者称残差不能指出原因，小残差也不是安全已成立，检测也不等于恢复成功（Section 6.6.1）。
• 评测与部署：Table 7.1写出各锚点的边界，例如Calibrated MBRL的校准结果无物理主张，WorldGym的排序相关与部署未闭合。作者称SafeBench、Safety-Gymnasium、nuPlan、HABIT不能按指标名互换。DayDreamer被编为E1行为层任务学习证据；OccWorld为E1的模型层占用预测加规划层离线轨迹评估，作者称这不建立闭环驾驶安全（Section 8.1）。

其他消融与分析

• 论文未报告作者自己的消融、超参数扫描或重复实验。
• Table 4.1、5.1、6.1、7.1是机制与证据边界对照；作者写明它们不是性能排行或穷尽目录。
• 作者称在所考察代表集合中，长寿命安全相关记忆误差到达运行结果的直接测试，以及危险状态–动作对上的置信与所选计划风险的联合测量，仍然少；这不是对全部文献的计数（Section 4.8）。
• 只测固定扰动对固定防御的研究被编为非自适应，不能支持对知道防御或可随时间迭代的攻击者的鲁棒主张（Section 3.5）。
• 语言接口上的Cognitive-Driven Defense、MirrorShield、LlmFixer、OpenEvoShield被编为E4；作者称其越狱抵抗或消息级检测不能验证视觉观测、转移标签或物理安全（Section 6.1.1、Section 6.4.1、Section 6.6.2）。

作者指出的局限与后续方向

• 作者称世界模型术语和架构仍然异质，直接安全证据比强化学习、控制或机器人中的邻接证据更稀少，文献变化也快于任何固定检索快照（Section 10）。
• 作者写，仿真、特定规划器或特定更新过程上的结果，不应推广到不受限的运行安全（Section 10）。
• 作者在Section 3.1把语料的主要局限写成词汇漂移、发表状态不均，以及暴露完整预测到后果链条的研究稀少。Section 3.7写，框架不能只从模型层指标推断真实安全，不能消解未充分规定的安全目标，也不能把一个领域的证据自动转到另一个领域。
• 作者提出把决策关键保真从点预测扩到多步和轨迹级，覆盖不确定性累积、分支未来，以及模型误差对规划器或控制器的影响，并保持部署时延下可行（Section 9.1）。
• 作者提出把安全充分状态与独立运行时保证配对：写明独立性假设，测试失败交接和降级信息，并同时测量伤害减少和可用性；闭环评测还要分开攻击者权限、持续对象、模型变化、计划变化、实现的违反，以及重置或回滚后的行为（Section 9.2–9.3）。
• 作者提出可比较的评测声明、仿真到部署的安全转移，以及把持续学习、供应链和运行治理纳入安全论证，包括版本批准、回滚权限、事件报告和责任分配（Section 9.4–9.5）。

实验覆盖范围

• 证据语料为截至2026年9月的163篇去重引用；纳入条件覆盖动作条件预测器及其状态、rollout或不确定性，这些预测对规划、学习、执行、监测或更新的影响，可传递风险的相邻接口，以及解释主张所需的评测资源（Section 3.1）。
• 每条结果按模型族与使用方式、主循环阶段、风险机制、保护对象、防御功能、评测层级、领域和E1至E4编码（Section 3.7）。
• 正文综合覆盖S1至S6上的非对抗失效、攻击、防御、模型至运行四层评测，以及manipulation、navigation and driving、multi-agent and human-interactive三类部署讨论（Section 4–8）。
• 攻击条件按Section 3.5使用white-box、gray-box、black-box，并区分自适应与非自适应编码；语言智能体补充检索在未测到学习世界模型依赖时编为E4。
• 论文未报告各库命中数、PRISMA筛选流、作者自行运行的模型、重复次数和查询预算（Section 3.1）。Section 7.8写，所考察资源没有在同一危害定义下联合测量内部状态有效性、反事实排序、物理伤害、限时干预和重复发布回滚。

世界模型安全被组织成预测决策闭环的性质，而不是孤立的预测分数。

• 问题：动作条件世界模型用于规划、想象学习和仿真。作者认为预测质量与安全行为之间隔着决策过程，误差会沿想象轨迹累积，优化也可能偏向模型过于乐观的动作。
• 框架：六个功能阶段从数据与观测走到反馈与更新。五种架构族和三种使用方式只说明表示与消费方式；安全分析另用阶段、保护对象、结果层级和E1至E4。阶段不是六个必选模块。
• 做法：检索至2026年9月，去重引用163篇。每条结果按入口阶段、对抗或非对抗机制、防御功能和证据直接性编码。缺字段的主张标为不完整，不用解释升级。
• 综合所见：Table 1.1只列代表工作，不给可比较的安全分数。作者称模型层变化不必与行为破坏同向。BadWAM被转述为每个被攻击重规划步默认17次前向查询，监控绕过仍未解决。Section 7.8写，所考察资源没有在同一危害定义下联合测量内部状态、反事实排序、物理伤害、限时干预和重复发布回滚。
• 作者的结论：可辩护的主张应把模型相关偏差连到已观察的决策或行为，并写明领域、威胁条件、时域和版本。E1至E4只描述证据直接性，不是安全分数。作者把后续工作指向决策关键保真、独立运行时保证、闭环威胁、可比较评测，以及更新之后的保证更新。