论文证明部分可观测且限时行动环境下完美智能体也无法保证安全

在只能部分观测、且必须在有限时间内行动的环境里，不依赖具体智能体的安全保证能否成立。

• 场景：作者称自主智能体用于国防等领域时，安全方案很关键，而证明安全很难。分拣中心须按视频流丢弃危险物品，并尽快把药品送往医院；延误可能使病人死亡。Figure 1 图注称，透明液体药瓶使毒素与药物在观测上不可区分，安全动作互斥，没有任何自主智能体能保证安全。
• 作者所说的不足：作者称多数工作聚焦智能体，关心对齐是否可判定，而不是真实环境状态能否识别；信息不完整且时间有限就必须行动的条件通常被忽略。作者称，即便有批评者主张一般对齐保证不可能，他们仍认为特定模型设计或架构下可以实现对齐。
• 核心观察：作者把安全动作和观测模型视为工程师施加的约束，智能体独立于环境。若两个潜状态观测相同而安全动作没有交集，作者称任何确定性时延 L 控制器都不能对两者同时保证安全。
• 本文给出的内容：与所用模型无关的形式框架，以及无限状态空间、信号混合两个场景。作者称即便完美智能体也不能保证安全行为；任何安全或对齐证明都必须把环境、可做的观测和安全动作与智能体一起考虑。

引言把一般安全保证的不可能性归于已有讨论，Discussion 再与可证明安全、语言识别和无限博弈对照。论文没有报告实证基线或基准。

不可能性与对齐

• Rice (1953)、de Melo 等 (2024)、Yao (2025)、Nourizadeh (2025)：引言称一般安全保证的不可能性已被讨论并证明。作者称其中的批评者仍主张，针对特定模型设计或架构可以实现对齐；该主张的引用是 de Melo 等 (2024) 与 Nourizadeh (2025)。
• Yao (2025)：作者称其对无穷维环境向量有与 Theorem 1 类似的陈述，但本文强调状态个数而非向量维数。作者称其所引悖论由“分析复杂环境的规则不可枚举”推出对齐不能保证，且未顾及可以做到这一点的环境。作者称本文论证更强：ϵ-安全不能保证是潜状态空间与观测的函数，独立于规则集、智能体或任务。

可证明安全

• Dalrymple 等 (2024)：用世界模型、安全规约（集合或分布）和验证器构成 guaranteed safe AI。作者称其形式化没有观测映射 O_L、环境，也没有行动时限。作者认为，部分可观测时须对所有观测和所有 z、z'∈V_L 得到安全动作交集非空；否则即便有 optimal 世界模型与验证器，时延 L 控制器也不能保证 ϵ-安全。作者称这主要取决于 S(z) 的设计，可以独立于智能体。
• Tegmark 与 Omohundro (2023)：论文转述其认为，可证明安全的人工智能将来可以借助自动软件验证实现。

极限识别与无限博弈

• Gold (1967)：沿离散时间收缩不确定性，在极限中识别语言。作者称其界同样依赖环境结构与观测模型而非智能体，但设定是无限时间以及干净、分开的观测；并称识别任何超有限语言类需要 informant 提供的负例，除非施加可计算的限制性序。作者把本文区别为：须在有限 L 内根据不完整观测行动，且多源观测可经混合算子 M 叠加。
• Holtmann、Kaiser 与 Thomas (2012)：作者把原文 vocabulary 改写成环境状态与安全动作空间后称，在 ω-正则获胜条件下，判定策略是否获胜的上界随二者指数增长。论文未写出该指数的底。
• Fridman、Löding 与 Zimmermann (2011)：作者称上下文无关获胜条件可以需要无界前瞻。Zimmermann (2015) 只在同一组有界 L 延迟无限博弈的引用中出现，正文未单独转述其定理。作者称 Theorem 1 不使用这套形式理论，也不依赖获胜条件如何表述；并称信号叠加未被这组文献处理。

信号叠加

• Cherry (1953)：语音识别中的鸡尾酒会问题（cocktail party problem），指信号源叠加。
• Wiley (2006)、Gunn 等 (2025)：雷达传感中的叠加。
• Zeitler 等 (2024)：遗传学中的叠加。作者称这些领域说明叠加对自主智能体是现实问题，并称由 Theorems 2 与 3 可得，ϵ-安全不能保证，且与智能体、其设计和训练无关。

作者把本文定位为：提供安全要求可以不依赖所用智能体的形式例子；并称不考虑环境、可做观测与安全动作空间的对齐或安全研究，从根本上有缺陷。

框架把控制器写成时延 L 的映射：安全取决于潜状态能否在时限内被区分，以及对应安全动作是否相交，而不是取决于用哪个模型。符号见 Table 1。

时延控制器与开放环境

• 时延 L（latency-L）：时刻 t 的动作 a_t∈A 是观测 y_{t:t+L} 的函数 π_L。行动前最多再做 L 次观测。时间离散，每个时刻有一次观测。Table 1 称 L 由工程师或环境施加；正文称 L 是需要可测量量的工程选择。
• 隐藏状态与观测映射：环境 E 处于 z∈Z，只能部分观测。观测映射（observational map）O_L 把 z 映到行动前的观测，即智能体的输入。
• 不可区分：若 O_L(z)=O_L(z') 但所需动作不同，作者称没有确定性时延 L 控制器能在两个状态上都正确。若安全动作集 S(z)、S(z') 的交集为空，则不能对两者同时保证安全。
• 开放环境：作者定义为智能体只能部分观测的设定。作者称 L 权衡可靠性与性能：应尽量小，又须大到能减少观测不可区分。

ϵ-安全与三种情形

• 歧义距离定义为 δ_ϵ(z,z′)=inf{λ∣ Pr[O_λ(z)≠ O_λ(z′)]≥ 1−ϵ}，即使两状态以不小于 1-ϵ 的概率可区分所需观测数的下确界。Table 1 称 ϵ 为允许出错的概率阈值，并把 δ_ϵ 称为区分任意两个环境状态所需的观测数。
• 除另行说明外只考虑确定性环境，并省略 ϵ 下标。正文称 O_L 是确定性的，随机定义是因为环境本身未必确定。
• V_λ 是产生同一段 λ 次观测的全部环境状态。作者称该集合受观测映射限制，与所用模型无关。训练在文中被写成：寻找内部表示，使对应集合尽快按包含关系收缩，且受真实序列限制。Results 要求对所有观测，V_L 上的安全动作集合非空；Discussion 写成对所有 z、z'∈V_L 与所有观测，S(z)∩S(z') 非空。
• 最坏情形定义为 R(ϵ)=sup{δ_ϵ(z,z′):S(z)∩ S(z′)=∅}，即安全动作互斥的状态对上，歧义距离的上确界；作者将其称为 ϵ-安全，并称 R 更依赖观测模型而非智能体类型或实现。三类为：Safe，R<L<∞，可以保证；Application-incompatible，可用时延小于有限的 R，不能保证但可以估量，状态延迟可识别；Unbound，R=∞，任何有限时间都不能保证，状态不可识别。

无限状态空间

• 作者假设许多应用有 |Z|=∞。Definition 1 把 (Z, γ) 定义为有序结构，γ 由歧义距离的上确界规定。
• Theorem 1：若某子集上该序有到自然数小于关系的同构，则其中每一对状态的歧义距离有限，但上确界为无穷，从而全体上确界也为无穷。定理陈述把这一对写入 Z'，证明讨论的子集是 Z̄。
• 作者称有限经验测试只对应有限子集，可能给出误导的 δ 上界；只有当 R 不随 δ 增长时，才能形式地给出 ϵ-安全。作者还称，给出 ϵ-安全还须满足其一：安全动作互斥所涉及的状态集有限，从而 R 可显式计算；或者不存在单射 ϕ。作者称若全体安全动作的并有限，第一条平凡成立；即便 ϕ 不存在，δ 也未必能显式算出，但 R 有界。
• ϕ 存在的例子：声音或光要经过时间 T 才能被观测到，T 随距离增加；距离可以任意长时，可区分时间可以到无穷。

信号混合

• 只考虑观测信号混合，不叠加潜状态。Y_t 是 k 个信号源的干净观测向量，M 为混合算子，输出叠加信号。
• Theorem 2 以例子说明：存在环境与非单射 M，使干净观测下两状态的歧义距离有限，混合后对所有 L 观测相同，歧义距离为无穷。
• 例子使用维数 d>2 的二值向量。三个观测分别只在下标 i、只在 j（i≠j）、以及同时在 i 和 j 为 1。前两个对应含两个信号源的 z1，第三个对应只含一个信号源的 z2。无信号的源发出全零向量。无混合时两状态的观测向量不同。M 取算术加法后，两种潜状态都只在 i 与 j 为 1。
• Theorem 3 把整个状态空间取为这两个状态，且安全动作交集为空。作者称干净观测的歧义视界有限，非单射 M 可在可允许信号源配置的一个子集上使混合后的视界为无穷。作者由此称，有信号混合的环境中，任何时延 L 控制器都没有 ϵ-安全保证；不可识别性即使在线性叠加下也可出现，并取决于智能体能感知什么。

实验设置

• 实证实验：论文未报告被测模型、数据集、基线、样本量、重复次数或评审模型。Results 是定义与定理，不是模型实验。
• 形式对象：环境 E、时延 L、动作空间、观测、潜状态、观测映射、安全动作集、阈值 ϵ、歧义距离与 R。符号在 Table 1。
• 场景：无限状态空间对应 Theorem 1；信号混合对应 Theorems 2、3。动机例子是分拣中心的透明药瓶。Figure 1 为示意图，图注没有数值。
• 证明中的设定：除另行说明外为确定性环境。Theorem 2 的例子使用 d>2 的二值向量，混合算子为算术加法，潜状态为 z1、z2。
• 致谢中的模型：Claude Opus 5 与 ChatGPT-5.6 Luna 被写为用于发展框架，Figure 1 由 Claude Opus 5 生成。论文未把它们列为被评测对象。

主结果

论文没有模型乘条件的数值表。下表只摘定理陈述和证明中的关系，不是实验测量。

表格较宽，可左右滑动

陈述	设定	论文中的结论	出处
Theorem 1	无限状态空间，子集与自然数序同构	每一对歧义距离有限，上确界为无穷	Theorem 1
Theorem 2	信号源可分别观测	证明中 δ(z1,z2)=0；定理陈述为有限	Theorem 2
Theorem 2	非单射算术加法混合	对所有 L 混合观测相同，δ(z1,z2)=∞	Theorem 2
Theorem 3	状态只有 z1、z2，安全动作交集为空，干净观测	R_clean=0	Theorem 3
Theorem 3	同上，非单射混合	R_mixture=∞	Theorem 3

• 作者把与时延的比较分成三类：R<L<∞ 时称可以保证 ϵ-安全；可用时延小于有限 R 时称不能保证但可以估量，状态延迟可识别；R=∞ 时称任何有限时间都不能保证，状态不可识别。
• 作者称 R 更依赖观测模型，而不是智能体的类型或实现；基于有限采样的测试可能给出误导的 δ 上界。作者称，若 R 随 δ 增长，就不能只凭有限测试形式地给出 ϵ-安全。
• Theorems 2 与 3 是存在性陈述。紧接的文字中，作者称不可识别性取决于可感知的信号源，不依赖特定模型；并称在有信号混合的环境里，任何时延 L 控制器都没有 ϵ-安全保证。

其他消融与分析

• 论文未报告消融、参数扫描、重复实验或另列的失败案例。
• Discussion 中的文献对照没有新的数值：作者称 Gold 使用无限时间与干净、分开的观测；Holtmann 等的判定上界被改写后随状态与安全动作空间指数增长，论文未给底数；信号叠加未被所引无限博弈文献处理。

作者指出的局限与后续方向

论文未专门讨论局限。Discussion 与 Conclusions 没有把某项写成不足或后续工作。引言写本文并不声称完备，只提供安全要求独立于所用智能体的形式例子；该句不在 Limitations、Discussion、Conclusions 或附录中。

实验覆盖范围

• Results 给出 Theorem 1、Theorem 2、Theorem 3；Theorem 2 的证明是一个 d>2 的二值向量例子，混合算子取算术加法。
• 除另行说明外，正文随后只讨论确定性环境；δ_ϵ 的概率定义写在这之前。
• 信号混合一节写明只考虑观测信号混合，不讨论潜状态 z 与 z' 的叠加。
• Discussion 对照了 Gold (1967)、有界延迟的无限博弈、Dalrymple 等 (2024) 和 Yao (2025)，没有数值实验表。
• 论文未报告被测模型、查询或迭代预算、重复次数、评审模型，以及评审与人工的一致性。

作者讨论的是：必须在有限额外观测后行动的控制器，在只能部分观测的环境里，能否有与模型无关的安全保证。

要处理的情况是，延误本身有代价，而观测又可能分不清必须采取互斥安全动作的两个潜状态。分拣中心的透明药瓶是作者给出的例子。Figure 1 图注称，没有任何自主智能体能保证安全。

做法是把动作写成观测窗口的函数，用观测映射描述可见输入，用 S(z) 列出安全动作。分开两个状态所需的观测数记为歧义距离，安全动作互斥的状态对上该距离的上确界记为 R。作者按 R 与可用时延的关系分成可保证、不能保证但可估量、以及任何有限时间都不能保证三类。

构造有两项。状态空间无穷且某子集与自然数的序同构时，作者称每一对的歧义距离有限，上确界仍为无穷，有限测试可能把上界看低。信号可以分开观测时，Theorem 2 的二值向量例子给出 δ(z1,z2)=0；算术加法混合后，对所有 L 观测相同，该距离为无穷。Theorem 3 把状态空间收成这两个状态且安全动作交集为空，得到 R_clean=0、R_mixture=∞。

作者的结论是：需要限时行动的自主系统，只有明确同时考虑部分可观测环境与安全状态，安全才能保证；独立信号源的非单射混合可以要求无限前瞻。作者称这一要求不依赖智能体模型或训练，忽略环境、观测与安全动作空间的研究从根本上有缺陷。