LLM 对齐中的困境与冲突可解吗？一个来自优先级图的视角

LLM 对齐要在随语境改变、且可能不一致的指令与价值优先级之间做选择。

• 场景：作者称，模型从内容生成走向自主智能体后，会同时遇到系统指令、用户指令、检索信息和多种人类价值。第2节称这些冲突广泛存在于真实使用中，而不是边缘情形。
• 已有探索：作者称，已有工作开始识别日常价值两难（Chiu et al., 2025a）和层级化指令冲突（Wallace et al., 2025; Zhang et al., 2025; Wu et al.），并称后者会使当前模型性能下降。作者据此把分类扩到信息冲突、经典伦理两难和主观偏好。
• 核心观察：选择可写成条件分布，优先级可画成有向图。作者称该图既不静态，也不必然跨语境一致，还可能含有向环，因此统一、稳定的对齐很难。
• 本文给出的内容：五类冲突分类、priority graph、一种名为 priority hacking 的操纵方式，以及运行时向外部来源核验语境。作者同时认为，许多伦理与价值两难在哲学上不可归约。
• priority hacking：
  • 目标：让对齐模型绕过安全约束 Asafety，去完成被包装成更高优先级价值的有害请求。
  • 知识：论文未使用 white-box、black-box 或 no-box。作者称对手利用训练中已经形成的价值层级，寻找在某语境里已优先于安全约束的良性高层价值 Avalue。
  • 能力：构造语境 Cadv，使该语境下 Avalue 优先于 Asafety。第4节把有害请求放进伸张正义的叙事，此处不复述提示词。
  • 受害系统：正常情况下应对危险查询应拒答的对齐 LLM；第5节把核验对象写到会依据用户语境执行指令的 LLM 智能体。

论文没有 Related Work 专节。引言和第2节按冲突类型引用相关工作，下面每组不超过论文实际展开的范围。

指令层级与竞争目标

• Wallace et al. (2025) 讨论训练 LLM 优先服从特权指令；Zhang et al. (2025) 的 IHEval 评测模型是否遵循指令层级；Wu et al.（引用未标年份）用 instructional segment embedding 把指令层级用于安全。作者称，开发者指令与终端用户指令冲突会造成当前模型性能下降。
• Wei et al. (2023)、Perez and Ribeiro (2022)、Schulhoff et al. (2023)、Shen et al. (2023)、Qiang et al. (2023)、Yong et al. (2023) 被并入同一现象：安全指令会与用户给出的复杂格式约束竞争。论文只描述该现象，未与这些方法做定量对比。

信息冲突与外部输入

• Xie et al. (2023) 分析 LLM 在知识冲突中的行为；Xu et al. (2024) 综述 LLM 的知识冲突。作者用它们说明参数化知识与外部信息可能不一致。
• Fan et al. (2024)、Ren et al. (2023) 被引为 RAG 及事实边界相关工作，Schick et al. (2024) 被引为工具使用。论文未批评这些方法。
• Toyer et al. (2024) 的 Tensor Trust 被引为间接提示注入：检索内容中的隐藏指令可能劫持模型行为。

伦理、价值与偏好

• Chiu et al. (2025a; 2025b) 的 DailyDilemmas 用日常生活两难考察价值偏好；第2.4节借用其中如实报告与保护病童的例子。Jin et al. (2025b)、Hatemo et al. (2025)、Samway et al. (2025) 被引为电车问题及模型选择所显出的伦理框架。
• Pan et al. (2023) 的 Machiavelli 衡量奖励与伦理行为的权衡；Huang et al. (2025)、Kang et al. (2025)、Sorensen et al. (2024) 被引为现实交互或多元价值中的价值分析。Schwartz and Bardi (2001) 被引为价值多元。
• Zheng et al. (2023) 把 LLM 用作评审；Jiang et al. (2023; 2024)、Wu et al. (2025)、Zhu et al. (2024)、Santurkar et al. (2023)、Kirk et al. (2024a; 2024b) 被引为个体偏好、人格或多元反馈。作者用它们说明没有客观标准时，评审要面对主观偏好分歧。

论文未设基线，也未在 DailyDilemmas、IHEval、Machiavelli 或 PRISM 上报告自己的结果。引言把 Ouyang et al. (2022) 的人类反馈指令遵循，当作追求 helpful、honest、harmless 的一条主线。作者把本文定位为：分类超出指令层级和日常价值两难，并用条件优先级图把这些冲突放进同一框架，再讨论 priority hacking，以及哲学上不可归约的部分。

作者把冲突写成语境条件下的二选一，用 priority graph 表示谁优先于谁；对可被伪造语境操纵的部分，提议 runtime verification。二者都停留在形式化与机制设计，论文未给出实现。

条件决策

• 给定语境 C 和两个竞争行动或价值 A1、A2，模型输出决策 D。作者把它写成 p_θ(D|A₁, A₂, C)，即参数为 θ 的条件分布。
• 若 M(D, A₁, C) > M(D, A₂, C)，则记 A1 ≻ A2。作者不严格形式化 M，并称现实定义可以是对数概率，也可以是其他打分机制。
• 这一写法被用来对照阿西莫夫三定律那种线性排序。作者认为真实优先级不是单一路径。

优先级图

• 图记为 GC = (V, EC)。节点 V 是指令或价值，如系统指令、用户指令、安全、有用性；有向边是该语境下的优先关系。
• 边 (A1, A2) 存在，当且仅当模型被迫二选一时把 A1 放在 A2 之前。图表示的是条件决策，不是训练时显式给定的结构。
• 作者举出的简单路径包括：系统提示词 ≻ 用户指令 ≻ 外部检索知识；正义 ≻ 可持续性 ≻ 经济价值；人类安全 ≻ 人类指令 ≻ 自我保护。
• 作者认为模型未必按有向图训练，但可能从不同语境的训练数据中隐式学到优先级，并引用 Chiu et al. (2025a)、Zhang et al. (2025)、Wallace et al. (2025)。

动态性与循环

• 边集 EC 随语境 C 重配。作者列出的因素有：具体用户及其偏好、对话历史与先前轮次、交互时间及社会规范变化、工具或 API 等外部环境。
• 第3.2节举例：创意写作语境可以是创造力 ≻ 事实准确性；研究者语境可以变成事实准确性 ≻ 经济价值。后一对比按原文照写。
• 图可以含有向环，例如 A1 ≻ A2 ≻ A3 ≻ A1。作者称这表示不可调和的悖论。
• 因此，若想指定一个跨语境一致的静态 GC，作者认为关键困难是该图既不静态，也不必然逻辑一致。

priority hacking

• 正常情况下，对齐模型应对恶意或危险查询拒答，以满足 Asafety。
• 作者将其称为一种可能的攻击形式：找出良性高层价值 Avalue，构造 Cadv，使该语境中 Avalue 优先于 Asafety。第4节把这一关系写成 M(D, Avalue, Cadv) ≻ M(D, Asafety, Cadv)，与第3节的 > 写法不同。
• 机制是把有害请求表述成服务于该高层价值的行动。作者称，训练数据使模型在某些情境中把正义、公共安全或教育自由等抽象价值放在一般限制之上。第4节的例子使用伸张正义与公共健康的叙事，此处不复述提示词。
• 正文用 may：作者认为这可能导致模型为满足 Avalue 而违反 Asafety。摘要的说法更肯定，称对手可以构造欺骗性语境来操纵该图并绕过安全对齐。论文未报告成功率、查询次数或迭代预算。

运行时核验

• 作者认为，伪造语境能够得逞，是因为模型常常分不清真实的高风险语境和用户编造的语境。
• 提议在执行由用户语境支撑、且可能有害的指令前，向真实的外部信息源核验前提。若发现虚假或欺骗，丢弃被操纵的 GC，回到默认安全图 Gdefault。
• 第5节有两个设想，不是实验：正义叙事可检索可信新闻档案与法律数据库，查无可信报道则拒绝有害输出，作者称仍可履行 Ajustice；恶意信息注入则可向授权用户核验，并对照预定义安全协议。
• 论文未给出外部源清单、核验模型、阈值或拒答策略。作者认为，这样能使模型从单纯遵循指令，转向评估所收到的指令。

实验设置

• 被测模型：论文未报告自己运行的模型。参考文献中的 GPT-4 系统卡和他人论文里的模型，作者未称由自己测试。
• 材料：没有自建或复现的评测集。Table 1 定义五类冲突并各给一类示例。第2节的多轮对话、检索矛盾、电车问题、资源分配、价值权衡和评审偏好都是举例。
• 他人数据：DailyDilemmas（Chiu et al., 2025b）只被借来说明真实性与保护之间的两难。Machiavelli、IHEval、PRISM 出现在引用中，论文未报告自己的分数。
• 基线：未设置。
• 指标与评审：未定义 ASR、准确率或人工一致性，未指定评审模型、阈值、样本量或重复次数。
• 判定：priority hacking 在概念上是模型为满足 Avalue 而违反 Asafety。论文未把它写成可计分协议。

主结果

论文未报告定量主结果。下表转录 Table 1 的定义与示例类型，不是测量值。

类型	定义（Table 1）	示例类型（Table 1）
Instruction	两条或更多显式指令直接矛盾	先要求不提姓名，再询问发件人
Information	参数化内部知识与外部信息冲突	检索新闻与训练数据不一致
Ethics	在两个基本伦理框架之间做选择	电车问题中的功利主义与义务论
Value	两个或多个正向、与人类对齐的价值冲突	为避免给病童造成精神伤害而说谎
Preference	在主观、多样、非事实的人类偏好间裁决	判断两首诗哪一首更好

• 作者称，这五类从句法与语义矛盾延伸到规范性与主观冲突，并认为它们广泛存在于真实 LLM 场景。论文未给出出现次数或比例。
• Figure 1 的图注是当前 LLM 应用中的五种冲突。转换文本没有坐标轴、图例数值或柱高。
• Figure 2 的图注分成三部分：优先级图、利用该图绕过越狱安全约束、与外部信息源通信以核验语境。文本中没有可抄的数值。

概念性例子

• 指令与信息：第2.1节用持久约束与后一轮直接询问的矛盾，以及竞争目标，说明模型需要隐含的优先级。第2.2节对比过时的参数化知识与检索文档，并讨论外部文档带偏见或含隐藏指令时的信任问题。论文未报告模型实际选了哪一边。
• 伦理、价值与偏好：电车问题与公共资源分配被用来说明选择会承诺某种伦理框架；价值例子包括可持续性对经济价值，以及 DailyDilemmas 中的真实性对保护。偏好例子是没有客观标准的故事或艺术评审。均为设想情境。
• 攻击与核验设想：第4、5节只给出机制和场景。作者称伪造语境可能导致安全约束被绕过，外部核验可以识别欺骗性前提并回到 Gdefault。没有前后对比数字。

其他消融与分析

• 论文未报告消融、参数扫描、迁移评测或人工评估。
• 第3节明确不严格形式化 M，因此没有阈值或打分函数的敏感性结果。
• 摘要称运行时核验增强鲁棒性；第6节的语气是或许有助于处理事实错误或欺骗。两处都没有实验数字。

作者指出的局限与后续方向

• 技术路径的边界：第6节称，运行时核验或许有助于处理基于事实错误或欺骗的冲突，但许多最深的两难不能这样解决，因为没有普遍接受的正确答案。
• 哲学上不可归约：摘要与第7节称，许多核心伦理与价值冲突在哲学上不可归约；应对这些困境是对齐的长期开放挑战。
• 没有终极排序：第6节称，决定哪些价值应被优先可能在哲学或人类社会学中没有终极答案。作者还称人所持价值并非静态，提示策略可以改变模型显现的价值层级；该段未给出具体研究、模型或数字。
• 模型应如何行动：第6节把三个问题留给后续：面对深层伦理冲突时是否拒答；是否并列不同哲学框架的论证；是否做成可调控，让终端用户在交互前设定核心价值优先级。

实验覆盖范围

• 第2至第5节的内容是五类冲突分类、优先级图形式化、priority hacking 的机制描述，以及运行时核验的概念设计。
• 论文未报告被测模型、样本量、重复次数、评审模型或任何定量指标。
• 论文未报告 priority hacking 的攻击成功率、查询次数或迭代预算。
• 论文未报告 runtime verification 的实现、外部信息源、核验协议或防御评测。
• Table 1 给出五类冲突的定义和示例类型，未报告各类规模；第3节未严格形式化 M，未报告具体打分机制或阈值。

作者提出一个立场：LLM 对齐里的两难，不一定能收成跨语境稳定的单一优先级。

• 要处理的冲突：显式指令可以互相矛盾，参数化知识可以和检索信息冲突，后果论可以和义务论冲突，多个正向价值以及不同用户的主观偏好也会对立。作者认为，模型越自主、越进入社会与经济场景，这些冲突越常出现。
• 优先级图：节点是指令或价值，边是某一语境下的优先关系，由模型的条件选择决定，测量函数 M 不被严格规定。图随用户、对话历史、时间和社会规范、外部工具重配，也可以出现有向环。作者据此认为，指定一个静态且逻辑一致的全局优先级很难。
• priority hacking 与核验：对手可以构造语境，让模型已有的高层价值压过安全约束。作者提议在执行前向外部可信来源核对前提，虚假则回到默认安全优先级图。摘要称这增强鲁棒性；第6节只说或许有助于应对事实欺骗。论文没有实验数字。
• 作者的结论：核验不能消解最深的伦理与价值冲突。这些冲突体现价值多元，没有普遍正确答案。模型应拒答、并列不同哲学视角，还是把核心优先级交给用户设定，作者认为仍是对齐的长期开放问题。