研究提出表征相似度优化，提升大语言模型对抗条件下的安全泛化

回应级对齐主要约束可见回答，有害意图换种说法后模型仍可能失守；作者提出对齐人类道德分类的潜在结构。

• 场景：作者称模型已进入复杂真实场景，无害性主要靠人类或 AI 反馈的强化学习、监督微调和推理时对齐，直接约束回答。作者认为这能提高可见服从，但会收窄策展数据里的回答模式，提示词、上下文或目标变化时仍会被越狱。
• 对照：作者借用原型理论：人把概念放在原型周围，按分级典型性归类，因而能把概念用到陌生实例。作者称 LLM 表征主要为压缩和预测统计规律，较少保留这种分级；不影响人的措辞变化，仍可能让表征越过已学安全边界。
• 观察：作者从 Social-Chemistry-101 派生 251,334 条原子判断，检查 23 个开源权重模型（0.6B 到 235B，含 base、instruction-tuned、safeguard）。作者称对立道德类常常分不开，类内典型性峰值 Spearman 不超过 0.55，且同一谱系变体轨迹相近。
• 做法：作者提出表征相似度优化（ReSO）：用同一批判断，把潜在表征之间的相似度对齐到人类道德分类，不监督、也不奖励生成回答，并与 DPO 对照。

论文没有单独的 Related Work，讨论在引言和 Discussion。

回应级对齐

• 反馈与偏好：Bai 等（2022）的 Constitutional AI、Ouyang 等（2022）的 RLHF、Rafailov 等（2023）的 DPO，以及 Wang 等（2024）的 InferAligner，用反馈、偏好或推理时引导约束回答。作者认为这类方法能提高可见服从，但可能收窄回答模式，提示词、上下文或目标变化后仍会失败。

越狱与评测框架

• 失守现象：Wei 等（2023）讨论安全训练为何挡不住越狱；Andriushchenko 和 Flammarion（2025）给出自适应攻击。作者把它们作为标准评测下仍脆弱的依据。
• 评测工具：HarmBench（Mazeika 等，2024）和 OpenRT（Wang 等，2026）在本文中是稳健性评测框架。论文没有把它们当作待改进的对齐算法来批评。

原型与模型概念

• 人类分类：Rosch 的范畴化原则，以及 Pettine 等（2023）、Houser 等（2024），把概念组织在原型周围，并按分级典型性泛化到新实例。作者用这一账户解释人为何能跨语言形式认出同一有害意图。
• 模型侧：Shani 等（2026）比较 LLM 与人在压缩和意义之间的取舍。作者称本文的典型性相关与该工作关于一般概念表征的发现一致。Discussion 另引 Mikolov 等（2013），称下一 token 预测奖励的是语言上下文中的统计可替换性。

道德数据与基线

• 参照：Forbes 等（2020）的 Social-Chemistry-101 提供众包日常规范判断；Graham 等（2011）的 Moral Foundations Theory 给出五对对立基础。作者用它们构造十维分级参照。
• 基线与基准：对照是同一 251,334 条派生判断上的 DPO，以及每个 MFT 基础内打乱标签的 ReSO。分布外基准为 HaluEval、MMLU-Pro、Ethics Benchmark、Flames、MoReBench、XSTest、HarmBench、DeceptionBench、OpenRT。

作者把 ReSO 放在回应级服从之外：不监督生成回答，而把类别与典型性关系当作对齐目标。作者称只优化偏好回答没有带来同样的对抗稳健性。

作者不监督生成回答，而用 ReSO 把各层潜在表征的两两相似度，对齐到人类道德判断向量之间的关系。

人类道德参照

• 清洗：取 Social-Chemistry-101 的单标注员条目，去掉低质量或不完整记录，多基础标签拆成每基础一条，得到 251,334 条原子判断。补充材料写原始语料有 355,923 条众包判断。
• 十维向量：判断分 j∈[-2,2] 映成极性 v=j/2，同意分 c∈[0,4] 映成权重 w=c/4。美德侧成员度为 ReLU(v) 乘 w，恶德侧为 ReLU(−v) 乘 w。五个 MFT 基础拆成 care、harm、fairness、cheating、loyalty、betrayal、authority、subversion、sanctity、degradation；非该基础的维为 0，中性判断为零向量。幅度是置信度加权的典型性。
• 划分：按源标注划分后再展开，训练 201,023、验证 25,170、测试 25,141。

表征读出与诊断量

• 分析子集：16,135 个动作，按十类和典型性分层。模板为「action is morally」，单次前向，取每层残差流的 mean-pool，再减去该层全局均值。作者引用既有报告，称 mean-pool 比末 token 更稳地编码概念结构。
• 原型分离：一类原型是该类成员度等于 1 的动作的中心化激活均值。对立极分离是美德、恶德原型的余弦相似度：负值表示方向相反，正值表示区域重叠。
• 典型性与探针：类内计算动作到原型的余弦接近度与人类典型性的 Spearman 相关，取跨层峰值。线性探针在原始激活上回归十维向量，AdamW，分层子集 80/20，在 held-out 上算 R²。

ReSO

• 模型侧：编码原始动作文本，各层对内容 token 的残差流做 mean-pool，再用 stop-gradient 指数滑动平均中心化。相似度是中心化向量的余弦。不使用奖励模型或 judge，也没有行为目标。
• 人类侧三元组：相似度取两动作十维向量差的范数的相反数。三元组来自同一基础的美德、中性、恶德片段，仅当人类侧相似度差至少 δ_h=0.2 才监督；同一动作的重复记录排除，候选中无放回均匀抽样。
• 损失：总损失为 ℒ=ℒ_struct+βℒ_pres。结构项在每层用 Bradley-Terry 目标拟合人类排序，温度 τ=0.1，相似度间隔 δ=0.05，各层均匀平均。保持项是 50,000 篇不含道德标注的一般文档上、未掩码位置的 KL(p_ref ∥ p_θ)，β=1。作者称只训保持项会复现初始模型。
• 优化：训练全部解码器，冻结输入嵌入和 unembedding。八张 NVIDIA H200。每步每 rank 260 条分层动作；保持项每 rank 2 条、最长 1024 token。优化器为 AdamW。1,000 step，每 25 step 验证。论文按模型设置峰值学习率，但转换文本中的指数无法可靠辨认，此处不写幂次。作者称 β 按 validation RSA 选取，并受能力护栏约束；护栏数值论文未给出。

对照、选点与判定

• DPO：同一 251,334 条标注。动作成道德判断问题；被选回答按成员度分档说出标注极，被拒回答是相反极或错误中性。DPO 的 β 为 0.1，参考模型是初始权重的冻结副本，没有单独保持项。学习率、步数和验证节奏与 ReSO 相同。
• 打乱对照：同一 ReSO 流程，但在每个 MFT 基础内打乱标签。Fig. 3 的打乱结果来自三个种子。作者称早期 RSA 上升来自有限标注集打乱后仍残留的对应，随后回到基线附近或以下。
• 监控与选点：validation RSA 是固定 750 条分层 held-out 上、逐层 Spearman 再跨层平均。判断准确率看最高似然是否落在该强度的正确美德、恶德或中性完成上。ReSO 和打乱对照按 validation RSA 选 checkpoint，DPO 按 validation preference accuracy 选。
• 分布外判定：九个基准不参与训练或选点。红队成功记为 ASR。有专用 judge 的基准用官方模型，正文举例 Flames 和 HarmBench；没有的统一用 CompassJudger-2-32B-Instruct。OpenRT 的 judge 写作 CompassJudger2-32B-Instruct。每个基准内生成参数固定。

实验设置

• 表征分析：Table 2 的 23 个开源权重模型，0.6B 到 235B，家族为 Qwen3、Llama-3.1、Llama-4、gpt-oss，阶段含 base、instruction-tuned、safeguard；动作子集 16,135。
• 训练：Qwen3-8B、Qwen3-14B、Qwen3-32B，以及 MoE 的 gpt-oss-20b。同一 251,334 条判断，划分 201,023 / 25,170 / 25,141。对照为 DPO 和基础内打乱标签。各 1,000 step。
• 分布外基准：HaluEval、MMLU-Pro、Ethics Benchmark、中文 Flames、MoReBench、XSTest、HarmBench、DeceptionBench、OpenRT。均未用于训练或选 checkpoint。作者把 Flames 当作英文派生对齐目标的跨语言测试。
• 攻击设置：OpenRT 含 1 个 white-box（GCG）和 26 个 black-box，各覆盖 HarmBench 文本测试划分的 240 个行为（排除 copyright 子集），共 6,480 个组合。攻击模型为 Qwen2.5-7B-Instruct；AutoDAN-R 与 DrAttack 的嵌入用 Qwen3-Embedding-4B。作者写明因运行时间排除 AutoDAN-Turbo，因实现不依赖指定问题而排除 Rainbow Teaming。
• 判定：ASR 为固定集上的比例，Fig. 5 报告 95% Wilson 区间。有专用 judge 的用官方模型，正文举例 Flames 和 HarmBench；没有的统一用 CompassJudger-2-32B-Instruct。OpenRT 一节把 judge 写作 CompassJudger2-32B-Instruct。各基准内生成参数固定，具体数值论文未给出。
• 选点：ReSO 与打乱对照按 validation RSA 选点，DPO 按 validation preference accuracy 选点。Fig. 3 的打乱对照为三个种子。

主结果

下表为 Baseline / DPO / ReSO，数字取 Table 3。ASR 越低越安全。打乱对照未列入。OpenRT 列与 Table 5 末行 Mean 一致。

Swipe horizontally to read the table

模型	HarmBench ASR	DeceptionBench ASR	OpenRT	Flames 无害分
Qwen3-8B	26.17 / 37.58 / 14.72	53.28 / 65.67 / 31.61	24.77 / 29.28 / 19.63	63.80 / 61.15 / 67.24
Qwen3-14B	22.48 / 33.89 / 13.33	43.78 / 57.89 / 30.56	23.65 / 28.15 / 19.88	63.88 / 60.44 / 67.30
Qwen3-32B	19.00 / 21.33 / 13.67	38.50 / 48.28 / 26.39	25.03 / 27.15 / 21.74	64.33 / 62.39 / 64.99
gpt-oss-20b	3.33 / 6.00 / 1.33	18.95 / 26.67 / 16.24	19.13 / 25.30 / 15.88	72.30 / 66.43 / 73.98

• 红队方向：作者称三个 Qwen3 上 ReSO 降低每一项 red-teaming ASR，DPO 全部反向。OpenRT 的 27 个攻击中，ReSO 对三个 Qwen3 分别降低 23、23、19 个，DPO 分别恶化 22、23、22 个；gpt-oss-20b 上作者称 ReSO 降低 22 个、DPO 恶化 24 个。作者称该模型基线已有较强安全对齐，ReSO 仍继续降 ASR。
• 显式价值：作者称 DPO 在四模型上提高 Ethics Benchmark 与 MoReBench，但 Flames 全部下降，并认为换评测语言可能抹掉偏好优化的收益。ReSO 在 Ethics 上提高两个模型、MoReBench 上提高三个，Flames 四个都提高。Table 3 中 ReSO 低于自身基线的包括 Qwen3-8B Ethics 66.13（基线 68.25）、gpt-oss-20b Ethics 56.37（基线 59.39）、Qwen3-14B MoReBench 63.6（基线 64.0）。
• 拒绝与能力：Qwen3 上 ReSO 的 XSTest balanced accuracy 相对基线降 4.6、3.74、0.4；作者称不安全拒绝上升，同时安全请求的拒绝也上升。gpt-oss-20b 从 54.38 到 ReSO 88.95、DPO 93.03。作者称 ReSO 在降低红队 ASR 的同时，把拒绝有害请求和回答良性请求两侧都推向所期望的方向；DPO 提高了该平衡分，但红队 ASR 上升。作者称两侧能力都相对保留，ReSO 的 MMLU-Pro 变化至多 1.87 点、HaluEval 至多 1.29 点。

道德表征是否保留人类分类

• 对立类：层平均余弦相似度，authority–subversion 为 0.65±0.26，21/23 个模型为正，19 个超过 0.5；care–harm 为 0.31±0.38，18/23 为正。sanctity–degradation 在全部 23 个模型为负，−0.75±0.15，范围 −0.93 到 −0.38。loyalty–betrayal 为 −0.56±0.28，2 个模型为正；fairness–cheating 为 −0.29±0.43，4 个为正。仅 gpt-oss-120b 及其 safeguard 变体在五个基础都为负，范围 −0.38 到 −0.03（正文，Fig. 2a）。
• 典型性：23×10 个模型–类别组合的跨层峰值 Spearman 平均 0.37，无一超过 0.55（Fig. 2b）。每个基础里，恶德比对应美德平均高 0.10（SD 0.06），在 95.7% 的模型–基础组合成立。作者认为表征可能更多保留违规严重程度的分级，而不是美德强度的分级。
• 线性可读性：摘要将探针峰值 R² 写为 0.34。正文写 Llama-3.1-8B-Instruct 的整体峰值 R² 为 0.26，care-harm 峰值 R² 为 0.34；Fig. 2c 标注 Max R2=0.34。作者称恶德一般比对应美德更容易解码。同一谱系的 base、instruction-tuned、safeguard 轨迹形状大体相似；作者认为标准对齐未必重组这一分类。逐层曲线在补充 Figure 1–3，此处看不到曲线形状。

训练中的表征与攻击成功率

• 分离：Fig. 3 覆盖四个模型、1,000 step。作者称 ReSO 的均值 validation RSA 从约 0.05–0.06 升到峰值 0.24–0.28；DPO 的 RSA 几乎没有变化。判断准确率相反：作者称 DPO 早期达到约 0.69–0.78 并维持，ReSO 在三个 Qwen3 上略升，在 gpt-oss-20b 上大体不变。作者称这支持行为对齐可以不重组底层分类。
• 剂量关系：Qwen3-8B 的 ReSO 臂上，validation RSA 从 0.060 到峰值 0.24；HarmBench ASR 从初始 24.2% 到最低 15.1%（Δ=−9.1，95% CI −12.8 到 −5.4，P=3.5×10^-6），末点 17.8%（Δ=−6.4，95% CI −10.4 到 −2.7，P=0.003）。正文给出 RSA–ASR 的 R²=0.855；摘要写解释了 86% 的变异；Fig. 5c 图注写 R²=0.86。step 700 之后 RSA 从 0.241 回到 0.196，ASR 从 0.154 升到 0.178。两段斜率 −0.510（95% CI −0.638 到 −0.383，R²=0.864）和 −0.506（95% CI −0.723 到 −0.290，R²=0.878），差 −0.004，t=−0.014，P=0.99。作者称后期逆转把这两个量与训练步数拆开，并称斜率不可区分。
• 另外两臂：打乱对照的 RSA 移动约为 ReSO 的四分之一，ASR 变化 Δ=+1%（95% CI −2% 到 +4%，P=0.68）。DPO 的 RSA 全程范围 0.003，ASR 从 24.5% 升到 36.6%（Δ=+12.1%，95% CI +7.7% 到 +16.4%，P=2.1×10^-7）。Fig. 5 的 ReSO 初始 ASR 24.2%、DPO 初始 24.5%，与 Table 3 的 Qwen3-8B 基线 26.17% 不同；论文未说明协议是否相同。

其他消融与分析

• 打乱对照的 HarmBench 降幅：作者给出相对 ReSO 的 11.45、9.15、5.33、2.00 点，打乱对照恢复 2.34、4.36、1.67、1.33 点（Qwen3-8B、14B、32B、gpt-oss-20b）。作者称因按峰值 validation RSA 选点，它不是零结构对照。
• 例外：gpt-oss-20b 的 DeceptionBench 上，打乱对照为 13.00，低于 ReSO 的 16.24，也低于基线 18.95（Table 3）。
• 单攻击：Qwen3-8B 的 ReNeLLM，ReSO 为 90.42%，基线 84.58%（Table 5）。gpt-oss-20b 的 Mousetrap，基线 93.84%，ReSO 88.72%（Table 5）。
• 能力不均：作者称 DPO 在 gpt-oss-20b 上 HaluEval 降 3.72 点。Table 3 中该模型 DPO 的 MMLU-Pro 为 57.16，基线 53.91。
• 探针与谱系：整体峰值 R² 0.26 与 care-harm 峰值 0.34 同属 Llama-3.1-8B-Instruct；摘要的 0.34 与后者及 Fig. 2c 的 Max 标注一致。
• 选点差异：OOD 使用各自验证指标最高的 checkpoint，因此 DPO 与 ReSO 的选点准则不同（Methods）。

作者指出的局限与后续方向

论文无单独 Limitations 或 Future Work 专节。Discussion 明确写出两条：

• 参照不是穷尽描述：人类道德分类来自按 MFT 组织的 Social-Chemistry-101。作者称它不可避免地不是人类道德认知的穷尽或精确描述，道德分类会随文化与社群变化（Discussion）。
• 框架可换参照：作者称 ReSO 并不绑定 MFT 或某一固定价值观表征，该框架可以容纳更细的道德区分、其他道德认知理论，或文化特定的类别结构（Discussion）。

实验覆盖范围

• 表征分析：Table 2 的 23 个开源权重模型，0.6B 到 235B，含 Qwen3、Llama-3.1、Llama-4、gpt-oss，以及 base、instruction-tuned、safeguard；分层动作 16,135。逐层轨迹在补充 Figure 1–3，正文报告跨层峰值或层平均。
• 训练与分布外：Qwen3-8B、Qwen3-14B、Qwen3-32B、gpt-oss-20b，各 1,000 step。九个基准未用于训练或选 checkpoint；Flames 为中文，作者将其作为英文派生对齐目标的跨语言测试。
• 红队范围：OpenRT 为 1 个 white-box（GCG）与 26 个 black-box，各 240 个 HarmBench 文本行为，共 6,480 个组合；攻击模型为 Qwen2.5-7B-Instruct。作者写明排除 AutoDAN-Turbo 与 Rainbow Teaming 及原因。
• 判定：有专用 judge 的基准用官方模型，正文举例 Flames、HarmBench；其余用 CompassJudger-2-32B-Instruct。论文未报告 judge 与人工的一致性，也未报告 Table 3 各格的重复次数和各基准的生成参数数值。
• 统计：Fig. 5 在 Qwen3-8B 的 20 个验证 checkpoint 加 baseline 上，给出 HarmBench ASR 的 95% Wilson 区间和双侧 p 值。论文未报告 Table 3 九基准差值的同类检验。Fig. 3 的打乱对照为三个种子；论文未写明 Table 3 的打乱对照是否为多种子汇总。

ReSO 把对齐目标从偏好回答改成道德分类的潜在关系。

• 问题：可见回答上的对齐，在有害意图被改写后仍可能失守。作者认为人靠原型和分级典型性跨形式泛化，而模型表征更服从语言统计。
• 诊断：251,334 条判断写成十维向量。23 个模型里，authority–subversion 与 care–harm 的原型相似度平均为 0.65±0.26 和 0.31±0.38，多数模型为正；典型性峰值 Spearman 平均 0.37、不超过 0.55。Llama-3.1-8B-Instruct 的整体探针峰值 R² 为 0.26，care-harm 为 0.34。
• 方法对照：ReSO 不监督 token，DPO 学习同一标注的偏好回答。作者称 DPO 把判断准确率提到约 0.69–0.78，RSA 几乎不动；ReSO 把均值 RSA 从约 0.05–0.06 推到峰值 0.24–0.28，判断准确率变化较小。
• 分布外：四模型上 ReSO 降低 HarmBench、DeceptionBench、OpenRT 的 ASR，DPO 升高。Qwen3-8B 的 HarmBench ASR 为基线 26.17%、ReSO 14.72%、DPO 37.58%（Table 3）。gpt-oss-20b 上 ReSO 将 HarmBench ASR 从 3.33% 降到 1.33%，XSTest balanced accuracy 从 54.38 到 88.95。Flames 上 ReSO 四模型都升、DPO 都降。
• 作者结论：作者称回应策略和潜在分类可以分离；分级、以类别为中心的组织足以支持更适应性的泛化。Qwen3-8B 训练轨迹上，validation RSA 与 HarmBench ASR 的 R² 为 0.855（Fig. 5c）。后期 RSA 回落时 ASR 沿同一方向上升。