研究揭示价值对齐 LLM 的意外危害并提出上下文对齐方法

按 Schwartz 价值做个性化对齐时，模型是否更易产生有害输出，以及这和哪些价值、哪些安全类别有关。

• 使用场景：作者称个性化要让模型表达个人价值。Kang 等人（2023）用 Schwartz 分布表示个体。作者认为某些价值与有害信息相关，可能传播不被接受的观点，或绕过安全协议。
• 已有缺口：作者称 Yao 等人（2024）把有害行为连到 Schwartz 价值，但很少按安全类别拆开，也很少写机制。Ye 等人（2025a, 2025b）看的是一般安全指标。
• 作者假设：风险来自模型按所学价值生成文本，从而放大有害结果；相关方向应与价值—行为的心理学结果一致。
• 本文工作：用 VIM 把 Llama-2 对齐到 154 种分布，比较毒性与偏见，再对分项风险做相关。作者还试验一种提示：不直说要安全，只让模型忽略与风险相关的价值。

基本人类价值

• Schwartz（2012）：提出十种普遍价值、四个高阶组，作为评价行为的标准。论文选用它，是因其跨文化、面向社会价值，并被大型调查和多个 AI 数据集使用。
• 价值与行为：Seddig and Davidov（2018）报告权力、刺激与人际暴力态度正相关，普遍主义、安全负相关。其他工作联系吸毒态度、违法、白领犯罪和法律规范接受（Bilsky and Hermann, 2016; Goossen et al., 2016; Bilsky et al., 2022; Askew and Ritter, 2023）。

个性化价值对齐

• 人设与偏好：PersonaChat（Zhang et al., 2018）维持角色一致。另有按偏好或对话风格个性化，以及用模型模拟个体、预测偏好和行为（Aher et al., 2023）。
• 价值数据与 VIM：VALUENET（Qiu et al., 2022）和 Touché23-ValueEval（Mirzakhmedova et al., 2024）给对话或社会议题论证标 Schwartz 价值。Kang 等人（2023）的 VIM 用个人价值分布预测行为和意见。本文对齐采用 VIM。
• FULCRA：Yao 等人（2024）考察模型行为与所表征价值。作者称其中很少讨论个人价值与相应安全风险。

LLM 安全

• 毒性与分类评测：早期工作关注毒性与偏见（Zhao et al., 2018; Gehman et al., 2020; Smith et al., 2022）。hh-rlhf、Anthropic Red Teaming、BeaverTails 转向更广的安全风险。HEx-PHI、BeaverTails-Evaluation、SafetyBench 按类别评测。
• 个性化与伤害：Deshpande 等人（2023）报告指定人设的 ChatGPT 比无人设产生更多有害回答。Zeng 等人（2024）报告人性化提示提高越狱成功率。作者称这些讨论集中在提示，很少涉及用个性化数据微调。
• 一般安全指标：Ye 等人（2025a, 2025b）考察人类价值与一般安全指标。作者称他们没有按具体类别拆开，也没有给机制。

基线与基准

• 对照：未微调 Llama-2，以及 Alpaca、Dolly、Grammar、Samsum 和带价值描述的 ICL。评测用 RealToxicityPrompts、HolisticBiasR、HEx-PHI、BeaverTails-Evaluation。对齐数据为 Touché23-ValueEval，真实分布来自 European Social Survey。

作者称本文是心理学视角下，对个别价值与具体安全风险关系的首次系统分析。

整体做法是用 VIM 把未微调 Llama-2 7B 对齐到多种 Schwartz 分布，与其他微调对照，再用 OLS 把各价值连到分项安全风险，最后试验忽略相关价值的提示。摘要把该提示称为 in-context alignment methods；它和下面用作对齐基线的 ICL 不是同一做法。

价值分布与 VIM

• 154 个分布：14 个极端分布是十个价值里只把一个评为 6、其余为 1，或只把四个高阶组之一标为重要。另 140 个来自 European Social Survey：每种极端类型用 Jensen-Shannon 散度取最接近的 10 个。
• 十个价值：achievement、power、hedonism、self-direction、stimulation、security、conformity、tradition、benevolence、universalism。四组为 openness to change、self-enhancement、conservation、self-transcendence。
• VIM：先训练模型生成与目标价值一致的论证，再按目标分布预测自己对价值相关陈述的同意程度。训练文本来自 Touché23-ValueEval（Table 1，8K），为支持或反对社会议题的论证及价值标签。推理时不提供目标分布。
• 训练设置：全部微调用 LoRA。附录 F 写学习率 2×10^−5、5 个 epoch、rank 8、alpha 32、dropout 0.1、AdamW。非价值数据另按 Llama 官方配方微调。生成设置为 T=0.1、top-p 0.75、最多 64 个新 token。

对照数据与对齐检查

• 三类数据：分类沿用 Liu 等人（2024）。指令微调为 Alpaca（52K）、Dolly（15K）；传统 NLP 为 Grammar（14K，JFLEG 与 C4_200M）和 Samsum（16K）。作者选语法纠正和对话摘要，是因为输入输出更接近开放生成。
• ICL 基线：提示中给出价值定义和 1–6 分的目标分数，再让模型按该人回答（Figure 6）。这是对齐基线，不是第 5 节的风险缓解提示。
• 是否对齐：用 PVQ40 从模型回答推出价值分布，以 NMSE 与目标比较；比较前把价值归一化到 0–1。数值放在第 4 问。

安全评测与相关估计

• 传统基准：RealToxicityPrompts 取 3,000 条毒性提示，用 PerspectiveAPI。最大毒性是每个提示 10 次温度采样中的最高分再平均；毒性概率是至少一次不低于 0.5 的比例。HolisticBiasR 取 17,700 条带 dispreferred 人口统计词的提示，用 regard 分类器。负面率是判为负面的比例；偏见分是负面率高于总体均值的少数群体子组百分比。
• 分项基准：HEx-PHI 有 330 条、11 类各 30 条。GPT-4o 打 1–5 分，伤害分是均分，伤害率是得满分的比例；评分提示见 Figure 3、4。BeaverTails-Evaluation 有 700 条、14 个非互斥类别，GPT-4o 标出不安全回答并报告其比例；提示见 Figure 5。
• 相关：在 154 个对齐模型上做 OLS，自变量是各价值的程度，正文写因变量是有害回答比例。Figure 2 报告回归系数；完整热图在附录 C。论文未说明系数单位。

忽略相关价值的提示

• 四档：只给输入；安全提示；价值提示，即让模型在该情境忽略一个相关价值；两者合用。完整提示在 Table 13。
• 选哪些类别：HEx-PHI 中与价值正相关最高的三类：Adult content 对应 self-direction，Deception 与 Political campaigning 对应 universalism。每种价值从 154 个模型里选 11 个。
• 推广到未微调模型：同一四档还用于未微调 Llama-2，以及 Llama-3.1 8B、Gemma-2 9B、Qwen-2.5 7B。后三个模型每种策略用温度采样生成 11 条。

实验设置

• 模型：主结果是 Llama-2 7B 及其微调。提示实验另有未微调 Llama-3.1 8B、Gemma-2 9B、Qwen-2.5 7B。附录 D 为 Gemma-3 1B 与 27B。GPT-4o 做裁判；Table 12 示例写 gpt-4o-2024-08-06，正文其余处写 GPT-4o。
• 对照：未微调、Alpaca、Dolly、Grammar、Samsum、ICL，以及 154 个 VIM 模型的平均。论文未说明 Table 3 的 ICL 行是否也对 154 个分布取平均。
• 数据规模：训练数据见 Table 1。安全提示数见 Table 2：3,000、17,700、330、700。价值分布为 14 个极端分布加 ESS 的 140 个。
• 指标：最大毒性、毒性概率（阈值 0.5，每提示 10 次采样）、负面率、偏见分、HEx-PHI 的 1–5 伤害分与满分比例、BeaverTails 的不安全比例。相关为 OLS 系数，附录 Figure 7、8 写 N=154。
• 提示样本：三类 HEx-PHI；每种价值 11 个对齐模型。Llama-3.1 8B、Gemma-2 9B、Qwen-2.5 7B 每种策略 11 次温度采样。论文未说明 Table 4 里未微调 Llama-2 每个提示生成几条。
• 未报告项：GPT-4o 与人工的一致性、微调重复次数、OLS 系数单位。附录 F 的生成温度是否用于 RealToxicityPrompts 的 10 次采样，论文未说明。

主结果

据 Table 3，模型为 Llama-2 7B。价值对齐行是 154 个模型的平均。除该行外各格标 p < 0.001。作者把更高的数值视为更低的安全。

表格较宽，可左右滑动

训练设定	最大毒性	毒性概率	负面率	偏见分
Vanilla	0.35	17.02%	7.59%	94.43%
Alpaca	0.19	4.89%	15.85%	94.98%
Dolly	0.21	5.92%	15.48%	93.75%
Grammar	0.20	5.16%	11.66%	92.96%
Samsum	0.36	17.61%	22.44%	94.33%
ICL	0.35	17.71%	16.31%	96.79%
价值对齐均值	0.41	30.93%	18.49%	95.73%

• 作者解读：作者称价值对齐模型在各指标上安全最低或次低，且比未微调更易有害。摘要还称传统评测中的风险略高于其他微调模型。
• 并非每格都最差：负面率上安全最低的是 Samsum，偏见分上是 ICL，不是价值对齐行。
• 其他微调：作者称 Alpaca、Dolly、Grammar 的毒性低于未微调，Samsum 高于未微调，并称这与良性数据微调也可能更有害的观察一致（Qi et al., 2023）。

价值与安全类别

• 测了什么：154 个 VIM 模型上，OLS 系数见 Figure 2。下列数字与图中列名对齐，星号按图注为 p<0.05 或 p<0.01。HEx-PHI：Achievement–Adult content 为 -1.94；Self-direction–Adult content 为 2.38；Hedonism 对 Adult content、Child abuse、Physical harm、Political campaigning 为 1.80、2.35、2.34、2.16；Power 对 Child abuse、Illegal activity、Physical harm、Privacy violation 为 -2.70、-2.21、-2.38、-2.87；Conformity–Political campaigning 为 1.97；Universalism 对 Deception、Political campaigning 为 2.45、3.12；Security–Tailored financial advice 为 -1.78；Stimulation–Illegal activity 为 -1.88。BeaverTails：Achievement–Hate speech 为 -1.17；Power 对 Discrimination、Hate speech、Terrorism、Violence 为 1.29、1.50、-1.50、-1.32；Stimulation–Discrimination 为 1.05。
• 作者的心理学解读：作者称这些方向与人类研究一致，例如成就与直接暴力负相关，享乐主义与违法、暴力正相关，权力与人际暴力正相关。附录 B 继续写 conformity、security、self-direction、stimulation、universalism。作者称 hedonism 与自我导向暴力的关系还需考虑；universalism 与欺骗的关系仍需研究，并认为模型有可能是为了更大的共同利益而跟着提示走。
• 文图不一致：4.3.3 节称 Power 与 deception 负相关。Figure 2(a) 中 Power–Deception 的系数是 0.21，无星号。Table 14 有回答示例，此处不转述原句。

忽略相关价值的提示

价值对齐 Llama-2 在 HEx-PHI 上的伤害分（Table 4）。相对 Input only，这些对照格标有 p<0.01 或 p<0.001。

表格较宽，可左右滑动

类别	Input	Safety	Value	Both
成人内容	4.10	2.87	2.45	2.43
欺骗	3.43	2.91	2.69	2.54
政治竞选	3.50	2.87	2.65	2.30

• 未微调 Llama-2：成人内容从 4.31 到 Value prompt 的 3.96（表中写 -0.35）。作者称对齐模型上的变化更大；成人内容 Value prompt 的表中变化为 -1.65。Table 7 中，对齐模型成人内容伤害率从 56% 到 Value prompt 的 13%、Both 的 15%、Safety 的 26%。
• 三个较新模型：Table 5 的伤害分大多下降并带星号。无星号的有 Gemma-2 9B 成人内容 Value prompt 4.15（表中 -0.07），以及 Qwen-2.5 7B 成人内容 Both 4.48（表中 -0.09）。
• 伤害率并非都下降：Table 8 中，Qwen-2.5 7B 成人内容 Safety prompt 为 72%（表中 +5%p），Input 为 68%；Both 为 71%（+3%p）。Llama-3.1 8B 有成人内容 Both 62%（+2%p）、欺骗 Value prompt 47%（+2%p）、政治竞选 Value prompt 55%（+3%p）。作者仍称三个模型和三个类别的伤害分下降；上述格子与这句并不都一致。

模型规模

附录 D 在 HolisticBiasR 上比较 Gemma-3 1B 与 27B。VIM 只用 56 个分布。除 Vanilla 外各行有星号；27B 的 ICL 偏见分为 p<0.05，其余为 p<0.001（Table 6）。

表格较宽，可左右滑动

模型	设定	负面率	偏见分
Gemma-3 1B	Vanilla	6.82	92.62
Gemma-3 1B	ICL	16.31	93.61
Gemma-3 1B	VIM	19.58	96.78
Gemma-3 27B	Vanilla	16.77	96.49
Gemma-3 27B	ICL	23.78	97.13
Gemma-3 27B	VIM	17.98	98.14

• 作者解读：作者称更大模型在未微调和价值对齐设定下，负面率和偏见分都更不安全；ICL 拉高负面陈述的幅度在大模型上更明显；各规模上 ICL 与 VIM 的两项都高于未微调。
• 与该句不完全一致：Table 6 里 VIM 的负面率是 27B 低于 1B。偏见分三行都是 27B 更高。

其他消融与分析

• 训练集毒性（Figure 9）：Touché23-ValueEval 逾 8K 条中，毒性分高于 50% 的有 5 条，高于 70% 的为 0。Table 1 的规模写为 8K。
• 对齐误差：154 个 VIM 模型平均 NMSE 为 0.0759，ICL 为 0.1079。

作者指出的局限与后续方向

• 先识别价值：作者写，所测提示能靠抑制正相关价值降低特定风险，但用于真实场景前，必须先识别与可能有害回答类别相关的价值（Limitations）。
• 推广缓解：作者计划推广该做法，并探索基于这些发现的更广缓解策略（Limitations）。
• 只用英文：训练、评测和提示都只用英文。作者写，用其他语言训练可能影响价值对齐，英语取向也可能覆盖不到不同文化的安全标准（Limitations）。
• 多语言与文化：作者写将把这一调查扩展到多种语言和文化语境（Limitations）。

实验覆盖范围

• 模型：生成模型为 Llama-2 7B、Llama-3.1 8B、Gemma-2 9B、Qwen-2.5 7B、Gemma-3 1B、Gemma-3 27B。后两者只出现在附录 D，只评 HolisticBiasR，VIM 用 56 个分布。
• 基准与评审：RealToxicityPrompts 3,000 条，HolisticBiasR 17,700 条，HEx-PHI 330 条，BeaverTails-Evaluation 700 条。评分用 PerspectiveAPI、regard 分类器和 GPT-4o。
• 价值分布：主相关分析为 154 个分布上的 VIM 模型，含 14 个极端分布和 ESS 的 140 个；附录 Figure 7、8 写 N=154。
• 提示实验：HEx-PHI 的 Adult content、Deception、Political campaigning；每种价值 11 个对齐模型；三个较新的未微调模型每种策略 11 次温度采样。
• 论文未报告：GPT-4o 与人工标注的一致性、微调重复次数，以及 Figure 2 中 OLS 系数的单位。正文把该回归的因变量写成有害回答比例。

作者研究按 Schwartz 价值对齐的 LLM 为何在安全评测里更易有害，并用提示做了一个不直说要安全的缓解试验。

• 做法：VIM 把 Llama-2 7B 对齐到 154 种分布，对照未微调、Alpaca、Dolly、Grammar、Samsum 和 ICL。四个已有安全基准评分后，用 OLS 估计价值程度与有害回答比例的系数。
• 传统指标：154 个对齐模型在 RealToxicityPrompts 上平均最大毒性 0.41、毒性概率 30.93%，未微调为 0.35、17.02%（Table 3）。作者称对齐模型比未微调更易有害。负面率上 Samsum 为 22.44%，高于对齐均值 18.49%。
• 分项相关：作者称 Figure 2 的若干方向与心理学中的价值—行为结果一致。例如 hedonism–儿童虐待为 2.35（p<0.01），universalism–政治竞选为 3.12（p<0.01）。正文称 Power 与欺骗负相关，Figure 2(a) 该系数却是 0.21。
• 提示：对齐后的 Llama-2 在成人内容上，只给输入为 4.10，忽略 self-direction 后为 2.45（Table 4，表中写 -1.65）。作者称即使不写明安全要求，伤害分也会下降。Table 8 里，Qwen-2.5 7B 成人内容的安全提示伤害率为 72%（表中 +5%p），输入为 68%。
• 作者结论：作者认为模型是在按对齐价值生成文本，因此不同安全情境会更敏感或更不敏感。作者称这是讨论此类风险及其心理原因的首次研究，并建议开发者和用户留意需要谨慎的情境。作者还称伤害上升不是训练集显式毒性所致：逾 8K 条里高于 50% 的有 5 条，高于 70% 的为 0（Figure 9）。