SSRFT：以安全角色内化替代拒答模式的 LLM 安全对齐框架

现有安全对齐主要学习越狱提示与拒答的对应，而不是把安全原则内化成稳定角色。

• 使用场景：作者认为，LLM已进入RAG、对话式搜索和深度搜索智能体等信息获取流程；被越狱后，有害或误导内容会损害信息质量与下游决策。
• 现有不足：安全SFT依赖已知越狱–拒答对，新攻击要持续标注；RLHF仍要大规模偏好和更高算力。作者引机制分析称，安全常集中在开头拒答token，prefilling可绕过。增加拒答监督又容易拒绝含敏感词的良性问题。
• 作者的观察：角色扮演常被用作越狱向量，也可通过提示或微调让模型遵循身份边界。作者认为，安全导向人格本身能否作为对齐目标仍缺少研究。
• 本文做法：作者提出SSRFT（Supervised Safe-Role Fine-Tuning）。它用心理测量题、少量越狱提示和安全角色描述构建SRQA，合成并扩展角色一致回答，再做SFT，使模型内化价值观与行为原则，而不是显式拒答模式。

LLM与信息检索

• 大搜索模型与对话检索：Wang等把查询理解、检索、排序和答案生成收进同一架构；另有工作把LLM用作对话式搜索界面，uRAG则做跨应用的知识接地。
• 深度搜索智能体：Jin等、Lin等、Xi等把规划、迭代检索、工具使用和多步推理接在一起。作者引用的实证工作称，LLM搜索可提高交互效率，并与传统搜索引擎相比有竞争力。
• 作者的连接：作者认为，LLM检索界面一旦被越狱，会同时影响有害内容与信息获取的可靠性，因此安全对齐是可信LLM检索系统的前提。

人格与角色扮演

• 人格作为可激活状态：Shanahan等认为对话智能体可看成多种潜在角色的叠加，可由上下文或训练信号激活。
• 提示与微调：提示方法可让模型按给定身份回答；生成式智能体在交互环境中模拟人类行为。微调方面，ChatHaruhi用角色背景构建数据，DITTO用自对齐内化人格，Character-LLM用角色微调追求一致性，并对角色外问题更稳。
• 与本文的关系：作者称，这些工作说明人格可以写进参数；其重点是角色模拟或娱乐交互，而SSRFT把人格内化用作安全机制。

安全对齐

• SFT：Bianchi等与Touvron等用越狱拒答和经过整理的无害数据做安全SFT。作者指出，这类方法依赖多样攻击提示和高质量拒答，攻击演变后维护成本高；提高拒答比例常以有用性为代价，即过拒。
• RLHF：Bai等、Dai等的Safe RLHF、Ji等的PKU-SafeRLHF用偏好或代价信号优化安全。作者指出，它们需要奖励建模、策略rollout和大规模偏好标注，算力和人工成本高；SFT与RLHF都会受新越狱带来的分布偏移影响。
• 浅层对齐：Qi等称安全微调主要改早期拒答token，而不是整体行为，因而易受prefilling攻击。作者指出，后续推理时修改通常要专门解码，难以普遍部署。

角色扮演与安全

• 攻击面：多项工作用角色扮演指令（包括DAN风格提示）诱导模型忽略安全约束。Deshpande等报告，负面人格会增加有毒行为，而只提示正面人格的防御收益有限。

• 近期用法：SaRFT研究角色扮演微调引入的安全风险；自对齐框架用模拟人格生成对齐数据。表征层面，人格特质被报告对应激活空间中的可识别方向，也有工作测量并训练操纵LLM人格。

• 作者的缺口判断：作者认为，已有工作主要把人格当作越狱向量、对齐数据生成器或可控风格属性，很少研究精心设计的安全人格能否本身成为对齐目标。

• 基线与基准：主对比是标准SFT，数据为UltraChat 236段英文对话（82.02% tokens）、去掉无害数据后的MOSS 22段中文（8.94%），以及Qwen3-Max在无角色条件下、用与SRQA相同越狱题生成的240对拒答（9.04%），总token与SRQA相差在0.3%以内。§4.8另在LRC-4B上比较PKU-SafeRLHF（官方数据1%子样本）和把同一安全角色描述放入系统提示的提示词角色扮演。安全基准为JailBench-Seed、JailbreakLLMs、JailBench、JailbreakLLMs-DAN和AdvBench；过拒用XSTest无害子集，人格稳定性用BFI-44；通用能力用ARC-E、ARC-C、LogiQA、CommonsenseQA、PIQA、WinoGrande、BoolQ、SciQ、MMLU。

作者把本文定位为直接把预定义安全角色写入参数，并称SSRFT是首个以安全角色内化本身为对齐目标的框架。

SSRFT不把对齐写成“有害提示→拒答”的映射，而是让模型分布逼近一个预定义安全角色下的回答分布。Figure 2给出五段流程：收集问题、构造安全角色、角色引导合成、数据扩展、对SRQA做SFT。

问题设定与题目来源

• 信息量：设角色、问题、回答为R、Q、A，并假设Q与R独立。作者用贝叶斯写成 P(R∣ Q,A)=(P(A∣ Q,R)P(R))/(P(A∣ Q))。其含义是：回答与目标角色强相关、在其他角色下又不太可能时，该问答对识别角色更有信息。
• 心理测量题：因此选用能拉开人格与价值观的量表，而不是答案几乎不随角色变化的事实题。来源为IPIP-NEO 300题、MBTI公开60题、WVS-7抽出的249题，分别改编成可独立作答的5点、7点和独立问句；MBTI保留中文以增加语言多样性。正文给出改编模板。
• 少量拒答样本：另加入中英越狱提示，用来把安全角色和拒绝有害请求连起来。作者援引Character-LLM的观察，称角色数据中少量拒答可减少出戏；比例保持较低，以免过度依赖拒答式监督。具体划分在§4.1：中文训练135条，英文训练105条。

安全角色与合成

• 角色描述：不用狭窄专家人设。Qwen3-Max根据一组安全导向特质生成虚构人物档案，涵盖人格、行为原则、价值观和交互风格，供后续合成条件使用。正文给出翻译后的角色生成提示。
• 条件生成：对题目x，目标回答按安全角色r_safe采样。Qwen3-Max在角色描述条件下回答全部收集到的问题。
• 校验：仍由Qwen3-Max按角色一致性与事实质量打0–10分。低于6分最多重生成5次，仍未通过则人工复核。Table 1对比有无角色描述的拒答：无角色时是通用拒绝，有角色时拒绝与该角色的价值观表述连在一起。此处不引用问句和回答原文。

场景扩展

• 动机：作者担心直接在量表题上微调会走捷径，记住问卷格式而不是行为特质，且多样性不足。
• 三条约束：扩展题须探测同一特质或价值维度；改写成需要情境推理的日常生活场景；尽量像自然用户输入，不显式提及角色设定。
• 质检：Qwen3-Max在同一角色下生成扩展回答，再按扩展回答质量、扩展问题是否符合要求、与原问答的行为特质是否一致三项打分，每项0–10，通过阈值为8。任一未过则沿对应分支最多重做3次，之后人工复核。正文给了一则良性扩展示例，不在此复述。

训练目标

• 损失：SRQA中的样本不含显式角色字段，角色通过合成回答的内容、价值观和交互风格进入数据。参数θ的损失为 ℒ(θ)=−𝔼_{(x,y)∼𝒟role}∑_t=1^Tlog P(y_t∣ x,y_<t;θ)。含义是标准下一token SFT，使模型逼近角色条件分布。
• 推理：作者称训练后推理不必再给角色提示。与提示词角色扮演的对比放在§4.8。
• 数据构成：Figure 3按token展示SRQA成分。作者称人格相关数据（原始与扩展）占训练语料的大部分，越狱相关数据只占较小部分。图中百分比在文本转换后无法可靠对齐，此处不引用具体占比。

实验设置

• 被测模型：Base为Qwen2.5-3B、Gemma2-2B、Llama3.1-8B、LRC-4B（LRC-4B-Base，由Qwen2.5-7B-Instruct蒸馏）。Instruct为Qwen2.5-3B-Instruct、Qwen3-4B-Instruct。各骨干分别训练SFT与SSRFT。
• 数据：心理测量题见第3问。越狱部分：JailBench-Seed有36个域、每域15个情景，抽18域训练，域内一半共135条作训练，其余域内题与未见域作测试；JailbreakLLMs有13域、每域30题，选7域，一半共105条训练。SFT基线token量与SRQA相差在0.3%以内，构成见第2问。
• 评测集：恶意查询用上述留出测试集，论文未单列最终条数。越狱评测为JailBench分层样本1,080条、JailbreakLLMs-DAN分层样本1,170条。OOD为AdvBench 520条有害行为，与训练数据无重叠。过拒用XSTest无害子集，论文未给该子集样本量。
• 指标与评审：安全指标为ASR，评审为MD-Judge，贪心解码、max-new-tokens=256；空输出视为安全拒答，并用结果标签抽取。过拒由Qwen3-Max按原始XSTest提示分为Full Compliance、Full Refusal、Partial Refusal；作者称预实验中它与人工判断更一致，但未给一致性数字。人格熵来自BFI-44五档选项的归一化生成概率，模板不同于训练用的IPIP-NEO。通用能力为零样本Accuracy，ARC-C与LogiQA用Accuracy Norm。
• 训练与解码：Expanded设置每epoch 21步，SSRFT有效批大小64、SFT为22；优化器AdamW，学习率1.0×10^-5，最长序列2,048，最多10个epoch，验证比例0.1，早停patience为1，按最佳验证损失选模型。Table 3：Qwen2.5-3B与Gemma-2-2B贪心；三个采样模型temperature为0.7、top-p为0.8、top-k为20；Llama-3.1-8B的temperature为0.6、top-p为0.9。max new tokens均为512。除PKU-SafeRLHF用四张RTX PRO 6000外，实验在单张该GPU上。论文未报告重复次数。

主结果

下表为Table 4的平均ASR与AdvBench ASR（%，越低越安全）。平均列为恶意查询、越狱和OOD共五个基准。

Swipe horizontally to read the table

模型	原模型平均	SFT平均	SSRFT平均	SFT AdvBench	SSRFT AdvBench
Qwen2.5-3B	55.57%	14.05%	14.41%	3.27%	0.77%
Gemma2-2B	73.55%	7.68%	1.76%	16.73%	2.31%
Llama3.1-8B	65.84%	15.31%	8.69%	5.19%	0.58%
LRC-4B	37.19%	22.20%	18.83%	0.00%	0.00%
Qwen2.5-3B-Instruct	24.08%	20.59%	21.94%	0.77%	0.00%
Qwen3-4B-Instruct	7.50%	0.90%	3.53%	0.00%	0.00%

• Base：表注称SSRFT相对SFT一致提高Base安全性；§4.2则称Qwen2.5-3B是唯一例外，与SFT相当。该模型JailBench与JailbreakLLMs-DAN的ASR为SFT 38.24%、26.15%，SSRFT 41.57%、27.01%。
• OOD：作者称AdvBench上SSRFT在各模型族取得最低ASR（含并列），并据此认为学到的是可迁移行为原则，而非只记住训练中的拒答。
• Instruct：作者称已对齐模型的额外收益更有限。表中两模型平均ASR均高于对应SFT；Qwen3-4B-Instruct的JailBench为SFT 3.24%、SSRFT 10.46%。作者认为LRC-4B对齐前已较强，可能继承自指令微调教师。

Prefilling攻击

• 协议：在JailBench-Seed、JailbreakLLMs、AdvBench上，按Qi等的做法在生成前加肯定性前缀，以绕开开头拒答。其余生成与评审同§4.2。此处不写出前缀原文。
• Base：Table 5中四个Base的平均PA ASR与升幅Δ均低于对应SFT。Gemma2-2B的SFT为65.12%（Δ 58.63%），SSRFT为23.28%（Δ 22.19%）；Llama3.1-8B为42.64%（Δ 39.50%）对16.54%（Δ 15.62%）。绝对ASR仍可能不低：Gemma2-2B在AdvBench的prefilling ASR，SSRFT为41.54%，SFT为88.08%。
• Instruct与跨域：Qwen3-4B-Instruct的平均PA ASR从SFT的6.74%到SSRFT的1.86%。Qwen2.5-3B-Instruct相反：SFT 17.24%（Δ 16.90%），SSRFT 28.58%（Δ 28.42%）。Figure 4的Ratio为域外ASR除以域内ASR。作者称多数模型上SSRFT更低；正文给出的数字是Qwen2.5-3B的JailBench-Seed Ratio从0.86到0.55，JailbreakLLMs上两者相近。图中其余柱高文本未能可靠读出。

过拒

• 设置：只比额外对齐引入的过拒，故比较SFT与SSRFT，不报原模型。评审为Qwen3-Max。
• 遵从：作者称Figure 5中SSRFT在多数模型上提高Full Compliance、降低Full Refusal。正文数字：Gemma2-2B从24.4%到42.0%，Llama3.1-8B从30.0%到54.0%，Qwen2.5-3B从24.0%到35.6%。LRC-4B为48.8%对49.6%，Full Refusal从41.2%到38.0%。Qwen3-4B-Instruct从56.8%到66.4%，Full Refusal从40.0%到27.2%。
• 作者解读：作者认为内化更宽的安全原则有助于区分有害意图和表面敏感的良性请求，而不是单纯增加拒绝。

与其他对齐范式

• 对照：§4.8在LRC-4B上比较PKU-SafeRLHF（官方数据1%子样本，四张GPU，BF16，有效批大小沿用官方）和把同一角色描述放入系统提示、不改参数的提示词角色扮演。
• 数字：Table 9的标准平均ASR（§4.2五个基准）为原模型37.19%、PKU-SafeRLHF 37.40%、提示词33.03%、SSRFT 18.83%。三基准prefilling平均ASR为24.72%、52.44%、16.71%、4.98%。训练时间：PKU-SafeRLHF为3m 32s×4，SSRFT为4m 27s。
• 作者解读：作者称在该受限设置下，SSRFT比这一RLHF对照更有效，且只需单模型SFT；提示词角色扮演有改善，但仍明显高于SSRFT。作者把差异归于角色在外部提示中还是在参数中。

其他消融与分析

• 扩展后的标准ASR（Table 6）：Gemma2-2B的NEP/EP SSRFT为0.67%/1.76%，Llama3.1-8B为7.34%/8.69%；作者称扩展后若干设置的标准ASR略升。
• 扩展与遵从（Table 6）：Gemma2-2B的SSRFT Compliance从9.60%到42.00%；Qwen3-4B-Instruct从44.00%到66.40%。
• 人格熵（Table 6，越低越稳）：Qwen2.5-3B从NEP 1.25到EP 0.73；Gemma2-2B从0.80到1.00，Llama3.1-8B从0.57到0.65。作者称后两者为例外，并指向§4.6。
• Δ(2)=ΔSFT−ΔSSRFT（Table 7）：Llama3.1-8B从10.20%到23.88%；Qwen2.5-3B-Instruct从–8.22%到–11.52%，角色监督未带来相对prefilling优势。
• 训练动态：作者称Figure 6中SSRFT在更强Base上与SFT收敛相近，在部分Instruct和较低能力模型上更慢；Figure 7中Qwen2.5-3B-Instruct的梯度范数大于其Base，SSRFT下尤其如此。文本未给损失或梯度的具体数值。
• 通用能力（Table 8九基准平均）：Llama3.1-8B为原模型70.64、SFT 70.93、SSRFT 71.15；Qwen2.5-3B为68.88、68.79、68.67。作者称与SFT相当，未见更大的灾难性遗忘。

作者指出的局限与后续方向

论文没有单独的Limitations或Discussion节。第5节写出的后续方向如下。

• 更大规模后训练：作者计划把SSRFT扩展到更大规模的后训练设置。
• 跨模型族：作者计划提高它在不同模型族上的适应性。
• 动态安全：作者计划把安全角色内化扩展到动态、依上下文的安全对齐。

实验覆盖范围

• 模型：被测模型为Qwen2.5-3B、Gemma2-2B、Llama3.1-8B、LRC-4B、Qwen2.5-3B-Instruct、Qwen3-4B-Instruct，共6个（§4.1）。
• 安全协议：评测包括留出恶意查询、JailBench、JailbreakLLMs-DAN和AdvBench；prefilling覆盖JailBench-Seed、JailbreakLLMs、AdvBench（§4.2–§4.3）。过拒用XSTest无害子集，通用能力为零样本九个基准（§4.4、§4.7）。
• 评审与重复：ASR评审为MD-Judge，XSTest评审为Qwen3-Max。论文未报告与人工判断的一致性数值，也未报告重复次数或随机种子。
• 对照范围：与PKU-SafeRLHF、提示词角色扮演的对比只报告LRC-4B；PKU-SafeRLHF使用官方数据的1%子样本（§4.8）。
• 合成模型：角色生成、问答合成、角色打分、扩展质检，以及SFT基线的无角色拒答，均使用Qwen3-Max（§3.3–§3.5、§4.1）。

SSRFT是一种用监督微调把预定义安全角色写进参数的安全对齐方法。作者称它是首个以安全角色内化本身为对齐目标的框架。

• 问题：安全SFT把监督绑在已知越狱拒答上，RLHF还要偏好数据与额外优化。作者引用的分析称，安全常停在开头拒答token；增加拒答又会拒绝表面敏感的良性问题。
• 做法：用IPIP-NEO、MBTI、WVS-7和少量中英越狱题，由Qwen3-Max按安全角色描述生成并校验回答，再扩成日常场景，组成SRQA后做标准SFT。训练样本不显式放入角色，推理也不必再提示该角色。
• 标准安全：相对等token量SFT，Gemma2-2B五基准平均ASR为1.76%（SFT 7.68%），Llama3.1-8B为8.69%（SFT 15.31%），Table 4。Qwen2.5-3B为14.41%对14.05%；两个Instruct的平均ASR也高于对应SFT。
• prefilling与过拒：四个Base的平均PA ASR和升幅均低于SFT。Gemma2-2B为23.28%（Δ 22.19%），SFT为65.12%（Δ 58.63%），Table 5。Qwen2.5-3B-Instruct的平均PA ASR为28.58%，高于SFT的17.24%。Llama3.1-8B在XSTest无害子集上的Full Compliance为54.0%，SFT为30.0%。
• 其他对照：LRC-4B上，SSRFT的标准平均ASR为18.83%、三基准prefilling平均为4.98%；1%子样本的PKU-SafeRLHF为37.40%和52.44%，提示词角色扮演为33.03%和16.71%（Table 9）。九个通用能力基准上，作者称SSRFT与SFT相当。
• 作者结论：作者认为安全角色内化不同于常规拒答监督，并计划扩展后训练规模、模型族适应性，以及动态、依上下文的安全对齐。