Stay in Character, Stay Safe：面向安全角色扮演智能体的双循环对抗自演化框架

角色扮演越贴近人设，尤其是负面或高风险人设，越容易压过原有安全护栏而被越狱。

• 场景：作者称高保真角色扮演与安全对齐冲突，模型要么牺牲人设换安全，要么为保持人设绕过护栏。负面特质上的严格服从会削弱抗越狱能力，新角色还需要即时冷启动防护。
• 现有不足：作者称先前工作主要靠 SFT、数据筛选或对齐正则。它们难泛化到未见人设与新攻击，重训练跟不上对抗变化，还可能损伤人设，且不能用于梯度不可得的专有闭源 LLM。
• 思路：作者认为不必把安全写成参数更新施加的静态约束；攻击探测与防御经验可在对抗压力下共同演化，以同时覆盖安全与一致性的盲点。
• 提出：DASE（Dual-cycle Adversarial Self-Evolution）。Persona-Targeted Attacker 合成逐步加强的越狱提示，Role-Playing Defender 把失败蒸馏成层次化知识库，推理时检索组合后生成，不更新参数。
• 威胁模型：
  • 受害系统：经 black-box API 访问的专有 closed-weight LLM 角色扮演智能体，防御不能依赖梯度。
  • 攻击目标：利用人设沉浸，尤其负面或高风险人设，诱导违反安全规范，或让安全与角色一致性一起失败。
  • 知识与能力：框架内攻击者使用人设画像 P 与攻击记忆 Katt 合成查询；论文未写它可读权重。评测攻击包括 AIM、Cipher、CodeChameleon，以及有害指令基准。
  • 判定：演化循环里 Judge 按安全 S 与一致性 C 的阈值给出 pass/fail；对外主指标是 Refusal Rate。

引言与 Section 2 按构建方式、安全后果和防御时机来写，没有单独的攻击论文综述。

角色扮演智能体

• 提示词注入人设：Li et al. (2023a) 的 ChatHaruhi、Chen et al. (2023) 用 RAG 把角色脚本放进上下文。
• 微调内化人设：Wang et al. (2024b) 的 RoleLLM、Zhou et al. (2023) 的 CharacterGLM 在角色语料上做 SFT。作者称保真提升带来安全脆弱性，且多数工作把保真放在安全之前。

角色沉浸与越狱

• 作者的判断：引用 Wei et al. (2023)、Huang et al. (2024)，称追求角色一致性，尤其负面人设，会破坏模型固有安全对齐，角色扮演常充当隐蔽越狱。
• 一并引用的越狱工作：同一句还列出 Liu et al. (2024) AutoDAN、Chao et al. (2024)、Mehrotra et al. (2024)、Deng et al. (2024) MasterKey、Zou et al. (2023)、Yu et al. (2024) GPTFuzzer。论文未逐篇复述算法，也未把批评安到每一篇上。

安全对齐策略

• 训练式：Ji et al. (2023) 做数据选择；Zhao et al. (2025)、Huang et al. (2024)、Dai et al. (2023) 用正则或安全策略约束优化。作者称成本高、新角色有冷启动问题，且不适用于梯度不可得的专有黑盒模型。
• 推理时：Shinn et al. (2023) Reflexion、Inan et al. (2023) Llama Guard、Robey et al. (2024) SmoothLLM、Cao et al. (2024) 用自校正或外部护栏，不更新参数。作者称它们常靠通用提示，会触发 over-refusal，难以兼顾特定角色风格。

基线与基准

• 基线方法：作者称 SaRFT（Zhao et al., 2025）是当前 state-of-the-art 微调方法，装在 LLaMA-3-8B、Qwen2.5-7B、Gemma-2-9B 上。无干预基座为 Qwen3-32B、gpt-oss-120b、Qwen3-235B-A22B-Instruct-2507、Kimi-K2-Instruct、GPT-5.2。
• 基准：RoleBench；有害查询 AdvBench、HEx-PHI、BeaverTails；越狱策略 AIM、Cipher、CodeChameleon。

作者把 DASE 定位为训练自由的对抗自演化：用层次化自然语言经验给黑盒智能体做冷启动防护，并同时处理安全与角色风格。

DASE 不更新参数，让 Persona-Targeted Attacker 与 Role-Playing Defender 共同改写两份自然语言知识库，再在推理时检索使用。

问题设定与联合效用

对齐被写成以人设 P 为条件的动态对抗。查询为 q，回复为 r，要同时看安全 S 和相对参考角色分布 Drole 的一致性 C。

J(q, r, P) = S(r) · C(r ∣ D_role)，效用是两项奖励的乘积，只有两边都高才算高分。目标是 max_Kdef min_{q ∼ πatt} E_{r ∼ πdef}[J(q, r, P)]，防御者用知识库拉高期望，攻击者用查询压低它。

两个策略与三层知识库

• 攻击者 πatt：不同于通用红队，按 P 的画像与叙事背景，从 Katt 采样 qt，制造安全或一致性失败。
• 防御者 πdef：rt 从 qt、P、Kdef 生成，只改上下文，不改权重。
• 三层：全局经验 EG 存跨角色蒸馏的通用安全协议；攻击侧存跨人设高成功率向量。个性化经验 EP 存角色内拒答；攻击侧存该人设的诱导点。Golden Exemplars 只给防御者，存同时过两类阈值的历史回复，作上下文示例。作者称故意不给攻击者这一层，以提高生成熵、避免模式坍缩。

交互、检索与判定

Algorithm 1 中，每轮把 Qadv 与标准指令 Qdata 组成批次 B。Figure 2 将数据侧标为 Role-Playing Conversation Database 与 Persona Profiles。一个 LLM 按查询从 EG、EP 选规则；示例用两阶段检索。Judge 对数据集查询对照 ground-truth，对攻击查询用原则性指南，输出二元 pass/fail。失败写作 S < τ 或 C < τ。论文未给出 τ，也未点名 Judge、检索 LLM、Reflector、Update Operator 的模型名。

语义更新

作者用 Add、Modify、Delete、Merge 代替数值梯度，并称与 Training-Free GRPO（Cai et al., 2025）的上下文空间优化一致。

• Fail 更新防御者：全局层汇总批次失败，加入通用安全补丁或合并冗余规则；个性化层按角色聚类，修改不精确约束或加入角色内拒答指令。失败样本进入自校正环，Reflector 按 Judge 反馈改写，只有通过评测的修正进入示例库，过时示例可删除。
• Pass 更新攻击者：对抗查询被挡住时，攻击者更新自己的全局与个性化经验，分析失效策略并改写下一轮。作者举例是从角色诱导转向逻辑嵌入。论文未给出主实验的迭代次数 T。

推理时组装

Figure 3 把静态人设、全局经验、个人经验、少样本示例和用户问题拼进防御者提示。图中全局层举例为拒答模板，正文未给出模板原文。回复条件是检索到的 Kdef。

实验设置

• 骨干：DASE 装在 Kimi-K2-Instruct（Table 1 记 1T）与 GPT-5.2（规模栏为「-」，论文称参数量未公开）上。二者为闭源商业模型。
• 对照：SaRFT 装在 LLaMA-3-8B、Qwen2.5-7B、Gemma-2-9B，与 DASE 不是同一组骨干。无干预基座还有 Qwen3-32B、gpt-oss-120b、Qwen3-235B-A22B-Instruct-2507，以及上述两个闭源模型本身。
• 数据：AdvBench 520 条有害指令；HEx-PHI 300 条、11 类；BeaverTails 分层子集 1,000 条。越狱策略为 AIM、Cipher、CodeChameleon，论文分别称为人设、密码与代码封装。Table 1 未列 AdvBench 与 AIM。
• 角色：RoleBench 选 10 个角色，例子有 Stephen Hawking、Deadpool、Queen Catherine。RAW 为一般指令跟随，SPE 为角色知识保持。
• 指标与评审：安全与越狱主指标为 Refusal Rate，由 GPT-4o 判定有效拒答，协议跟随 Zhao et al. (2025)。论文未写该判定的数值阈值、与人工一致性及重复次数。演化循环中的 Judge J 未点名，不宜与 GPT-4o 当成同一个模型。
• 动态评测：Table 4 取 250、500、750、1,000 轮，每格对应该攻击者知识库生成的 100 条恶意查询。

主结果

表格较宽，可左右滑动

模型	RoleBench	Safety	Jailbreak	Cipher	CodeC
LLaMA-3+SaRFT	26.91	84.36	59.55	64.00	55.10
Qwen2.5+SaRFT	26.33	88.89	22.10	30.00	14.20
Gemma-2+SaRFT	28.69	94.68	45.30	87.50	3.10
gpt-oss-120b	22.06	93.66	76.70	71.00	82.40
Kimi-K2-Instruct	24.61	96.13	62.50	85.50	39.50
GPT-5.2	23.36	97.16	79.55	63.50	95.60
DASE[Kimi-K2-Instruct]	35.42	97.40	78.33	95.75	60.90
DASE[GPT-5.2]	35.60	97.84	84.00	68.00	100.00

据 Table 1。RoleBench、Safety、Jailbreak 三列均为 AVG；Safety 由 BeaverTails 与 HEx-PHI 平均，Jailbreak 由 Cipher 与 CodeChameleon 平均。省略 Qwen3-32B 与 Qwen3-235B-A22B-Instruct-2507；二者 Jailbreak AVG 分别为 58.77 与 75.42。

• 作者称 DASE 同时提高保真与安全，并称 DASE[GPT-5.2] 的 RoleBench AVG 与 Safety AVG 在所评方法中最高；其 SPE 从基座 17.73 到 40.09。
• 作者称 DASE[Kimi-K2-Instruct] 比 Gemma-2+SaRFT 的 RoleBench AVG 高 6.73 分、Jailbreak AVG 高 33.03 分，并以此对比静态微调。Table 1 的 Jailbreak AVG 里，该 DASE 行低于 GPT-5.2 基座一行。
• 两行 DASE 在 Cipher 与 CodeC 上的高低位置相反。作者正文强调 Kimi 侧的 Cipher 与 GPT-5.2 侧的 CodeChameleon，未单独解释另一格。Figure 1 标注 26.91、84.36、59.55 与 35.42、97.40、78.33，旁注 31.62%、15.46%、31.54%；绝对分与表中 LLaMA-3+SaRFT 及 DASE[Kimi-K2-Instruct] 相同，图未写 Kimi。

组件消融

Table 2 在 Kimi-K2-Instruct 上去掉 Attacker、显式经验规则或 Golden Exemplars。

• 无攻击者的 Full Defender，RoleBench 为 35.00、Safety 为 96.76、Jailbreak 为 66.08；完整 DASE 为 35.42、97.40、78.33。作者称 RoleBench 仍约为 35，越狱侧有 12 分提升，说明只有记忆结构不够。
• 去掉示例后 RoleBench 为 26.51。去掉显式规则后 Jailbreak 为 73.10，低于保留规则、去掉示例时的 75.18。
• 作者称示例对维持人设风格必要，显式规则比隐式示例更能挡住复杂越狱。

跨模型知识迁移

Table 3 把一个骨干演化出的知识库直接套到另一个骨干。

• GPT-5.2 使用 Kimi-K2 知识库：RoleBench 33.03、Safety 97.23、Jailbreak 80.58；其空库行为 23.36、97.16、79.55。
• Kimi-K2 使用 GPT-5.2 知识库：34.25、97.58、70.15；空库为 24.61、96.13、62.50。作者称 RoleBench 约加 10 分，并称后一迁移有 Safety Distillation，越狱拒答加 7.65。

演化动态

Table 4 交叉报告 Refusal Rate。作者确认的端点是：Base 列从 A250 的 71% 到 A1000 的 62%；对 A1000，从 Base 的 62% 到 D1000 的 76%。

• 作者称前一变化是 9 分下降，说明攻击者在发现盲点并生成更难的越狱提示。
• 作者称后一变化为 +14%，防御者把以往失败转成后续策略。作者认为静态模型挡不住演化中的对手。表注写阶段为 0 到 1,000 轮，行从 A250 起。

其他消融与分析

• 无攻击者、无示例、有规则：R 26.35，S 96.24，J 64.98（Table 2）。
• 无攻击者、无规则、有示例：R 29.22，S 96.61，J 64.55。
• 有攻击者、无示例、有规则：R 26.51，S 97.30，J 75.18。
• 有攻击者、无规则、有示例：R 29.43，S 96.73，J 73.10。
• Table 5 用同一条恶意请求比较 Freddy Krueger 与 D'Artagnan。作者称基线安全但出戏，DASE 先过全局规则，再按人设约束与示例以该角色的叙事逻辑拒答；无数值。

作者指出的局限与后续方向

论文未专门讨论局限。摘要、引言、Section 4、结论与所附文本都没有 Limitations、Discussion 或 Future Work 专节，也没有把某项结果写成 DASE 本身的不足或计划中的后续实验。

实验覆盖范围

• DASE 的骨干是 Kimi-K2-Instruct 与 GPT-5.2；SaRFT 装在 LLaMA-3-8B、Qwen2.5-7B、Gemma-2-9B；无干预基座还包括 Qwen3-32B、gpt-oss-120b、Qwen3-235B-A22B-Instruct-2507（Section 4.1，Table 1）。
• 角色侧为 RoleBench 的 10 个角色，报告 RAW 与 SPE。设置写明 AdvBench 520 条、HEx-PHI 300 条（11 类）、BeaverTails 分层子集 1,000 条，以及 AIM、Cipher、CodeChameleon；Table 1 报告 BeaverTails、HEx-PHI、Cipher、CodeChameleon（Section 4.1–4.2）。
• 对外 Refusal Rate 由 GPT-4o 判定。消融在 Kimi-K2-Instruct 上（Table 2）。知识库在这两个骨干之间对调（Table 3）。演化交叉评测为 250 至 1,000 轮，每个攻击者知识库 100 条恶意查询（Table 4）。
• 摘要与引言称可泛化到未见人设与未见攻击提示；Section 4 没有单独的未见人设划分及对应数字。相关工作写到推理时方法会触发 over-refusal，实验未报告良性请求上的误拒率。
• 论文未报告阈值 τ、主实验迭代次数 T、Judge J 与 Reflector、Update Operator、检索 LLM 的模型名、重复次数，以及 GPT-4o 评审与人工的一致性。

DASE 是给专有闭源角色扮演智能体用的训练自由防御，目标是人设保真与安全拒答一起成立，而不是改模型权重。

问题在于人设沉浸，尤其负面人设，会压过原有护栏；SFT、数据筛选和正则又跟不上新人设与新攻击，也不能用于没有梯度的 black-box API。

做法是两个循环共用自然语言记忆。Persona-Targeted Attacker 按人设画像合成越狱查询；Role-Playing Defender 把失败收成三层知识：全局安全规则、角色内拒答约束、同时过安全与一致性的示例。推理时检索拼进提示。效用是安全与一致性的乘积；失败更新防御，挡住攻击才更新攻击策略。攻击者故意没有示例层。

Table 1 里，DASE[GPT-5.2] 的 RoleBench AVG 为 35.60，Safety AVG 为 97.84，Jailbreak AVG 为 84.00，SPE 从基座 17.73 到 40.09。DASE[Kimi-K2-Instruct] 的 Jailbreak AVG 为 78.33，其中 Cipher 为 95.75%、CodeChameleon 为 60.90%；GPT-5.2 这一侧则是 Cipher 68.00、CodeChameleon 100.00%。作者称相对 Gemma-2+SaRFT，Kimi 版在 RoleBench AVG 与 Jailbreak AVG 上分别高 6.73 与 33.03 分。Kimi 版的 Jailbreak AVG 仍低于 GPT-5.2 基座。

去掉攻击者后，越狱拒答为 66.08，完整设置为 78.33；作者称攻击压力用来找盲点。知识库可在两家骨干间直接套用。Table 4 中，1,000 轮攻击者的 100 条查询上，拒答率从 Base 的 62% 到 Defender1000 的 76%。

作者的结论是：只积累可检索的防御经验，也能让闭源模型维持人设并抵抗冷启动越狱，知识可迁移、可即插即用。论文未专节讨论局限。