Skip to content

Translation in progress Some entries still include text in the original language.

Original
arXiv· arXiv:2602.13234· Mingyang Liao, Yichen Wan, shuchen wu, Chenxi Miao, Xin Shen, Weikang Li, Yang Li, Deguo Xia, Jizhou Huang·Indexed by this site · Originally published

Stay in Character, Stay Safe: A Dual-Loop Adversarial Self-Evolving Framework for Safe Role-Playing Agents

Stay in Character, Stay Safe: Dual-Cycle Adversarial Self-Evolution for Safety Role-Playing Agents

Quick read

Defenses

Based on 论文 PDF （AI 生成）; refer to the original

作者提出DASE：GPT-5.2的RoleBench AVG为35.60，Jailbreak AVG为84.00。

Threat model受害系统是 black-box API 上的专有 closed-weight 角色扮演 LLM。

Questions
角色扮演保真越高，尤其负面人设，越容易压过安全护栏并被越狱。训练式对齐成本高、难跟上新人设与新攻击，且不能更新闭源黑盒模型。
Methods
DASE不更新参数。攻击者按人设合成越狱查询，防御者把失败写入三层知识库：全局规则、人设约束与安全示例。推理时检索组合后再生成。
Experiments and results
DASE[GPT-5.2]的RoleBench AVG为35.60，Safety AVG为97.84，Jailbreak AVG为84.00（Table 1）。知识库可跨模型迁移，防御随演化轮次上升。
Limitations and future work
论文未专门讨论局限。实验覆盖两家闭源骨干、SaRFT与若干无干预基座、RoleBench的10个角色，以及表内Cipher与CodeChameleon。未报告τ、主实验T、评审与人工一致性，表中也无AdvBench与AIM。
Experimental setupKimi-K2-Instruct、GPT-5.2 · RoleBench、BeaverTails et al. · Refusal Rate、RAW et al.
Threat model
受害系统是 black-box API 上的专有 closed-weight 角色扮演 LLM。攻击借助人设沉浸削弱越狱抵抗。Persona-Targeted Attacker 只用人设 P 与 Katt 合成查询，压低联合效用 J。评测为 AIM、Cipher、CodeChameleon。
Evaluated models
Kimi-K2-InstructGPT-5.2
Benchmarks
RoleBenchBeaverTailsHEx-PHIAdvBenchAIMCipherCodeChameleon
Metrics
Refusal RateRAWSPE
AI summaryA training-free dual-loop adversarial self-evolving framework is proposed, enabling role-playing agents to resist jailbreak attacks while maintaining their persona. The attacker loop continuously synthesizes stronger jailbreak prompts, while the defender loop distills observed failures into a three-layer knowledge base of global safety rules, persona constraints, and safe persona examples, which are retrieved and combined at inference to guide generation. On multiple proprietary LLMs, the method outperforms strong baselines in both persona fidelity and jailbreak resistance, and generalizes to unseen personas and attack prompts.

A training-free dual-loop adversarial self-evolving framework is proposed, enabling role-playing agents to resist jailbreak attacks while maintaining their persona. The attacker loop continuously synthesizes stronger jailbreak prompts, while the defender loop distills observed failures into a three-layer knowledge base of global safety rules, persona constraints, and safe persona examples, which are retrieved and combined at inference to guide generation. On multiple proprietary LLMs, the method outperforms strong baselines in both persona fidelity and jailbreak resistance, and generalizes to unseen personas and attack prompts.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    角色越忠实越易被越狱，训练式防御又难用于闭源模型。

    角色扮演越贴近人设，尤其是负面或高风险人设，越容易压过原有安全护栏而被越狱。

    • 场景：作者称高保真角色扮演与安全对齐冲突，模型要么牺牲人设换安全，要么为保持人设绕过护栏。负面特质上的严格服从会削弱抗越狱能力，新角色还需要即时冷启动防护。
    • 现有不足：作者称先前工作主要靠 SFT、数据筛选或对齐正则。它们难泛化到未见人设与新攻击，重训练跟不上对抗变化，还可能损伤人设，且不能用于梯度不可得的专有闭源 LLM。
    • 思路：作者认为不必把安全写成参数更新施加的静态约束；攻击探测与防御经验可在对抗压力下共同演化，以同时覆盖安全与一致性的盲点。
    • 提出：DASE（Dual-cycle Adversarial Self-Evolution）。Persona-Targeted Attacker 合成逐步加强的越狱提示，Role-Playing Defender 把失败蒸馏成层次化知识库，推理时检索组合后生成，不更新参数。
    • 威胁模型：
      • 受害系统：经 black-box API 访问的专有 closed-weight LLM 角色扮演智能体，防御不能依赖梯度。
      • 攻击目标：利用人设沉浸，尤其负面或高风险人设，诱导违反安全规范，或让安全与角色一致性一起失败。
      • 知识与能力：框架内攻击者使用人设画像 P 与攻击记忆 Katt 合成查询；论文未写它可读权重。评测攻击包括 AIM、Cipher、CodeChameleon，以及有害指令基准。
      • 判定：演化循环里 Judge 按安全 S 与一致性 C 的阈值给出 pass/fail；对外主指标是 Refusal Rate。

  2. What related research exists?

    相关工作分角色扮演、越狱与两类对齐；作者将DASE定位为黑盒冷启动防御。

    引言与 Section 2 按构建方式、安全后果和防御时机来写，没有单独的攻击论文综述。

    角色扮演智能体

    • 提示词注入人设：Li et al. (2023a) 的 ChatHaruhi、Chen et al. (2023) 用 RAG 把角色脚本放进上下文。
    • 微调内化人设：Wang et al. (2024b) 的 RoleLLM、Zhou et al. (2023) 的 CharacterGLM 在角色语料上做 SFT。作者称保真提升带来安全脆弱性，且多数工作把保真放在安全之前。

    角色沉浸与越狱

    • 作者的判断：引用 Wei et al. (2023)、Huang et al. (2024)，称追求角色一致性，尤其负面人设，会破坏模型固有安全对齐，角色扮演常充当隐蔽越狱。
    • 一并引用的越狱工作：同一句还列出 Liu et al. (2024) AutoDAN、Chao et al. (2024)、Mehrotra et al. (2024)、Deng et al. (2024) MasterKey、Zou et al. (2023)、Yu et al. (2024) GPTFuzzer。论文未逐篇复述算法，也未把批评安到每一篇上。

    安全对齐策略

    • 训练式：Ji et al. (2023) 做数据选择；Zhao et al. (2025)、Huang et al. (2024)、Dai et al. (2023) 用正则或安全策略约束优化。作者称成本高、新角色有冷启动问题，且不适用于梯度不可得的专有黑盒模型。
    • 推理时：Shinn et al. (2023) Reflexion、Inan et al. (2023) Llama Guard、Robey et al. (2024) SmoothLLM、Cao et al. (2024) 用自校正或外部护栏，不更新参数。作者称它们常靠通用提示，会触发 over-refusal，难以兼顾特定角色风格。

    基线与基准

    • 基线方法：作者称 SaRFT（Zhao et al., 2025）是当前 state-of-the-art 微调方法，装在 LLaMA-3-8B、Qwen2.5-7B、Gemma-2-9B 上。无干预基座为 Qwen3-32B、gpt-oss-120b、Qwen3-235B-A22B-Instruct-2507、Kimi-K2-Instruct、GPT-5.2。
    • 基准：RoleBench；有害查询 AdvBench、HEx-PHI、BeaverTails；越狱策略 AIM、Cipher、CodeChameleon。

    作者把 DASE 定位为训练自由的对抗自演化：用层次化自然语言经验给黑盒智能体做冷启动防护，并同时处理安全与角色风格。

  3. How does the paper address this problem?

    DASE不改参数，由攻击者与防御者共同演化三层自然语言知识库。

    DASE 不更新参数，让 Persona-Targeted Attacker 与 Role-Playing Defender 共同改写两份自然语言知识库，再在推理时检索使用。

    问题设定与联合效用

    对齐被写成以人设 P 为条件的动态对抗。查询为 q，回复为 r，要同时看安全 S 和相对参考角色分布 Drole 的一致性 C。

    J(q, r, P) = S(r) · C(r ∣ Drole)，效用是两项奖励的乘积，只有两边都高才算高分。目标是 maxKdef minq ∼ πatt Er ∼ πdef[J(q, r, P)]，防御者用知识库拉高期望，攻击者用查询压低它。

    两个策略与三层知识库

    • 攻击者 πatt：不同于通用红队，按 P 的画像与叙事背景，从 Katt 采样 qt，制造安全或一致性失败。
    • 防御者 πdef：rt 从 qt、P、Kdef 生成，只改上下文，不改权重。
    • 三层：全局经验 EG 存跨角色蒸馏的通用安全协议；攻击侧存跨人设高成功率向量。个性化经验 EP 存角色内拒答；攻击侧存该人设的诱导点。Golden Exemplars 只给防御者，存同时过两类阈值的历史回复，作上下文示例。作者称故意不给攻击者这一层，以提高生成熵、避免模式坍缩。

    交互、检索与判定

    Algorithm 1 中，每轮把 Qadv 与标准指令 Qdata 组成批次 B。Figure 2 将数据侧标为 Role-Playing Conversation Database 与 Persona Profiles。一个 LLM 按查询从 EG、EP 选规则；示例用两阶段检索。Judge 对数据集查询对照 ground-truth，对攻击查询用原则性指南，输出二元 pass/fail。失败写作 S < τ 或 C < τ。论文未给出 τ，也未点名 Judge、检索 LLM、Reflector、Update Operator 的模型名。

    语义更新

    作者用 Add、Modify、Delete、Merge 代替数值梯度，并称与 Training-Free GRPO（Cai et al., 2025）的上下文空间优化一致。

    • Fail 更新防御者：全局层汇总批次失败，加入通用安全补丁或合并冗余规则；个性化层按角色聚类，修改不精确约束或加入角色内拒答指令。失败样本进入自校正环，Reflector 按 Judge 反馈改写，只有通过评测的修正进入示例库，过时示例可删除。
    • Pass 更新攻击者：对抗查询被挡住时，攻击者更新自己的全局与个性化经验，分析失效策略并改写下一轮。作者举例是从角色诱导转向逻辑嵌入。论文未给出主实验的迭代次数 T。

    推理时组装

    Figure 3 把静态人设、全局经验、个人经验、少样本示例和用户问题拼进防御者提示。图中全局层举例为拒答模板，正文未给出模板原文。回复条件是检索到的 Kdef。

  4. What experiments did the paper conduct?

    Table 1中DASE在两家闭源骨干上同时提高RoleBench与越狱拒答。

    实验设置

    • 骨干：DASE 装在 Kimi-K2-Instruct（Table 1 记 1T）与 GPT-5.2（规模栏为「-」，论文称参数量未公开）上。二者为闭源商业模型。
    • 对照：SaRFT 装在 LLaMA-3-8B、Qwen2.5-7B、Gemma-2-9B，与 DASE 不是同一组骨干。无干预基座还有 Qwen3-32B、gpt-oss-120b、Qwen3-235B-A22B-Instruct-2507，以及上述两个闭源模型本身。
    • 数据：AdvBench 520 条有害指令；HEx-PHI 300 条、11 类；BeaverTails 分层子集 1,000 条。越狱策略为 AIM、Cipher、CodeChameleon，论文分别称为人设、密码与代码封装。Table 1 未列 AdvBench 与 AIM。
    • 角色：RoleBench 选 10 个角色，例子有 Stephen Hawking、Deadpool、Queen Catherine。RAW 为一般指令跟随，SPE 为角色知识保持。
    • 指标与评审：安全与越狱主指标为 Refusal Rate，由 GPT-4o 判定有效拒答，协议跟随 Zhao et al. (2025)。论文未写该判定的数值阈值、与人工一致性及重复次数。演化循环中的 Judge J 未点名，不宜与 GPT-4o 当成同一个模型。
    • 动态评测：Table 4 取 250、500、750、1,000 轮，每格对应该攻击者知识库生成的 100 条恶意查询。

    主结果

    Swipe horizontally to read the table

    模型RoleBenchSafetyJailbreakCipherCodeC
    LLaMA-3+SaRFT26.9184.3659.5564.0055.10
    Qwen2.5+SaRFT26.3388.8922.1030.0014.20
    Gemma-2+SaRFT28.6994.6845.3087.503.10
    gpt-oss-120b22.0693.6676.7071.0082.40
    Kimi-K2-Instruct24.6196.1362.5085.5039.50
    GPT-5.223.3697.1679.5563.5095.60
    DASE[Kimi-K2-Instruct]35.4297.4078.3395.7560.90
    DASE[GPT-5.2]35.6097.8484.0068.00100.00

    据 Table 1。RoleBench、Safety、Jailbreak 三列均为 AVG；Safety 由 BeaverTails 与 HEx-PHI 平均，Jailbreak 由 Cipher 与 CodeChameleon 平均。省略 Qwen3-32B 与 Qwen3-235B-A22B-Instruct-2507；二者 Jailbreak AVG 分别为 58.77 与 75.42。

    • 作者称 DASE 同时提高保真与安全，并称 DASE[GPT-5.2] 的 RoleBench AVG 与 Safety AVG 在所评方法中最高；其 SPE 从基座 17.73 到 40.09。
    • 作者称 DASE[Kimi-K2-Instruct] 比 Gemma-2+SaRFT 的 RoleBench AVG 高 6.73 分、Jailbreak AVG 高 33.03 分，并以此对比静态微调。Table 1 的 Jailbreak AVG 里，该 DASE 行低于 GPT-5.2 基座一行。
    • 两行 DASE 在 Cipher 与 CodeC 上的高低位置相反。作者正文强调 Kimi 侧的 Cipher 与 GPT-5.2 侧的 CodeChameleon，未单独解释另一格。Figure 1 标注 26.91、84.36、59.55 与 35.42、97.40、78.33，旁注 31.62%、15.46%、31.54%；绝对分与表中 LLaMA-3+SaRFT 及 DASE[Kimi-K2-Instruct] 相同，图未写 Kimi。

    组件消融

    Table 2 在 Kimi-K2-Instruct 上去掉 Attacker、显式经验规则或 Golden Exemplars。

    • 无攻击者的 Full Defender，RoleBench 为 35.00、Safety 为 96.76、Jailbreak 为 66.08；完整 DASE 为 35.42、97.40、78.33。作者称 RoleBench 仍约为 35，越狱侧有 12 分提升，说明只有记忆结构不够。
    • 去掉示例后 RoleBench 为 26.51。去掉显式规则后 Jailbreak 为 73.10，低于保留规则、去掉示例时的 75.18。
    • 作者称示例对维持人设风格必要，显式规则比隐式示例更能挡住复杂越狱。

    跨模型知识迁移

    Table 3 把一个骨干演化出的知识库直接套到另一个骨干。

    • GPT-5.2 使用 Kimi-K2 知识库：RoleBench 33.03、Safety 97.23、Jailbreak 80.58；其空库行为 23.36、97.16、79.55。
    • Kimi-K2 使用 GPT-5.2 知识库：34.25、97.58、70.15；空库为 24.61、96.13、62.50。作者称 RoleBench 约加 10 分，并称后一迁移有 Safety Distillation，越狱拒答加 7.65。

    演化动态

    Table 4 交叉报告 Refusal Rate。作者确认的端点是：Base 列从 A250 的 71% 到 A1000 的 62%；对 A1000，从 Base 的 62% 到 D1000 的 76%。

    • 作者称前一变化是 9 分下降，说明攻击者在发现盲点并生成更难的越狱提示。
    • 作者称后一变化为 +14%，防御者把以往失败转成后续策略。作者认为静态模型挡不住演化中的对手。表注写阶段为 0 到 1,000 轮，行从 A250 起。

    其他消融与分析

    • 无攻击者、无示例、有规则：R 26.35，S 96.24，J 64.98（Table 2）。
    • 无攻击者、无规则、有示例：R 29.22，S 96.61，J 64.55。
    • 有攻击者、无示例、有规则：R 26.51，S 97.30，J 75.18。
    • 有攻击者、无规则、有示例：R 29.43，S 96.73，J 73.10。
    • Table 5 用同一条恶意请求比较 Freddy Krueger 与 D'Artagnan。作者称基线安全但出戏，DASE 先过全局规则，再按人设约束与示例以该角色的叙事逻辑拒答；无数值。

  5. What are some points that can be further explored?

    论文未设专节写出局限或后续方向。

    作者指出的局限与后续方向

    论文未专门讨论局限。摘要、引言、Section 4、结论与所附文本都没有 Limitations、Discussion 或 Future Work 专节，也没有把某项结果写成 DASE 本身的不足或计划中的后续实验。

    实验覆盖范围

    • DASE 的骨干是 Kimi-K2-Instruct 与 GPT-5.2；SaRFT 装在 LLaMA-3-8B、Qwen2.5-7B、Gemma-2-9B；无干预基座还包括 Qwen3-32B、gpt-oss-120b、Qwen3-235B-A22B-Instruct-2507（Section 4.1，Table 1）。
    • 角色侧为 RoleBench 的 10 个角色，报告 RAW 与 SPE。设置写明 AdvBench 520 条、HEx-PHI 300 条（11 类）、BeaverTails 分层子集 1,000 条，以及 AIM、Cipher、CodeChameleon；Table 1 报告 BeaverTails、HEx-PHI、Cipher、CodeChameleon（Section 4.1–4.2）。
    • 对外 Refusal Rate 由 GPT-4o 判定。消融在 Kimi-K2-Instruct 上（Table 2）。知识库在这两个骨干之间对调（Table 3）。演化交叉评测为 250 至 1,000 轮，每个攻击者知识库 100 条恶意查询（Table 4）。
    • 摘要与引言称可泛化到未见人设与未见攻击提示；Section 4 没有单独的未见人设划分及对应数字。相关工作写到推理时方法会触发 over-refusal，实验未报告良性请求上的误拒率。
    • 论文未报告阈值 τ、主实验迭代次数 T、Judge J 与 Reflector、Update Operator、检索 LLM 的模型名、重复次数，以及 GPT-4o 评审与人工的一致性。

  6. Summarize the main content of the paper

    DASE用双循环知识库，在两家闭源模型上同时提高保真分与拒答率。

    DASE 是给专有闭源角色扮演智能体用的训练自由防御，目标是人设保真与安全拒答一起成立，而不是改模型权重。

    问题在于人设沉浸，尤其负面人设，会压过原有护栏；SFT、数据筛选和正则又跟不上新人设与新攻击，也不能用于没有梯度的 black-box API。

    做法是两个循环共用自然语言记忆。Persona-Targeted Attacker 按人设画像合成越狱查询；Role-Playing Defender 把失败收成三层知识：全局安全规则、角色内拒答约束、同时过安全与一致性的示例。推理时检索拼进提示。效用是安全与一致性的乘积；失败更新防御，挡住攻击才更新攻击策略。攻击者故意没有示例层。

    Table 1 里，DASE[GPT-5.2] 的 RoleBench AVG 为 35.60，Safety AVG 为 97.84，Jailbreak AVG 为 84.00，SPE 从基座 17.73 到 40.09。DASE[Kimi-K2-Instruct] 的 Jailbreak AVG 为 78.33，其中 Cipher 为 95.75%、CodeChameleon 为 60.90%；GPT-5.2 这一侧则是 Cipher 68.00、CodeChameleon 100.00%。作者称相对 Gemma-2+SaRFT，Kimi 版在 RoleBench AVG 与 Jailbreak AVG 上分别高 6.73 与 33.03 分。Kimi 版的 Jailbreak AVG 仍低于 GPT-5.2 基座。

    去掉攻击者后，越狱拒答为 66.08，完整设置为 78.33；作者称攻击压力用来找盲点。知识库可在两家骨干间直接套用。Table 4 中，1,000 轮攻击者的 100 条查询上，拒答率从 Base 的 62% 到 Defender1000 的 76%。

    作者的结论是：只积累可检索的防御经验，也能让闭源模型维持人设并抵抗冷启动越狱，知识可迁移、可即插即用。论文未专节讨论局限。

Read originalarxiv.org