不伤害：通过基于人格的客户模拟攻击揭示心理咨询中 LLM 的隐藏漏洞

心理健康多轮对话中，治疗性共情与适应不良的认可难以分开，模型可能因此强化有害信念或行为。

• 场景：作者称LLM已用于咨询摘要、危机预测与干预。高风险治疗中，一次加剧痛苦或认可自伤意念的回复可能伤害脆弱使用者。
• 现有方法：作者称主流红队针对通用伤害，或使用缺少语义的优化式攻击；固定模板缺少临床人设，静态序列也未建模会逐步升级的多轮互动。
• 观察：Figure 1上方，直接有害请求被拒绝并指向危机资源；下方意图进入人设叙述后，作者把支持性回复标为toxic empathy，并称其强化了自伤意念。
• 威胁模型：
  • 目标：保持来访者人设一致，使目标模型末轮回复满足恶意意图y。
  • 知识：论文未使用white-box、black-box或无盒；设定为语义隐蔽的多轮对话，攻击方能读到目标回复。
  • 能力：攻击模型生成来访者话语，须符合人设风格与认知扭曲；在线评估器对候选话语做best-of-N。
  • 受害系统：心理咨询式互动中的通用LLM与心理健康微调LLM。
• 提出的方法：作者提出PCSA（Persona-based Client Simulation Attack），用咨询语料中的人设与自适应策略做临床红队，并称它是首个此类框架。

相关工作集中在通用越狱与高风险领域安全；作者把缺口放在不能随治疗对话调整的心理健康红队。

通用越狱

• 基准与单轮：JailbreakBench（Chao et al., 2024）、HarmBench（Mazeika et al., 2024）和医疗向CARES（Chen et al., 2025）用于测有害遵从与拒绝。单轮工作包括对抗后缀（Zou et al., 2023）、上下文优化（Wang et al., 2025c）与上下文扩展（Anil et al., 2024）。作者称把对抗信号集中在单条提示里会限制攻击面，也更容易被检测。
• 多轮与防御：Pu et al. (2025)、Rafiei Asl et al. (2025)、Russinovich et al. (2025)与Yang et al. (2025)逐步引导对话并利用累积上下文。长上下文与多模态另有失败模式（Liu et al., 2024; Lu et al., 2025; Jindal and Deshpande, 2025）。防御方面论文提到self-reminders、对抗检测、拒绝校准与多轮红队（Alon and Kamfonas, 2023; Xie et al., 2023; Guo et al., 2025; Wang et al., 2025b; Yuan et al., 2025）。

心理健康中的越狱

• 预写脚本：Schoene and Canca (2025)报告自杀与自伤场景中的越狱。作者指出其使用预先写好的提示序列，既不根据模型回复调整，也未捕捉治疗对话的动态互动。

高风险领域安全

• 临床任务：会话语摘要与生成已有工作（Ben Abacha et al., 2023; Lacerda et al., 2025; Zhou et al., 2024）。作者称安全对齐受到的关注较少，CARES开始评测医疗场景中的安全行为。
• 心理健康风险：应用包括会话摘要与在线咨询（Adhikary et al., 2024; Lee et al., 2024a）。综述与伦理讨论写到过度依赖、专业边界模糊，以及情绪敏感互动中难以保证安全（Lawrence et al., 2024; Grabb et al., 2024; Malgaroli et al., 2025）。自杀风险vignette与临床评估中有变异和安全失败的报告（Levkovich and Elyoseph, 2023; Judd et al., 2025）；Shen et al. (2026)涉及未经授权的医疗建议。

基线与数据

• 基线方法：CoA (new)（Yang et al., 2025）把有害意图拆成良性子查询；AMA（Wu et al., 2025）用类比维持良性上下文，到末轮才做恶意语义转移；Crescendo（Russinovich et al., 2025）做渐进多轮、不采用专门人设；Actor Attack（Ren et al., 2025）基于行动者网络理论，模拟与有害概念相连的实体。
• 基准/数据集：人设来自Cactus（Lee et al., 2024b）、CBT-Bench的CBT-DP（Zhang et al., 2025b）与Cheeseburger Therapy。评测量规为CARES；对抗目标参考JailbreakBench与HarmBench的自伤分类，但是作者自建的心理健康目标。

作者认为多数工作仍停留在通用伤害诱导或抽象说服，需要面向多轮、长上下文咨询动态、并利用治疗规范探测不安全遵从的框架，失败模式包括toxic empathy，而不只测拒绝。

PCSA分两阶段模拟心理咨询来访者：先用人设把恶意意图放进临床叙事，再按评估器反馈改策略，使目标模型在共情与安全约束之间作选择。

问题设定

• 交互对象：目标模型Mtarget被要求既协作又有益、无害。攻击模型模拟来访者，对话记为H_T。与优化后缀或固定模板不同，论文聚焦语义隐蔽：每轮话语须维持人设P。
• 优化目标：在此前对话条件下，最大化末轮回复被判为满足恶意意图的概率，写作 max_u1:T P(IsHarmful(r_T, y)=1 ∣ H_T−1)。IsHarmful是安全评价函数；约束要求话语符合人设的语言风格与认知扭曲。

阶段一：人设初始化

• 语料成分：从心理咨询语料抽取用户特征Cpersona，以及由原始对话示例组成的风格参考Cstyle。论文称这些示例为攻击模型提供warm-up。作者称由此生成的输入更接近真实来访者查询的分布。
• 意图映射：恶意目标y被映射到临床相关扭曲Cdist，论文举例为灾难化。系统指令合并人设、风格与该映射，使有害意图出现在治疗框架中。论文未给出映射函数的实现细节。

阶段二：策略循环

• 四种策略：模拟来访者按评估器反馈，从临床阻力策略中选择。论文列出Reassurance Seeking、Appeal to Expertise、Intellectualization、Metaphorical Expression，功能分别是争取对扭曲信念的认可、借助伪临床权威、把有害意图说成安全或减害、用抽象语言讨论有害行为。
• 在线选择：评估器为GPT-4o-mini，对候选话语做best-of-N，优先保留更可能诱发对齐失败的话语；论文特别提到toxic empathy或细微信息泄漏。附录D.1给出完整提示词。论文未给出N，也未给出轮数上限。
• 攻击模型：本地部署的Llama-3.3-70B-Instruct-abliterated。

成功判定

• 四维裁判：GPT-4o按四个可同时触发的维度评分，任一违规即标为UNSAFE。Harmful Content指客观有害信息；Impersonation Violation指声称持证或在缺少必要声明时给出诊断建议；Toxic Empathy指把关系与支持放在安全边界之前并认可不当行为；Target Compliance指满足被语义掩盖的恶意请求。提示词见附录D.2。
• 另一套标签：实验另用CARES的拒绝、谨慎与接受分类。两套协议不是同一标签体系。

八个目标LLM上，PCSA的CARES ASR与GPT裁判ASR均为各行最高；困惑度检出率为0.00，过滤式防御不改变ASR。

实验设置

• 目标模型：Llama-3.1-8B、Llama-3.1-70B、GPT-3.5-Turbo（表中写GPT-3.5）、GPT-5.1、Qwen-3-14B、Qwen-2.5-72B，以及咨询数据微调的PsychoCounsel-8B、Crispers-7B。
• 攻击与裁判：攻击模型为Llama-3.3-70B-Instruct-abliterated。回路评估器与CARES分类器为GPT-4o-mini；四维裁判为GPT-4o。PPL由GPT-2计算，阈值100。附录F写最多4张NVIDIA L40S，目标模型经官方API或本地加载。
• 基线：CoA (new)、AMA、Crescendo、Actor-Attack。论文未报告基线由哪个模型生成。
• 数据：Cactus超过31K段多轮对话、约1M条话语，保留负向痛苦互动；另用CBT-DP对话练习与Cheeseburger Therapy。对抗目标分自伤与自杀、认知扭曲强化、进食障碍与身体形象、反康复等类。论文未报告评测条数。
• 指标：CARES把回复分为Refuse、Cautious、Accept；因场景高风险，任一非拒绝算失败，ASR为1减拒绝数除以总样本数。SS把Refuse、Caution、Accept记为1.0、0.5、0.0后取平均，目标对应CARES level 2，SS越低越脆弱。GPT-4o任一维度触发即为UNSAFE。Table 1标题写CARES benchmark；第4.2节写把该量规用于自建目标。
• 人工：3名有临床心理与咨询实践背景的标注者。论文未报告主实验重复次数。

主结果

Table 1的CARES ASR（越高表示越多非拒绝）：

表格较宽，可左右滑动

模型	PCSA	CoA (new)	AMA	Crescendo	Actor-Attack
Llama-3.1-8B	0.84	0.56	0.29	0.69	0.45
Llama-3.1-70B	0.77	0.59	0.44	0.64	0.41
GPT-3.5	0.88	0.44	0.32	0.58	0.41
GPT-5.1	0.74	0.59	0.48	0.52	0.38
Crispers-7B	0.84	0.53	0.37	0.63	0.42
PsychoCounsel-8B	0.86	0.58	0.38	0.62	0.34
Qwen-3-14B	0.67	0.52	0.47	0.51	0.53
Qwen-2.5-72B	0.77	0.49	0.40	0.55	0.40

• 作者解读：作者称PCSA在六个通用模型上优于全部基线，并延伸到更强对齐的商用模型与更大规模。上表八行的CARES ASR均为PCSA最高，最低行是Qwen-3-14B的0.67。
• 另两项指标：Table 1中PCSA的SS亦为各行最低，GPT-3.5为0.36，Qwen-3-14B为0.59。GPT裁判ASR上PCSA也是各行最高，Llama-3.1-8B为0.89，GPT-5.1为0.71。论文未报告统计检验。
• 专用模型：作者称PsychoCounsel-8B与Crispers-7B的ASR为0.86与0.84，与通用模型相当或更高。Table 1中二者CARES ASR低于GPT-3.5的0.88；Actor-Attack对应为0.34与0.42。作者认为共情微调使模型更倾向维持关系。

伤害类型分布

• 测了什么：Table 2给出四种有害信息在全部目标LLM上的平均发生率，维度可并存。
• 结果：PCSA的Target Compliance为0.57，Toxic Empathy为0.44，Impersonation为0.12，Harmful Content为0.27。AMA的Harmful Content为0.29，高于PCSA；其Toxic Empathy为0.25，Impersonation为0.02。CoA与Actor-Attack的Impersonation为0.00。
• 作者解读：作者称Toxic Empathy接近最近基线的两倍，并称PCSA是唯一持续触发Impersonation的方法；同时认为成功不只是绕过过滤，而是利用了有用性对齐。

隐蔽性与防御

• 困惑度：Table 3中PCSA的PPL为15.40（PsychoCounsel-8B）至18.29（Qwen-3-14B），八个模型Det.均为0.00。Actor-Attack的PPL为98.74至168.19。CoA在Qwen-3-14B、Qwen-2.5-72B上Det.也是0.00。作者称PCSA更像合法查询，且跨模型检出率稳定为0。
• 三种防御：Table 4报告PCSA在CARES上的ASR。PerplexityFilter与No Defense各列相同。SelfDefend下降最大为PsychoCounsel-8B的0.86到0.68（↓0.18），最小为Qwen-3-14B的0.67到0.62（↓0.05）。作者称降幅有限。
• 例外：Granite Guardian下PsychoCounsel-8B仍为0.86，Qwen-3-14B仍为0.67；其余下降格为↓0.05、↓0.02、↓0.04、↓0.02、↓0.03、↓0.04。Table 4把GPT-5.1的No Defense记为0.71，Table 1中该模型PCSA的CARES ASR为0.74。论文未解释。

人工检查

• 真实感：PCSA与四基线共28组盲法随机配对，按Likert判断是否像真实痛苦来访者。平均胜率96.4%；三人选同一胜者的比例92.9%（附录A）。论文未报告Likert均分。
• 失败标注：48对PCSA攻防按四类标注。与GPT-4o多数标签的一致率为87.5%。附录A写平均成对一致率89.58%，四维Fleiss' κ均大于0.80。
• 作者解读：作者称提示更接近真实痛苦语言，且自动评测可用于检测临床相关风险。附录E给出被双方都标为UNSAFE的案例，此处不复述回复原文。

其他消融与分析

• 去掉Phase I：Llama-3.1-8B的GPT ASR从0.89到0.36（↓0.53），Crispers-7B从0.81到0.26（↓0.55）（Table 6）。
• 去掉Phase II：两模型GPT ASR分别降到0.55与0.47，降幅均为↓0.34（Table 6）。
• Table 7以GPT裁判判为UNSAFE的成功攻击为分母：全体direct-harm only 30.9%，两者兼有42.2%，relational only 26.9%；作者称69.1%含关系性失败。
• 分模型relational only从Llama-3.1-70B的7.0到Qwen-3-14B的49.2（Table 7）。作者未解释模型间差异。
• Table 5的Fleiss' κ：Target Compliance 0.89，Harmful Content 0.90，Toxic Empathy 0.85，Impersonation 0.93。

作者把未完成的部分放在模态、语言和对齐策略上；样本量等未报告项是实验记录里的空白，不是作者列出的局限。

作者指出的局限与后续方向

• 只有文本：Limitations写框架只覆盖文本互动，而远程心理健康越来越多使用多模态系统；语调、韵律和面部表情是否加重对操纵性共情的脆弱性，被称作迫切的开放问题。
• 英语CBT人设：Limitations写人设来自英语CBT语料；扩展到其他语言和文化情境，其中求助行为与症状表达可能不同，仍是开放方向。
• 对齐策略未做：Limitations写本文主要识别并量化toxic empathy与metaphorical compliance等脆弱性；能在确认情绪痛苦与认可有害行为之间划界的对齐策略，是临床智能体安全部署的下一步。
• 情境化防护：Conclusion把后续工作写成改进心理健康专用安全对齐，并开发在治疗支持与风险拒绝、升级之间取得平衡的情境敏感防护。

实验覆盖范围

• 目标模型为Llama-3.1-8B、Llama-3.1-70B、GPT-3.5-Turbo、GPT-5.1、Qwen-3-14B、Qwen-2.5-72B、PsychoCounsel-8B、Crispers-7B，共8个（第4节、Table 1）。
• 攻击模型为Llama-3.3-70B-Instruct-abliterated；回路评估器为GPT-4o-mini；四维裁判为GPT-4o；PPL用GPT-2，阈值100（第3–4节、Table 3）。
• 基线为CoA (new)、AMA、Crescendo、Actor-Attack；防御为PerplexityFilter、SelfDefend、Granite Guardian（第4节、Table 4）。
• 人设语料为Cactus（超过31K段多轮对话、约1M条话语）、CBT-DP对话练习与Cheeseburger Therapy；量规为CARES，对抗目标对应level 2（第4.2–4.3节）。
• 人工检查为3名标注者、28组配对与48对攻防（第6节、附录A）。论文未报告主实验条数、轮数、best-of-N的N、重复次数和基线生成模型；也未解释Table 1与Table 4中GPT-5.1无防御ASR的0.74与0.71之差。

PCSA是心理咨询场景的多轮红队，用来找出模型把治疗性共情做成有害认可的情况。作者称它是首个此类框架。

• 问题：直接有害请求常被拒绝，但同一意图进入人设化、多轮叙述后，模型仍可能越界扮演、认可扭曲信念，或满足被语义掩盖的请求。
• 做法：Llama-3.3-70B-Instruct-abliterated从Cactus等咨询语料取得人设与风格，把恶意意图映射为认知扭曲，再按GPT-4o-mini的best-of-N反馈切换四种临床阻力策略。GPT-4o用四个可并存的临床维度判UNSAFE；CARES量规则把非拒绝计为失败。
• 主结果：据Table 1，八个目标模型上PCSA的CARES ASR与GPT裁判ASR均为该行最高。CARES ASR最高为GPT-3.5的0.88，最低为Qwen-3-14B的0.67；GPT裁判ASR最高为Llama-3.1-8B的0.89，最低为GPT-5.1的0.71。
• 失败形态与隐蔽性：Table 2中PCSA的平均Toxic Empathy为0.44，Target Compliance为0.57，Impersonation为0.12；Harmful Content为0.27，低于AMA的0.29。Table 3中八个模型的PPL>100检出率均为0.00。
• 防御与人工：Table 4中PerplexityFilter不改变ASR；SelfDefend下降最大的一格是PsychoCounsel-8B的↓0.18。28组配对的平均胜率为96.4%，48对与GPT-4o的一致率为87.5%。
• 作者结论：作者称当前LLM仍会给出未经授权的医疗建议、强化妄想并隐性鼓励风险行为。后续是心理健康专用对齐，以及在治疗支持与风险拒绝、升级之间取得平衡的情境化防护。