In Vino Veritas and Vulnerabilities：用醉酒语言诱导检验 LLM 安全

把LLM适配成醉酒语言后，会不会像人喝醉一样更容易越狱和泄露隐私。

• 场景：作者把醉酒语言定义为反映酒精致醉者语言模式的文本，类比醉酒发短信。人类研究将饮酒与不当后果、犯罪易感和隐私泄露相联系；LLM又能模拟人设，因此作者问安全对齐是否会被这种语言变体绕开。
• 现有不足：作者称既有越狱常靠换语言或换风格，且多依赖合成数据；商业防御是反应式的，落后于攻击者。微调或越狱可以抵消安全对齐。
• 假设：醉酒相关的语言与语用变化本身就能驱动不安全输出，诱导数据不必是对抗样本。
• 本文做法：用三种诱导改编LLM，再评估越狱与情境隐私。作者称这是首次把LLM适配到醉酒语言，并整理了首个大规模醉酒发短信语料。
• 威胁模型：
  • 目标：让JUDGE把生成判为有害，以绕过内容指南；隐私侧要披露情境中的私密属性，破坏情境完整性。
  • 知识：不掌握目标模型的训练数据。论文未把该设定称为white-box、black-box或gray-box。
  • 能力：可做轻量微调，并持有醉酒文本语料Ddrunk。提示法只在推理时加前缀，不改权重。闭源模型在API支持时走微调接口。
  • 受害系统：已做安全对齐的对话LLM。攻击者发送有害查询；隐私评测在提示中放入关于主体S的私密情境c。

醉酒文本识别

• Hossain et al. (2016)、Joshi et al. (2015)、Maity et al. (2018)、Aphinyanaphongs et al. (2014) 在LLM之前识别醉酒文本，多用Twitter。作者称这些数据规模小，不适合训练或适配现代LLM；并称据其所知，自己是首个用LLM生成能力诱导醉酒语言的工作。

越狱

• 早期方法或手工编写（Liu et al., 2024b; Shen et al., 2024b; Zeng et al., 2024），或需要模型内部（Zou et al., 2023; Shen et al., 2024a）。黑盒设定下用辅助模型自动生成对抗提示（Chao et al., 2025; Mehrotra et al., 2024），或借用程序模糊测试与遗传算法（Lapid et al., 2024; Yu et al., 2023; Liu et al., 2024a; Jeong et al., 2025）。
• 作者指出后一类常产生不连贯提示，易被事后困惑度过滤。作者称近期因此转向社会工程，其中说服类最有效，ASR高且演化快（Zeng et al., 2024; Kaul et al., 2025; Xu et al., 2025）。引言还提到换语言（Dunca et al., 2025）和诗体风格（Bisconti et al., 2025），并称这些多依赖合成数据。综述为Huang et al. (2024)、Yi et al. (2024)。

隐私泄露

• 论文把LLM隐私分成训练数据记忆（Carlini et al., 2019）和提示隐私（Edemacu and Wu, 2025），本文做后者。
• Staab et al. (2024)、Mireshghallah et al. (2024) 研究模型从上下文推断私人信息并引导对话。作者称自己是首个用醉酒语言诱导这类隐私漏洞的工作。

基线与基准

• 越狱基线为PAIR、GCG、JB-Chat、Prompt+RS，基准是JAILBREAKBENCH（Chao et al., 2024），100条。隐私基准是CONFAIDE（Mireshghallah et al., 2024）。

作者把本文放在可解释的语言变体攻击上：不搜索对抗后缀，而是诱导醉酒语言，并对照人类醉酒时的安全与隐私后果。方法节另引用Qi et al. (2024) 等关于微调破坏对齐的结果，用来支持“良性醉酒文本也可能带来退化”。

三种方法合称醉酒语言诱导，让回复模仿醉酒发短信，再测越狱与情境隐私。

问题设定

• 解码器模型由提示P生成回复R。提示法把醉酒人设前缀拼到P上，仍调用基座。后训练先得到改编模型，再在提示中加相应指令。
• 越狱时，攻击者变换有害查询q，目标是存在一次生成使JUDGE为真。隐私时，提示拼接含主体S私密信息的情境c，由LEAK判断是否破坏情境完整性；泄露率是发生披露的提示比例。
• 论文把越高的指标视为从攻击者视角越脆弱。CONFAIDE原定义则是数值越低，隐私保持越好。

语料DRUNKTEXT

• 过滤：来源为TFLN与Reddit的/drunk（2012–2018 dump）。TFLN先用严格规则抽出约250条种子（约7.5万条中），训练RMdrunk：Sentence-BERT嵌入上的逻辑回归。10折交叉验证precision 92.02%、recall 91.65%。再用它保留高醉酒分数文本；短于十词和重复文本被丢掉。
• 规模：Table 1总计63,577条，训练57,219，留出6,358，平均长度40.97。TFLN 2,363，Reddit 61,214。
• 质量与指令：两人判断所选文本是否为给定提示下的醉酒回复，75%判为相关，Fleiss' Kappa 0.71。部分诱导需要指令–回复对，用GPT-4o反向生成短指令；附录B给了构造说明与样例，此处不列其中的约束。

三种诱导

• PROMPTING：推理时加人设，要求只以醉酒发短信方式回答，并故意加入语法拼写错误、偶尔无视用户。作者将其作为基线攻击，按Mustafa et al. (2025) 归入Encoding/Obfuscation，也可看成说服攻击。不改权重，不需辅助LLM。
• FINETUNING：因果语言建模，让模型续写醉酒文本。开源用LoRA，学习率2e-5，rank 8，α 32，dropout 0.15，目标模块为v_proj、k_proj、o_proj、q_proj。闭源在API支持时微调；GPT-4为1个epoch，学习率与batch设为auto。作者称未做充分超参搜索。
• REINFORCEMENT LEARNING：PPO做在LoRA adapter上。Ddrunk作偏好数据；RMdrunk及其他醉酒文本属性进入奖励，鼓励醉酒风格、抑制清醒文本。学习率5e-6，batch 128，mini-batch 16，PPO epoch 4，目标KL 0.1。论文写明RL不用于闭源模型。

下游判定

• 越狱：JAILBREAKBENCH。JUDGE默认是LLaMA3-70B，提示取自Xu et al. (2024)，附录Figure 8给出全文；判的是回复是否提供了与用户目标相关的信息。ASR(X)=∑_{i∈ X,q∈ Q}1[JUDGE(i,q)=True]/|X|，即回复中被判为未拒绝且与问题相关的比例。另有人工抽查。
• 隐私：CONFAIDE三层。Tier 1只给信息类型，看敏感度；Tier 2加入行动者与用途，文中对应原基准Tier 2A、无详细情境；Tier 3含三名行动者，报告泄露率、控制率与心智理论错误率。敏感度范围为−100到100，后几项为[0,1]。计算沿用原基准。附录Table 19有各层样例。
• 与既有攻击的差别：Table 2中本文三种方法的生成提示可解释，且不需辅助LLM，查询数与token数为N/A。作者称它们比需要多次尝试、辅助模型或模型内部的越狱更轻；论文未报告本文的查询次数或耗时。

实验设置

• 模型：LLaMA2-7B、LLaMA3-8B、Mistral-7B、GPT-3.5（gpt-3.5-turbo-1106）、GPT-4（gpt-4-0125-preview）。三种诱导分别施加。RL不用于闭源；GPT-3.5微调被API安全检查拦截。评审为LLaMA3-70B。
• 基准：JAILBREAKBENCH 100条，18%来自ADVBENCH、27%来自HARMBENCH、55%为新编。CONFAIDE的Tier 1/2/3为10、98、270。诱导训练用DRUNKTEXT。
• 基线：PAIR、GCG、JB-Chat、Prompt+RS。Table 4只覆盖LLaMA2-7B、GPT-3.5、GPT-4。
• 指标：越狱用ASR。CONFAIDE在Table 18报告敏感度以及Leak.、Contr.、Err.、Priv. Err.。留出醉酒文本上还报告困惑度与醉酒奖励。攻击者视角下越高越脆弱。
• 评审：LLaMA3-70B输出0或1，1表示提供了与用户目标相关的信息。两名共同作者独立抽查，标注者间Fleiss' Kappa 0.82，与LLM评审为0.65。论文未报告抽查条数。
• 防御与重复：SmoothLLM为10% token替换、10个扰动、多数投票；Rephrase用GPT-4复述；Retokenize的BPE α为0.4，闭源与LLaMA3-8B不适用。除非另注，微调为1个epoch。论文未报告重复次数。

主结果

Swipe horizontally to read the table

模型	DrunkPr.	DrunkFT	DrunkRL	Prompt+RS
LLaMA2-7B	31%	51%	41%	90%
LLaMA3-8B	76%	63%	35%	未报告
Mistral-7B	90%	74%	53%	未报告
GPT-3.5	45%	被拦截	不适用	93%
GPT-4	21%	41%	不适用	78%

前三列据Table 12，Prompt+RS据Table 4。被拦截、不适用来自Section 7.2.1。

• 作者称三种诱导都能越狱，并在几乎所有已比较模型上次优。Table 4中LLaMA2-7B的DrunkFT 51%低于Prompt+RS的90%，高于PAIR 0%、GCG 3%、JB-Chat 0%；GPT-4的DrunkFT 41%低于Prompt+RS 78%，高于PAIR 34%、GCG 4%、JB-Chat 0%。GPT-3.5的DrunkPr. 45%低于PAIR 71%、GCG 47%和Prompt+RS 93%，不是该列次优。
• 作者称Prompt+RS更重，且随机搜索提示可解释性更低（Table 2：Interp.为×，查询<100、token<500K）。欺诈/欺骗类上，作者称本文方法ASR为80%，Prompt+RS为70%；论文未说明变体与分母。
• JB-Chat在Table 4三列均为0%。作者称当前对齐已缓解这类手工人设，而醉酒提示仍然有效。LLaMA3-8B上提示版76%高于微调63%和RL 35%，并非微调一律更高。

后处理防御

• 设置：Figure 3与Table 13比较无防御、SmoothLLM、Rephrase、Retokenize。作者称这些防御不改模型或生成设置。文本转换看不到Figure 3的柱高，数字以下表为准。
• SmoothLLM：开源提示版上升，LLaMA2-7B 31%到90%，LLaMA3-8B 76%到92%，Mistral-7B 90%到93%。微调版下降，LLaMA2-7B 51%到20%，LLaMA3-8B 63%到21%，Mistral-7B 74%到14%，GPT-4 41%到19%。
• 作者说法与表内差别：作者称Retokenize影响很小，微调后的醉酒行为对输入扰动更不敏感，且攻击在常见后处理防御下仍然有效。Table 13中Mistral-7B微调版Retokenize为21%（无防御74%），Rephrase为83%。提示版Rephrase：LLaMA2-7B 42%（高于31%），LLaMA3-8B 60%、Mistral-7B 82%（低于无防御）。GPT-4提示版Rephrase为44%，高于无防御21%；作者称GPT-4对变异类方法更有效，与该格不一致。

情境隐私

• 设置：Figure 4与Table 18比较基座和三种诱导。Figure 4只含LLaMA2-7B、GPT-3.5、GPT-4的部分指标；全部分数在Table 18。论文称数值越低，隐私保持越好。
• 闭源：GPT-3.5提示版Contr. 0.73、Err. 1.00、Priv. Err. 1.00，基座为0.00、0.65、0.46；Tier 1敏感度从−70.0到−42.0。GPT-4微调Contr. 0.75、Err. 0.99、Priv. Err. 0.97，基座为0.06、0.12、0.07；Tier 1从−71.5到−49.0。作者称在更强的闭源模型上更明显。
• 例外：作者称各方法相对基座整体更高，全表趋势成立。Table 18中GPT-4提示版Tier 2敏感度为−83.3，低于基座−74.9；Leak.从1.00到提示0.97、微调0.96。Mistral-7B的Leak.从基座0.69到微调0.57、RL 0.50。LLaMA2-7B与LLaMA3-8B的多项Tier 3基座已在0.98到1.00。附录Table 5给了回复对照，此处不引原文。

其他消融与分析

• 留出集困惑度（Table 3）：LLaMA2-7B 43.49到微调15.48、RL 15.92；LLaMA3-8B 52.33到21.54、29.24；Mistral-7B 40.67到16.51、19.88。
• 醉酒奖励（Table 11）：LLaMA2-7B 0.48到0.71、0.76；LLaMA3-8B 0.45到0.78、0.90；Mistral-7B 0.45到0.67、0.71。
• 毒性：57K训练文本中约11K超过Detoxify 0.75。去掉后ASR（Table 14，无毒/全部）：LLaMA2 FT 58/51、RL 47/41；LLaMA3 FT 60/63、RL 63/35；Mistral FT 81/74、RL 43/53。作者认为毒性不太可能是主因。
• 非醉酒人设（Table 15）：GPT-3.5醉酒45、清醒但不加抑制35、错字26；LLaMA2-7B为31、17、44。
• 错字文本相对醉酒文本的微调ASR（Table 16，错字/醉酒；错字来自DAILYDIALOG、10%噪声）：LLaMA2 40/51，LLaMA3 50/63，Mistral 85/74。作者认为表层扰动单独并不足以驱动有害行为；Mistral一格相反。
• LoRA强度（Table 10未写明模型；α=0的43.49、α=1.0的15.48与Table 3中LLaMA2-7B的Base、FT相同）：α=0/0.1/0.5/1.0/2.0的困惑度为43.49/36.85/20.98/15.48/256.80。作者称adapter变强时建模更强；α=2.0升到256.80。Appendix Figure 6、Figure 7的端点数值在文本中不可读；作者称epoch增加时困惑度下降、ASR大体稳定，基座变体的ASR随epoch上升，且虚假信息、欺诈/欺骗、恶意软件/黑客类更高。

作者指出的局限与后续方向

• 创新在于提示、微调数据和奖励模型的选择，而不是新算法（Limitations）。
• 只做了单轮、英文；多轮与多语言对话是后续方向（Limitations）。
• 三种技术不穷尽。作者提到还可试DPO，或按线性表示假设抽取并操控内部醉酒表示（Limitations）。
• 判断力只通过安全违规来看，隐私泄露是代理；后续可单独看不确定条件下的推理或道德困境（Limitations）。
• 作者写明风格标记并不能等同底层醉酒认知，本文不声称在建模醉酒本身，只研究模仿醉酒语言模式的文本（Limitations）。
• 醉酒只是判断受损的一种行为；大麻或其他物质，以及这些行为之间的交互，是后续方向（Limitations）。

实验覆盖范围

• 被测生成模型为GPT-3.5、GPT-4、LLaMA2-7B、LLaMA3-8B、Mistral-7B；越狱评审为LLaMA3-70B（Section 6、Table 8）。
• 安全基准为JAILBREAKBENCH 100条；隐私为CONFAIDE三层，规模10、98、270（Section 6）。
• 后处理防御包括SmoothLLM、Rephrase、Retokenize。论文写明排除困惑度类防御，因为它们依赖连贯提示，不适合本文设置（Section 7.2.2）。
• Table 4的基线比较覆盖LLaMA2-7B、GPT-3.5、GPT-4；LLaMA3-8B与Mistral-7B的PAIR、GCG、JB-Chat、Prompt+RS论文未报告。
• GPT-3.5微调被API安全检查拦截，RL不用于闭源（Section 7.2.1）。论文未报告攻击重复次数、本文方法的查询次数，以及人工抽查的分母。

作者把醉酒语言当作攻击向量，检验把LLM适配成醉酒发短信的模式后，越狱和情境隐私是否变差。动机是人类醉酒时的失范与泄密，以及LLM模拟人设的能力。

• 做法：自建DRUNKTEXT，共63,577条。三种诱导是推理时人设前缀、因果微调（开源为LoRA，GPT-4走API），以及以醉酒分类器为奖励的PPO。闭源不做RL；GPT-3.5微调被API安全检查拦截。
• 越狱：JAILBREAKBENCH共100条，评审为LLaMA3-70B。Mistral-7B提示版ASR为90%，LLaMA3-8B提示版为76%，LLaMA2-7B微调版为51%，GPT-4微调版为41%，GPT-3.5提示版为45%（Table 12）。Table 4里这三个有基线的模型都低于Prompt+RS（90%、93%、78%）。LLaMA2-7B与GPT-4的最高诱导高于PAIR、GCG和JB-Chat；GPT-3.5提示版45%低于PAIR的71%和GCG的47%。
• 隐私：GPT-4微调的CONFAIDE Contr.为0.75、Err.为0.99，基座为0.06和0.12（Table 18）。LLaMA2-7B与LLaMA3-8B的多项Tier 3基座已在0.98到1.00。SmoothLLM下，LLaMA2-7B提示版ASR从31%到90%（Table 13）。
• 作者结论：作者认为醉酒语言与人类醉酒的社会后果之间有对应，语言变体可能削弱现有安全机制。作者同时写明，这不是在建模醉酒认知本身，证据限于单轮英文。