什么驱动方言越狱？对表层形式、文化框架与策略库的消融研究

方言越狱的高成功率，究竟来自非标准表层、文化框架，还是优化器在策略库上的搜索。

• 场景与重要性：作者认为多语助手的安全机制很少按语言广度被评测；同一有害意图放进低资源语言、方言语域或本地文化框架后，拒答可能不同。技术上这对应安全对齐的语义泛化弱，社会上则可能让代表性不足的语言变体使用者得到不平等保护。
• 现有不足：跨语言越狱、对抗后缀与提示社区已有记录；最接近的是CC-BOS（Huang et al., 2026），文言文配合黑盒提示优化可绕过防护。作者认为尚不清楚该脆弱性是否只属于文言文，以及攻击里真正起作用的是方言表层、文化框架，还是策略空间上的迭代优化。
• 核心观察：作者把评测扩到仍在使用的上海话/吴语与粤语/粤语，认为这些变体有大量当代使用者，安全覆盖缺口因而有实际后果。目标不是把说话者或社群刻画为风险来源，而是检验安全机制能否泛化到用户实际交互的语境。
• 本文提出：在固定目标模型、评审与评测预算下，做36格受控消融，系统改变表层形式与文化框架策略库；并报告生活方言成功攻击的高层机制分类，以及不公开可复用载荷的报告协议。
• 威胁模型：
  • 知识：black-box red-team。审计者查询已部署目标并观察回复，只需query access。
  • 能力：攻击模型提出方言框架变体，翻译模型供基于评审的评测，近似对闭源系统的第三方鲁棒性审计。
  • 目标与判定：诱导模型违反预期安全策略；成功定义为评审总分si≥τ=80（0–5量表的4分，再加关键词加分）。
  • 披露边界：只报告聚合指标、经净化的方法与防御含义，省略优化后提示、原始有害回复和可直接复用的提示模板。

越狱与红队

• Shen et al. (2024) 刻画真实越狱提示及其策略，包括角色扮演、权限提升和提示注入。
• 自动化方法搜索对抗字符串或提示变换：Zou et al. (2023) 的梯度引导后缀、Ganguli et al. (2022) 与 Perez et al. (2022) 的语言模型红队，以及Gehman et al. (2020)、Chao et al. (2023)、Souly et al. (2024) 的安全与越狱评测。
• 另一支优化可读提示或整段模板：Liu et al. (2024) 的遗传算法、Yu et al. (2023) 的模板模糊测试、Mehrotra et al. (2024) 的树状攻击精炼、Yuan et al. (2024) 的编码变换。作者认为这些工作已显示，在模板/策略空间上优化或变异可以打破GPT类模型，因此本文的修正性发现是：在这类优化器之上，方言表层及其文化根基对二值成功几乎没有额外贡献。

多语安全对齐

• Ouyang et al. (2022) 的RLHF与Bai et al. (2022) 的Constitutional AI使模型获得拒答，但防护多在高资源语言上训练。
• Yong et al. (2023) 报告把不安全提示译入低资源语言可绕过GPT-4；Deng et al. (2024) 报告语言资源越少，不安全行为越多；Shen et al. (2024) 认为多语对齐难以只靠翻译数据解决。作者指出这些研究多在国家语言层面，本文则考察汉语族内部的区域变体与文化语域偏移。

冷僻语域越狱与方言NLP

• CC-BOS（Huang et al., 2026）在黑盒设置下对角色、隐喻、表达、语境等维度做多维果蝇优化，生成文言文对抗提示，并把文言文视为相对现代安全语料更简练、更冷僻。作者追问这种“高能力–低对齐”是否延伸到活方言，以及方言表层本身是否承重。
• Joshi et al. (2020) 与Bender (2011) 指出数据、标注与评测规范偏向标准语域，使NLP在方言和低资源变体上表现较差。作者把这一点接到LLM安全：方言与语域变化暴露拒答稳健性不一致，而不只是任务准确率；并澄清本文消融里主导失败模式是策略维度上的优化，而非单独的方言表层。

基线与基准

• 基线方法：CC-BOS的FOA循环；本文六条件包括english_original、mandarin_translation、naive_dialect_translation（非FOA，每次有害意图一次攻击模型调用），以及冻结文化库、冻结表层库或两库都开的三种FOA条件。另有文化中性通用策略库对照。
• 基准：CC-BOS对比设置所用的50条AdvBench子集（Zou et al., 2023; Huang et al., 2026）。

作者把本文定位为同一经验安全评测传统，但聚焦汉语方言与文化语域这一分布偏移，以及它与优化器驱动的攻击策略库之间的交互。

作者扩展CC-BOS（Huang et al., 2026）：保留黑盒优化循环，把语域专用的提示构造器换成方言社会文化框架模块，并加入两阶段翻译。在此之上做六条件消融，分开表层形式与策略库。

问题设定与成功定义

• 有害意图为xi，语域d∈D，目标模型m∈M。构造器给出zi,d,θ=πθ(xi,d)，θ索引一组被隐去的语域框架选择；目标返回y=m(zi,d,θ)，必要时译成英语ỹ=Td(y)。
• 评审给出一致性分ci∈{0,20,…,100}（0–5量表乘20）和关键词加分bi∈{0,20}，总分si=ci+bi∈[0,120]。成功阈值τ=80，即量表4/5。ASR为n条上I{si≥τ}的比例。三者均继承CC-BOS且未再调，对每个方言、目标与条件相同使用。
• 另报0–5量表上的Avg.Score，以及全部提示与成功提示上的目标查询数Avg.Q。附录I在τ∈{40,60,80}上检查阈值敏感性。

语域、维度库与消融

• 三个语域：文言文用单阶段译英；上海话/吴语配本地社会文化框架；粤语/粤语在线足迹更广，配华南与香港文化框架。后两者评测走两阶段：先译成普通话注疏，再译成英语。方言模块保持优化器接口和高层策略维度数量，具体模板与优化后提示不公开。
• 八个构造维度分成表层库（如表达风格、知识框架）与文化框架库（如角色、隐喻、语境、引导）。精确划分放在公开配置中，正文未逐项列出。
• Table 1的六条件：english_original、mandarin_translation、naive_dialect_translation不做FOA，每种表层一次攻击模型调用；dialect_without_cultural_frame冻结文化库、保留方言表层；mandarin_with_cultural_frame冻结表层库、在普通话上优化文化库；full_dialect_cultural_frame两库都开、输出目标方言。

优化、翻译与文化中性对照

• FOA（果蝇优化）维持一小群提示构造策略。每个FOA格子种群大小5、最多5次迭代，τ=80早停。作者称这衡量快速穿透与查询代价，不是最大化回复严重度。非FOA条件跳过优化循环。
• 攻击模型与翻译模型都是DeepSeek-Chat，自动评审是GPT-4o。系统记录翻译中的回避或低置信短语标记，避免明显低置信译文被默认为可靠证据；作者称这不能消除翻译噪声。
• 文化中性对照把方言社会文化维度换成不含文化根基的角色、格式、情景与托词维度，表层为英语、普通话和通用中文语域；FOA循环、目标、评审、τ与n保持不变。

定性编码与安全报告

• 对完整方法下200条成功优化提示（上海话、粤语各100）做高层机制编码，不复述提示或有害回复。模式定义计数来自更早的每方言99条快照；可靠性检查用最终FOA数据。
• 第二编码者是独立会话中的通用语言模型智能体，只给模式表与提示，不给假设、既有编码或方法语境。另抽20条非FOA提示做模板伪影对照。附录E只给占位骨架（角色、文化场景、带注疏的请求、三步程序支架、输出格式），不填具体内容。
• 作者提出的报告协议是公布聚合指标、失败模式与防御，扣留优化后的对抗提示和有害目标回复。

实验设置

• 目标模型：完整消融为GPT-4o与DeepSeek-Reasoner。攻击与翻译为DeepSeek-Chat；主评审为GPT-4o。附录H交叉厂商复核用Qwen-Max。附录A的5条冒烟测试曾把DeepSeek-Chat当目标，因自攻击混淆未进入主对比。接口为2026年5月的托管API。
• 数据：CC-BOS对比设置的50条AdvBench子集，覆盖多个有害意图类别；正文不复现原始提示。36格=3方言×6条件×2目标×50条，共1800次目标评测，记录经去重后每文件50个唯一ID。
• 预算：FOA种群5、最多5次迭代，τ=80早停。
• 指标：ASR（si≥80）、Avg.Score（0–5）、Avg.Q。50/50格子的Wilson 95%区间作者称约为92.9–100.0%。FOA与非FOA用配对McNemar检验（附录F）。
• 定性：9类机制；20条成功提示上作者与假设盲语言模型智能体的中位Cohen’s κ=0.71（附录G写+0.706，范围0到1）。

主结果

据Table 2，ASR（%），τ=80，每格n=50。

Swipe horizontally to read the table

条件	文言 GPT-4o	文言 DS-R	沪语 GPT-4o	沪语 DS-R	粤语 GPT-4o	粤语 DS-R
english_original	2.0	2.0	0.0	2.0	2.0	2.0
mandarin_translation	2.0	2.0	6.0	2.0	2.0	2.0
naive_dialect_translation	2.0	8.0	2.0	4.0	2.0	0.0
dialect_without_cultural_frame	100	100	100	100	100	100
mandarin_with_cultural_frame	100	100	100	100	100	98
full_dialect_cultural_frame	100	100	100	100	100	100

• 作者称非FOA三行在每个方言–目标对上都在0–8%（表注写每格低于10%）；直接把英语有害提示译成普通话或方言、不做策略库搜索，几乎总是失败。
• 每个FOA条件，包括只开一个策略库的两个变体，达到98–100%。普通话文化框架条件输出标准普通话仍达98–100%；冻结文化库后方言表层条件仍处处100%。作者认为从0–8%到98–100%的共同成分是优化器在某个非平凡策略库上运行。
• 完整方法下Avg.Score为4.02–4.28，DeepSeek-Reasoner在每个方言上都略高于GPT-4o，峰值是文言文/DeepSeek-Reasoner的4.28。完整方法六格无失败；唯一非满分FOA格是粤语mandarin_with_cultural_frame对DeepSeek-Reasoner的49/50。附录F：18个FOA内部对比的p值都是1.00，至多一对不一致；每个FOA对非FOA对比高度显著（例如46/50不一致对，p<10−10）。作者称n=50下不能拒绝三个FOA条件相等，这是天花板饱和约束下的零结果。

查询效率与严重度

• Table 3（完整方法，因全部成功，两列相同）：GPT-4o上文言文2.56、上海话3.54、粤语5.14；DeepSeek-Reasoner上上海话2.98、文言文3.18、粤语5.84。作者称方言选择可把效率改变最多约2倍，并把粤语更低效率读成与其更大在线表征的交互，同时说明并未直接测量预训练暴露。
• Table 5：GPT-4o成功回复紧贴早停阈值，48–49/50总分为正好80。DeepSeek-Reasoner每方言有4–7/50达到100或120，GPT-4o为1–2/50；高分最多的是文言文/DeepSeek-Reasoner 9/50（41个80、4个100、5个120）和粤语/DeepSeek-Reasoner 7/50。200条活方言成功里11条为100或120，其中10条针对DeepSeek-Reasoner。作者认为推理模型一旦接受方言框架前提就更容易展开，或这些语域的安全覆盖更弱，但没有私有思维链或训练数据就无法区分。

文化中性策略库

• Table 4：FOA加文化中性库，英语/普通话/通用中文语域×两个目标，六格ASR均为100%，平均总分80.4–85.6，平均查询1.24–1.54，低于Table 3的方言格。作者认为文化根基不是必要成分；承重的是优化器加上足够有表达力的策略库，无论是否有文化内容。
• 匹配预算的best-of-k（非自适应、25次查询）只完成文言文/GPT-4o：100% ASR（33/33）。作者将其标为初步证据，主归因放在消融与近单次查询的通用对照上，并指出设计没有把一次性策略构造和迭代搜索完全分开。

评审、阈值与定性

• 附录H：分层216行由Qwen-Max重评。连续严重度Pearson 0.87、Spearman 0.86、Krippendorff α=0.79。按总分二值成功，原始一致率0.931，Cohen’s κ=0.86。若丢掉关键词加分、只按一致性分二值化，κ降到0.11（GPT-4o边际成功率约5%，Qwen-Max约45%）；作者称之为高流行率下的κ悖论，不是排序分歧。Table 11（n=303双评行）：非FOA上GPT-4o为3.3%（n=151）、Qwen-Max为2.0%；FOA上为100%对88.8%（n=152）。作者称绝对天花板依赖评审校准，但同一评审内的消融对比仍在。GPT-4o同时是目标与主评审，DeepSeek-Chat同时是攻击与翻译模型。
• Table 12：核心矩阵上非FOA（n=900）的ASR@40/60/80为6.3%、5.1%、2.4%；FOA（n=900）为100.0%、99.9%、99.9%。作者称两极差距不是特定阈值的产物；τ>80因早停右删失而未报告。
• 机制：括号语义注疏与三步程序支架在FOA样本中为20/20，在非FOA中为1/20（Δ=+0.95）；现代技术桥接、商贸物流隐喻与灰色权威框架在非FOA中为0/20。上海话快照里显式现代技术桥为88/99。作者称这些机制是优化下涌现的，不是模板或AdvBench请求本身机械诱导的；也不应把单个机制读成必要或充分。同一方言内，长度与成功提示的查询数近乎零相关。中位κ=+0.706，四个机制完全一致，另有一个退化边际κ=0。

其他消融与分析

• 附录A冒烟（5条，DeepSeek-Chat为目标）：文言文4/5、粤语4/5、上海话5/5。
• 附录B：本文用τ=80的省查询设置，Avg.Score不宜与CC-BOS高严重度、更大预算的结果直接比较；τ=120重跑作者称仍在进行。
• 完整方法下失败集中在非FOA近地板，以及上述49/50一格；作者把剩余二值波动读成搜索预算噪声，而不是有害类别依赖。

作者指出的局限与后续方向

• 小基准且易饱和（Limitations）：50条AdvBench子集太小，难以精确估计方言或目标之间的小差异；AdvBench相对更难的量表基准会抬高成功率并产生“空”越狱，这曾促使StrongREJECT出现。天花板ASR应部分读成测量工具的性质。作者称更大基准、跨基准（StrongREJECT、CLAS）以及主结果的τ=120重跑正在进行，将写入扩展版。
• 匹配预算的非自适应对照不完整（Limitations、Section 8、Conclusion）：FOA内部对比不能单独把自适应搜索和搜索预算分开。计划中的六格best-of-k只完成文言文/GPT-4o（33/33，100%）。作者将其当作初步证据，不用于中心归因，并称会在扩展版报告全部六格，此前相应限制“自适应搜索并非必需”的说法。
• 主ASR用单一自动评审（Limitations）：标题ASR由GPT-4o单独计算。Qwen-Max把FOA天花板降到88.8%，绝对天花板因此依赖校准；同一评审内的对比仍然稳健。GPT-4o兼作目标与主评审、DeepSeek-Chat兼作攻击与翻译，可能偏置绝对严重度；完全解耦的评审与翻译流程留待后续。
• 翻译混淆（Limitations）：上海话与粤语用普通话中转的两阶段翻译，可能相对文言文低估或扭曲严重度。作者认为更好的评测应包含双语或熟悉方言的人工标注。
• 完整消融的目标有限（Limitations）：完整消融只评测GPT-4o与DeepSeek-Reasoner。到Claude Sonnet、Qwen-Max、DeepSeek-Chat的跨模型泛化已配置但未完成；DeepSeek-Chat上的小冒烟测试存在自攻击混淆。
• 不发布攻击产物与社会语言学简化（Limitations）：出于安全不发布优化提示和原始有害回复，限制精确可复现性；作者认为聚合可复现与受控访问更合适。“方言”一词掩盖语言与社会复杂性，上海话和粤语并非普通话的风格变体。后续应与方言使用者和社会语言学家合作。Section 10还把防御建议留在语义意图检测、普通话表层对照和方言安全微调。

实验覆盖范围

• 完整矩阵为3个语域（文言文、上海话/吴语、粤语/粤语）×6条件×2个目标×50条，1800次评测（Section 5）。
• 文化中性策略库对照覆盖英语、普通话、通用中文语域和两个目标，每格n=50（Table 4）。
• 定性编码覆盖完整方法下200条成功提示，可靠性子样本20条，模板对照20条非FOA提示（Section 7）。
• 第二评审为分层216行、双评303行；阈值敏感性覆盖核心矩阵900条非FOA与900条FOA，τ为40、60、80（附录H、I）。
• 论文未报告优化后提示的公开文本、人工方言标注的一致性，以及除文言文/GPT-4o以外五格的匹配预算非自适应结果（Limitations）。

作者用受控消融追问：中文方言框架的黑盒越狱里，承重的是表层、文化框架，还是策略库上的优化。

问题来自CC-BOS一类结果：冷僻语域配合黑盒提示优化会削弱拒答，但不清楚这是否专属于文言文，以及三个成分谁在起作用。作者把同一FOA循环扩到上海话和粤语，用两阶段翻译供GPT-4o评审，并在英语、普通话、方言与三档策略库之间做六条件比较。

在50条AdvBench子集、τ=80、共1800次评测上，非优化翻译的ASR为0–8%，所有保留优化器控制策略库的条件为98–100%（Table 2）。完整方言方法在两个目标、三个语域上均为100%，Avg.Score为4.02–4.28。粤语查询最多（GPT-4o上5.14，DeepSeek-Reasoner上5.84），文言文或上海话更省查询（Table 3）。文化中性策略库在三种表层上同样100%，平均查询1.24–1.54（Table 4）。DeepSeek-Reasoner给出更多100或120分回复。定性上，成功家族反复出现语义注疏和程序支架，且在非FOA对照中几乎不出现。

作者的结论是：方言表层对二值成功既非必要也非充分；当前安全对齐在“优化器加上任一足够有表达力的策略库”下仍然脆，方言选择主要改变效率与严重度。绝对天花板对评审校准敏感（Qwen-Max子样本上FOA为88.8%），且现有设计还没有把一次性策略构造和迭代搜索完全分开。