隐晦却有效：基于仿生搜索的文言文越狱提示词优化

面向现代语言优化的安全对齐，在语义压缩、隐喻丰富的文言文输入下可能失效，需要可自动搜索的黑盒越狱方法来检查这一盲区。

• 场景：作者称LLM已用于理解、生成、翻译和代码，安全对齐用于拒答恶意查询，但精心设计的越狱提示词仍可诱导有害输出。跨语言研究中，相对英语，低资源和非主流语言更容易出现不安全输出；作者转述这与训练语料分布不均有关。
• 为何是文言文：作者认为不能只归因于数据少。文言文有较完整体系和大量历史文献，风格偏离现代汉语；简洁、隐喻和歧义会削弱关键词或模板匹配，与现代汉语的语义不对称还会加大跨语言生成风险。作者称之为安全盲区：模型理解晦涩输入，面向现代语言的护栏却难检测其中的有害意图。
• 已有方法的缺口：Figure 1与引言称既有优化集中在现代语言尤其英语。第3.2节称身份伪装、场景嵌套、关键词替换等策略碎片化，缺少结构化生成框架，也难刻画策略之间的组合。
• 威胁模型：
  • 目标：让目标LLM对有害请求产生有害内容，而不是拒答。
  • 知识：black-box。只使用与目标模型的交互查询，不用梯度或内部参数（第2、3节）。
  • 能力：攻击LLM把原始查询和策略向量写成文言文对抗提示词；搜索在迭代上限内按适应度更新，并可早停。
  • 受害系统：被查询的目标LLM。实验使用第4.1节的六个黑盒模型。
• 本文提出：黑盒框架CC-BOS。把生成做成八维策略空间，用基于果蝇觅食的搜索自动迭代，并用两阶段翻译支持评测。贡献列表中作者称首次把文言文引入对抗提示词生成与越狱研究。

多语言安全

• XSAFETY（Wang et al., 2023）：十种语言的多语言安全基准。论文转述其发现为：非英语环境更易产生不安全内容。
• Shen et al.（2024a）：低资源语言更易产生有害内容，回答相关性更低。论文转述其归因于预训练数据不足。
• Deng et al.（2023）与CSRT（Yoo et al., 2024）：前者构建多语言越狱基准；后者系统合成code-switching红队查询。论文用这组结果说明非英语和低资源设置更脆弱。

白盒越狱

• GCG（Zou et al., 2023）与I-GCG（Jia et al., 2024）：GCG用贪心与梯度搜索生成对抗后缀；I-GCG增加多样目标模板、自动多坐标更新和由易到难初始化。
• COLD-Attack（Guo et al., 2024）与PGD方法（Geisler et al., 2024）：前者用能量约束解码和Langevin动力学统一搜索；后者把离散提示词优化放松到连续空间，并用熵投影。
• ADC（Hu et al., 2024）：把token优化放松到连续空间，并逐步加强稀疏约束。论文将这类方法概括为依赖梯度或内部参数。

黑盒越狱

• PAIR（Chao et al., 2025）与TAP（Mehrotra et al., 2024）：论文将其放在只靠查询、自动生成并优化提示词的一条线上，不依赖内部信息。
• DRA（Liu et al., 2024b）与CodeAttack（Ren et al., 2024）：DRA伪装有害指令并诱导模型在回复中重构；CodeAttack把自然语言指令转成代码表示来测安全漏洞。
• CL-GSO（Huang et al., 2025）与ICRT（Yang et al., 2025b）：CL-GSO把策略拆成基本组件并用遗传优化；ICRT用意图识别、概念重组和模板匹配做两阶段绕过。Figure 1把CL-GSO标为现代英语上的四维遗传搜索，与本文的文言文八维搜索对照。

基线与数据集

• 基线方法：PAIR、TAP、GPTFUZZER（Yu et al., 2023）、AutoDAN-Turbo-R（Liu and Peiran, 2025）、CL-GSO、ICRT。作者称实验设置与各方法原始研究一致。
• 基准：AdvBench的Harmful Behavior子集（Zou et al., 2023）、CLAS 2024（Xiang et al., 2024）、StrongREJECT的StrongREJECT-small（Souly et al., 2024）。

作者把文言文风险与“只因数据少”的低资源语言区分开，称为现代语言护栏的盲区；本文不在现代英语里做提示词优化，而在融合既有策略与文言文属性的八维空间上做果蝇式搜索。贡献中作者称这是首次把文言文引入该问题。

CC-BOS把黑盒越狱提示词生成写成策略搜索：攻击LLM按策略向量改写原始查询，目标LLM只返回文本，搜索按适应度迭代。

问题设定与八维空间

• 形式化：策略空间是各维离散选项的笛卡尔积。候选策略记为s，提示词生成器G把原始查询q0和s映射为对抗查询q。论文将G写成确定性映射。目标模型M为黑盒，回答r再经翻译模块T得到归一化文本。
• 八维：Role Identity、Behavioral Guidance、Mechanism、Metaphor Mapping、Expression Style、Knowledge Relation、Contextual Setting、Trigger Pattern。作者将其写成S = D₁ × ⋯ × D₈。
• 各维作用：角色用于伪装身份以增加可信度；行为引导在语义上推动敏感内容；机制提供结构；隐喻替换敏感表述；表达规定文体；知识关系把古代知识框架转成现代逻辑；语境嵌入历史或文化场景；触发模式控制激活时机。Figure 2又把它们收成语境、意图、风格和激活时机。
• 选项与模板：附录C.2给出各维选项集合和改写模板，并含示例。这里不转述模板中的句式、字数和示例措辞。

果蝇式搜索

• 算法：核心是果蝇优化算法（FOA），保留气味搜索和视觉搜索，停滞时加柯西变异，并加入哈希去重与早停。附录B给出算法1至6。
• 初始化：各维用随机排列拼接，使选项出现频率大致均匀，再按位置组成个体。种群先写入哈希集合。
• 三个算子：气味搜索对每个维度索引加均匀扰动，步长上界随迭代按γ衰减，早期步长大、后期变小。视觉搜索以随时间上升的概率，把各维替换为当前全局最优的对应分量。连续K轮适应度无改进时，以变异概率对索引加柯西噪声再取模。
• 去重：新候选若哈希已存在，则从同一算子重采样，最多R次；仍重复则保留最后一次，以维持种群大小。论文给出的理由是避免重复评估。

适应度与翻译

• 两阶段翻译：直接评文言文回答会给一致性判断和关键词检测带来偏差。模块先切分长回答，再由文言文译到现代汉语、再到英语。附录C.3给出翻译提示词。实现中翻译模型与攻击模型同为Deepseek-Chat。Figure 2图注另称候选由关键词与语义一致性评分器评估。
• 分数：评审模型给出原始遵从分ρ，取值0到5。一致性分Sc等于20乘以ρ，范围0到100。归一化回答若命中拒答关键词则关键词分Sk为0，否则为20。作者把适应度写成F(s) = S_c(s) + S_k(s)，范围0到120。关键词表取自CL-GSO，附录C.3列出，此处不逐条抄录。
• 优化目标：在迭代上限N内寻找高适应度策略；最佳适应度达到早停阈值τ，或用尽预算即停止。论文称早停是为减少多余迭代和资源消耗。

实现参数

• 主设置：第4.1节将初始种群和最大迭代都设为5。附录C.1将步长衰减率设为0.95，柯西尺度设为0.2，停滞阈值设为2轮，去重重采样上限设为5。
• 两套早停：附录C.1称主实验（Table 1）的τ为120，用于达到最高毒性状态；效率实验（Table 3）的τ为80，对应越狱成功标准。评测阶段称分数达到或超过80即判成功。
• 未给数值的量：正文公式中的探索比例α、初始吸引强度β0和变异概率pmut没有给出具体数值。

实验设置

• 目标模型：Gemini-2.5-flash、Claude-3-7-sonnet-20250219、GPT-4o、Deepseek-Reasoner、Qwen3-235b-a22b-instruct-2507、Grok-3。表中常简写为Claude-3.7、Qwen3；DeepSeek-Reasoner与Deepseek-Reasoner指同一目标。Ethics Statement称实验在闭源受害模型上进行。
• 攻击、翻译与评审：主实验的攻击模型和翻译模型都是Deepseek-Chat。附录E另用GPT-3.5-Turbo和Gemini-2.0-Flash作攻击LLM。ASR流程先用Huang et al.（2025）的模板检测器，再用Kuo et al.（2025）基于GPT-4o的0到5分评审看意图一致性，并做人工复核。GPT-4o同时是目标模型。论文未报告复核样本量、与评审的一致性，以及重复次数。
• 数据：AdvBench的Harmful Behavior子集原有520条，去重后选50条。CLAS 2024为100条。StrongREJECT-small为60题。
• 基线：PAIR、TAP、GPTFUZZER、AutoDAN-Turbo-R、CL-GSO、ICRT。作者称设置与原始研究一致。
• 指标与成功线：ASR；Avg.Score为按Kuo等人方法计算的毒性分平均，附录模板为0到5分；Avg.Q是提交给目标模型的平均查询数，定义沿用Huang et al.（2025）。作者提出的评审中，分数达到或超过80判为成功。
• 搜索预算：种群5，最大迭代5。主实验早停阈值τ为120，效率实验为80（附录C.1）。

主结果

下表据Table 1，数据集为AdvBench。对照列只保留ICRT与AutoDAN-Turbo-R的ASR，因为后一方法在部分模型上高于ICRT。

Swipe horizontally to read the table

模型	CC-BOS ASR	CC-BOS Avg.Score	ICRT ASR	AutoDAN-Turbo-R ASR
Gemini-2.5-flash	100%	4.82	92%	70%
Claude-3.7	100%	3.14	40%	74%
GPT-4o	100%	4.74	74%	88%
Deepseek-Reasoner	100%	4.84	88%	88%
Qwen3	100%	4.88	84%	88%
Grok-3	100%	4.76	98%	84%

• 作者称CC-BOS的ASR和Avg.Score高于Table 1中各基线。引言写nearly 100%，该表六列ASR均为100%。PAIR、TAP、GPTFUZZER、CL-GSO的数字见同表，不再逐格抄录。
• 作者称ICRT是AdvBench上表现最好的基线，并据此做Table 2。Table 1中AutoDAN-Turbo-R的ASR在Claude-3.7、GPT-4o、Qwen3上高于ICRT，故这句与表不完全一致。
• 第4.2节把Table 1说成五个模型，并把Qwen3的Avg.Score写成4.84、ICRT的ASR写成88%。表有六列，Qwen3行为4.88和84%。以表为准。Deepseek-Reasoner一行与正文的100%、4.84以及ICRT的88%、4.00一致。

CLAS与StrongREJECT

• 测了什么：Table 2只比较ICRT与CC-BOS。列顺序为Gemini-2.5-flash、Claude-3.7、GPT-4o、DeepSeek-Reasoner、Qwen3、Grok-3。
• 结果：CLAS上CC-BOS为100%、99%、99%、99%、99%、100%，ICRT为96%、21%、83%、89%、86%、94%。StrongREJECT上CC-BOS为98.30%、98.30%、100%、98.30%、98.30%、98.30%，ICRT为83.33%、23.33%、71.67%、76.67%、66.67%、93.33%。
• 作者解读：作者称ASR近100%，并高于ICRT；正文写五个实现，表有六列。StrongREJECT的Grok-3为98.30%，不是100%。

防御下的ASR

• Llama-Guard-3-8B：Table 4比较无防御与输入加输出过滤。无防御时CC-BOS在Claude-3.7、Deepseek-Reasoner、Gemini-2.5-flash上均为100%。双过滤后为40.00%、28.00%、22.00%。同列ICRT为26%、2%、0%，GPTFUZZER为0.00%、12.00%、16.00%。作者称双过滤下CC-BOS仍最高，并称仍能引出高度有害输出；该表未报告Avg.Score。附录C.4称任一层被标为不安全即算拦住。
• 动态与组合防御：Table 10只在Gemini-2.5-Flash上比较CC-BOS、ICRT、GPTFUZZER。无防御为100.00%、92.00%、28.00%。Self-Reminder为28.00%、8.00%、0.00%。ICD（2-shot）加Self-Reminder加Llama-Guard输出过滤为16.00%、0.00%、2.00%。作者称后者是GPTFUZZER的eight times。ICD（2-shot）加Llama-Guard输出过滤时，CC-BOS与GPTFUZZER同为16.00%。
• 翻译作输出预过滤：Table 9中，Deepseek-Reasoner的标准仅输出过滤为36.00%，翻译后仅输出过滤为26.00%，标准输入加翻译输出为20.00%。Gemini-2.5-Flash对应为24.00%、22.00%、20.00%。作者称翻译增强的过滤对这两个模型有效。

跨模型迁移

• 设置：Table 5用五个源模型生成样本，再在其余模型上测试。源与目标为Gemini-2.5-flash、GPT-4o、DeepSeek-Reasoner、Qwen3、Grok-3。对角线是源等于目标，均为100%。表中没有Claude-3.7。
• 结果：作者称GPT-4o生成的样本最高92%，表中该格是Qwen3。Qwen3到Grok-3为96%，到Gemini-2.5-flash为90%。Grok-3作为源时，非自身目标为84%、86%、90%、90%。非对角线还有76%，出现在Gemini到DeepSeek-Reasoner、Qwen3到DeepSeek-Reasoner。
• 作者解读：作者称迁移稳定，GPT-4o、Qwen3和Grok-3生成的样本在多个目标上成功率高。

其他消融与分析

• Table 6，Claude-3.7、AdvBench：仅文言文18%；加多维策略60%；再加生物启发优化100%。评测去掉翻译模块为90%，加上为100%。
• Table 7，更换攻击LLM后，GPT-3.5-Turbo对Gemini-2.5-Flash、GPT-4o、Deepseek-Reasoner为98%、100%、96%；Gemini-2.0-Flash为94%、96%、96%。
• Table 8，只在GPT-4o、AdvBench上比较优化器：FOA为100%与Avg.Q 1.28；遗传算法为94%与4.04；随机搜索为90%与6.10。作者称后两者查询代价约3倍与约5倍。
• Table 3的Avg.Q：CC-BOS在六列分别为1.46、2.38、1.28、1.12、1.54、1.18，均为该列最低。Grok-3上CL-GSO为1.24、GPTFUZZER为1.32。该表未列ICRT。作者称查询效率更高。
• Table 12，只在GPT-4o上：英语82%，现代汉语86%，文言文100%。Table 11：拉丁语在Gemini-2.5-Flash、GPT-4o、DeepSeek-Reasoner上为96%、100%、100%；梵语为98%、94%、98%。作者称这些ASR超过94%。
• Table 13，Claude-3.7、文言文设置：去掉Mechanism或Metaphor Mapping后ASR为82%，Avg.Q为9.08与9.82；去掉Knowledge Relation后为88%与7.32；完整CC-BOS为100%与2.38。

作者指出的局限与后续方向

论文未专门讨论局限。Conclusion只重述CC-BOS在多个LLM上的成功率高于已有越狱方法，没有列出不足或后续实验。Ethics Statement称工作用于探测漏洞、可引导后续加强对抗防御，并称实验在闭源受害模型上进行；该节没有把这些写成局限。

实验覆盖范围

• 目标模型：第4.1节为Gemini-2.5-flash、Claude-3-7-sonnet-20250219、GPT-4o、Deepseek-Reasoner、Qwen3-235b-a22b-instruct-2507、Grok-3，共6个。Ethics Statement称实验在闭源受害模型上进行。
• 数据与判定：AdvBench去重后50条（原520）、CLAS 2024的100条、StrongREJECT-small的60题。指标为ASR、Avg.Score、Avg.Q。评审为基于GPT-4o的0到5分方法，另有关键词检测和人工复核。论文未报告复核样本量、与评审的一致性，以及重复次数。
• 攻击侧：主实验的攻击与翻译模型为Deepseek-Chat。附录E另以GPT-3.5-Turbo、Gemini-2.0-Flash为攻击LLM，目标为三个模型。种群大小和最大迭代均为5；主实验τ为120，效率实验τ为80。
• 防御：Table 4为Llama-Guard-3-8B的无防御与输入输出过滤，模型为Claude-3.7、Deepseek-Reasoner、Gemini-2.5-flash。Table 10在Gemini-2.5-Flash上包括ICD、Self-Reminder及与Llama-Guard输出过滤的组合。Table 9把翻译用作输出预过滤，模型为Deepseek-Reasoner与Gemini-2.5-Flash。
• 迁移、语言与优化器：Table 5的源与目标为Gemini-2.5-flash、GPT-4o、DeepSeek-Reasoner、Qwen3、Grok-3。Table 11在三个目标上比较文言文、拉丁语、梵语；Table 12在GPT-4o上比较英语、现代汉语、文言文。Table 8的FOA、遗传算法和随机搜索只在GPT-4o上比较。

CC-BOS是面向文言文语境的黑盒越狱框架，用生物启发搜索自动生成对抗提示词。

• 问题：作者认为模型能理解文言文，但面向现代语言的护栏难检测其中的有害意图；这不只是低资源语言那种数据稀缺。既有自动越狱多在现代英语中优化提示词，策略也较碎片。
• 方法：八个维度是角色、行为、机制、隐喻、表达、知识、语境和触发。果蝇式搜索包含气味搜索、视觉搜索，以及停滞时的柯西变异。Deepseek-Chat生成提示词并做两阶段翻译，适应度由拒答关键词和0到5分的意图一致性组成。种群和最大迭代均为5。
• AdvBench：50条上，Table 1六个目标的CC-BOS ASR均为100%。Avg.Score最低为Claude-3.7的3.14，最高为Qwen3的4.88。引言写nearly 100%。作者称这两项都高于同表基线；正文有一处把模型数和Qwen3的数字写得与表不一致。
• 其他结果：Table 3中CC-BOS的Avg.Q最低为Deepseek-Reasoner的1.12，最高为Claude-3.7的2.38，且每列都低于同表其他方法。CLAS上Claude-3.7为99%，ICRT为21%（Table 2）。Llama-Guard输入输出过滤后，Claude-3.7、Deepseek-Reasoner、Gemini-2.5-flash为40.00%、28.00%、22.00%（Table 4）。
• 消融与结论：仅文言文时Claude-3.7的ASR为18%，加策略后60%，完整CC-BOS为100%（Table 6）。作者称成功率高于已有越狱方法。论文没有专节讨论局限。