隐形安全威胁：通过隐写术对 LLM 进行恶意微调

如何让微调后的LLM在界面上保持安全外观，同时隐蔽传出有害内容。

• 场景：作者认为，使输出符合人类价值的安全对齐，关系到可信部署。推理期越狱，以及借助服务商finetuning API的训练期重训，都可能破坏原有安全训练。
• 现有不足：作者称既有失配通常表现为恶意、有毒或语义不连贯输出，这些可见特征便于检测和干预。若响应看起来正常，且自动护栏也判为无害，失配就对人与现有检测工具不可见。
• 核心观察：零宽字符在聊天界面渲染后不可见，但可被tokenizer解析，因而可把信息嵌进良性文本而不改变可见形式。作者同时指出该模式几乎不在预训练数据中，平均约五个隐写字符才对应一个明文字符，单字符错误就会使解码失败。
• 本文提出：一种恶意微调，教模型使用基于不可见字符的隐写。cover问题与隐藏的恶意问题都可自由选择。作者称微调数据不含明文有害信息，从而不触发基于内容的过滤。
• 威胁模型：
  • 目标：与用户建立隐蔽通道，把任意信息藏在看似良性的文本中。界面只显示cover问答，攻击者在本地解码。
  • 知识：论文写了两类。闭源模型：攻击者仅能访问finetuning API。开源模型：完全控制训练与推理。
  • 能力：API场景需上传数据集，样本可含system prompt、user prompt与assistant回答；微调后可提交任意查询。恶意载荷在stegotext中，明文无显式有害内容。
  • 受害系统与防御：商业提供方可在微调前审核并拒绝检出恶意内容的数据集，推理时用内容审核评估输入与输出。作者称若能诱导生成恶意信息，即已绕过API内置机制。开源侧作者用Llama Guard检查输入与生成输出。

论文在第4节与附录E中按恶意微调、编码式越狱、LLM隐写来组织相关工作。

恶意微调

• 少量样本或API微调：Yang et al. (2023)、Zhan et al. (2023)、Yi et al. (2024) 用少量恶意样本或API微调，使对齐模型产生有害输出并大体保留有用性。He et al. (2024)、Poppi et al. (2024) 与 Huang et al. (2025) 的 Virus 分别做看似良性的数据选择、多语言安全参数定位，以及构造能绕过训练时过滤器的微调数据。作者称这些工作未关注有害内容的隐蔽。
• 良性数据也会降低安全性：Qi et al. (2023) 在选定良性数据上微调并降低安全性。作者称由此产生的行为仍然外露，可被测试时安全机制检测。
• 学习编码的微调：Halawi et al. (2024) 也微调模型去学习一种编码，并避免显式有害token。作者称其密文常语义不连贯，偏离典型输入输出；附录D.4将本文与该方法做了对比。

编码与隐写越狱

• 推理时编码：Barak (2023)、Wei et al. (2023)、Yuan et al. (2023)、Yong et al. (2023)、Li et al. (2024) 用摩尔斯码、Base64、非自然语言、低资源语言或非常见文本结构诱导不安全行为。作者称这些方法往往难以同时保持对人工审阅者良性且语义连贯的表面，且通常仍可被测试时过滤器检测。
• 隐写越狱：Geng et al. (2025) 的 StegoAttack 用隐写做越狱。作者称其在强推理模型上的攻击成功率高于先前越狱方法，并在恶意意图隐蔽与生成流畅度之间取得更好平衡。作者将本文定为不同威胁模型：微调，而不是推理时越狱。
• 只改写提示：附录E还讨论 Handa et al. (2024)、Liu et al. (2024b)、Lv et al. (2024) 的 CodeChameleon、Jiang et al. (2024) 的 ArtPrompt、Nakka & Saxena (2025) 的 BitBypass：变换提示中的敏感信息以绕过拒绝，但回答常仍含明文恶意内容。作者称先前编码越狱没有做到在维持正常良性表面的同时隐蔽破坏对齐。

LLM隐写

• 隐藏用户指定载荷：Ziegler et al. (2019)、Lin et al. (2024)、Zhang et al. (2021) 研究语言隐写。作者称其中多数隐藏的是用户指定载荷，而不是模型生成的内容。
• 隐藏推理或模型间共谋：Roger & Greenblatt (2023) 让模型用隐写隐藏思维链。Yi et al. (2022) 的 ALiSa 用 BERT 与 Gibbs 采样，在固定位置嵌入明文token。Greenblatt et al. (2023)、Mathew et al. (2024) 讨论多个模型之间的秘密共谋。
• 低容量自隐藏：Karpov et al. (2025) 研究单个模型隐藏自身生成。作者称其通常针对低容量隐写（例如3-bit），不足以编码对自然语言查询的完整回答，且这些工作的首要关注不是模型安全。

基线与基准

• 安全评测对照：AdvBench（520条）、JailbreakBench的JBB-Behaviors（100条）和AdvBench-50。对照包括未微调原模型、Halawi et al. (2024) 的 Walnut53 与 EndSpeak，以及 AutoDAN-Turbo、LACE（词替换密码加词序反转）和64-shot的 Many-shot Jailbreaking。
• 效用对照：MMLU、GPQA、MGSM、HumanEval、SimpleQA，附录另有ARC-Challenge、HellaSwag、PIQA、WinoGrande。对照包括同训练步数的良性Alpaca-GPT4微调、GPT-4o、Llama-3.1-70B-Instruct、Phi-3（14B）和Qwen2.5-14B-Instruct。

作者把本文与Halawi et al.的编码微调以及推理时隐写越狱区分开：微调LLM，使其在对外保持正常、良性外观的同时隐蔽破坏安全对齐。作者称现有方法还做不到让模型在无害外观下，通过与用户的隐写交互隐蔽传出恶意生成。

整体做法是恶意隐写微调：先用大量解码后仍无害的样本教模型一套零宽字符编码，再用少量stegotext恶意样本破坏对齐。推理时，恶意问题嵌在明文cover问题里，模型把恶意回答同样嵌进看似良性的cover回答。

攻击后的交互形态

• 输入：攻击者把目标问题隐写进任意选定的良性cover问题，得到stegotext。恶意问题与cover问题都可自由选择。
• 输出：微调模型对明文部分给明文回答，对隐写部分给隐写回答。人在界面只看到cover交换；攻击者本地解码取出隐藏回答。Figure 2示意这一通道。
• 作者观察到的双重行为：同一恶意查询同时以明文和隐写给出时，微调后的GPT-4.1常常明文拒绝、隐写作答。Figure 1给出两例。论文没有给出这一行为的比例。
• 作者的前提：若训练集只有良性编码样本，对齐良好的模型只会学会隐写，不会因此产生有害内容。因此需要另加隐写形式的恶意样本。

不可见字符隐写

• 载体：使用五种零宽Unicode字符。附录F列出其原有功能，包括零宽空格、零宽非连接符、零宽连接符、词连接符和不可见乘号。作者称它们是合法Unicode，并不天然被自动检测模型视为恶意。
• 编码：明文先转为Unicode码点，再写成四进制。数字0–3映射到隐写字符；相邻明文字符的编码之间加分隔符，第五个隐写字符表示该分隔符。论文未在正文给出数字到字符的对照表，只给了编码例子。
• 可见性：渲染后该序列通常不可见，可嵌进普通明文而不改变可见形式。
• 学习难点：作者称该字符模式几乎不在预训练数据中；信息密度低，平均约五个隐写字符表示一个明文字符，其中任一错误都可能导致解码错误。

双轨多任务微调

• 辅助轨：除目标隐写外，同时训练结构对齐的base-4数字串。作者称其字符模式在预训练语料中常见，用来把隐写连接到模型已见过的模式。每个问答对做成两条平行实例：隐写实例与base-4实例。base-4只用于训练，推理不用。
• 过程监督：借用Halawi et al. (2024) 的过程监督并改到本文编码。每种编码四个子任务，两种编码共八个，各配定制system prompt。给定明文cover问题与隐藏目标问题，四个子任务要求的输出依次减少中间步骤：
  1. 明文目标问题、明文cover回答、明文目标回答、编码后的目标回答
  2. 明文目标问题、明文cover回答、编码后的目标回答
  3. 明文cover回答、明文目标回答、编码后的目标回答
  4. 明文cover回答、编码后的目标回答
• 推理格式：只用隐写版subtask 4，要求模型直接把恶意输出嵌入stegotext。附录A给出各子任务的完整提示词与训练样例。
• 消融动机：作者在附录D.3称去掉base-4轨会降低回答质量。数字见第4问。

数据构造与训练设置

• 编码学习数据：来自过滤后的Alpaca-GPT4。拒绝式回答用ShareGPT_Vicuna_unfiltered派生的短语表滤掉。作者称这部分约占训练集的99%，解码后仍无害，用来教编码。
• 规模：GPT-4.1随机抽4000条作target，每条再配一条不同的cover，并生成全部八个子任务的训练样本。开源模型抽20000条target和20000条cover。
• 恶意样本：STAR-1的恶意提示，用Shen et al. (2024) 的越狱方法打在Qwen-2.5-32B上，得到约1000个问答对。作者称不在GPT-4.1等目标商业模型上做越狱，以免暴露整条攻击流程。GPT-4.1用350条恶意样本，各配一条此前未用于编码学习的良性cover，按隐写subtask 4格式化。开源模型各用850条。明文中无显式有害内容。
• 优化：全部模型做1个epoch的监督微调。GPT-4.1走OpenAI finetuning API；开源模型用LoRA。峰值学习率1e-4，余弦衰减，权重衰减0.01。LoRA的rank为64，lora_alpha为128。GPT-4.1去掉编码前目标回答超过1000字符的样本；开源模型去掉总token长度大于6144的样本。推理最大token数为4096。

实验设置

• 被测模型：主实验微调并评测GPT-4.1（即GPT-4.1-2025-04-14）、Llama-3.3-70B-Instruct、Phi-4、Mistral-Small-24B-Base-2501。附录D.5另微调Gemma-3-1B-PT、Llama-3.1-8B、Llama-3.1-70B。闭源用API做SFT，开源用LoRA。
• 安全数据：AdvBench，520条对抗指令。附录另有JBB-Behaviors 100条、AdvBench-50（论文写覆盖14类不安全指令）。温度固定为0，全部测试样本使用同一cover question。论文未报告重复次数。
• 安全指标与评审：unsafe interaction rate定义为不安全prompt–response对的比例。主评测用Llama-Guard-3-8B，落入其14个预定义不安全类别之一即判不安全。附录另用GPT-4，按Good Bot、Unclear、Bad Bot评判。GPT-4.1的明文拒绝率明确经由OpenAI API评估。
• 三种安全设置：（1）明文对抗输入加标准system prompt；（2）stegotext且输入输出都不解码，模拟服务商能看到的交互；（3）stegotext解码后再交给分类器。
• 效用数据：MMLU、GPQA（实验用GPQA-Diamond）、MGSM（250道、十种语言）、HumanEval、SimpleQA。GPT-4.1用simple-evals。Llama-3.3-70B-Instruct的前四项按Meta官方指引用lm-evaluation-harness，SimpleQA仍用simple-evals。Mistral用lm-evaluation-harness，5-shot的MMLU、HellaSwag、PIQA、WinoGrande。
• 对照：未微调原模型；GPT-4.1另有4350条Alpaca-GPT4、无隐写、训练步数与恶意微调相同的良性微调。隐蔽性对照为Halawi et al. (2024) 的Walnut53与EndSpeak。AdvBench-50上的越狱对照为AutoDAN-Turbo、LACE与64-shot MSJ。

主结果

下表为AdvBench、Llama-Guard-3-8B、温度0、同一cover question。解码前的100%来自摘要与Section 3.1（全部判为safe）；解码后比例来自Section 3.1，Figure 4概括为解码后超过90%被标为unsafe。

模型	解码前判safe	解码后unsafe
GPT-4.1	100%	93.3%
Llama-3.3-70B-Instruct	100%	96.4%
Phi-4	100%	94.6%
Mistral-Small-24B-Base-2501	100%	95.0%

• 作者解读：作者称四模型都能隐蔽生成有害内容，并避开内容审核。对GPT-4.1，作者称能生成不安全内容，至少绕过OpenAI微调接口的训练数据审核和推理时有害内容检测；并报告数据集通过了OpenAI内容检查而未被拦截。
• 明文行为：经OpenAI API，微调后GPT-4.1对明文有害提示的拒绝率与原模型同为100%。Llama-3.3-70B-Instruct的拒绝率从94.6%到99.6%，Phi-4从100%到99.0%；作者称没有清晰下降。这两项拒绝率的判定器论文未写明。
• 例外：Mistral-24B-Base原文对83.9%的明文对抗提示产生有害回答，微调后unsafe interaction rate降到28.9%。作者称微调表面上甚至提高了该模型的安全性。论文称Figure 4也含未微调模型的明文unsafe interaction rate，但正文没有逐项写出这些柱值。

效用

• GPT-4.1：作者称相对原模型，多数基准上的变化从MMLU约降5分到MGSM约升1分，且与良性微调很接近；并称多数基准上与GPT-4o相当或更高。正文给出的具体分数只有GPQA：原文66.3，本文方法48.7，良性微调55.2（Figure 5相关正文）。作者认为GPQA下降不只来自本文方法，也来自微调本身。正文未给出GPT-4o各项分数。
• 开源模型：作者称Llama-3.3-70B-Instruct相对原模型有中等下降，多数基准上仍与Llama-3.1-70B-Instruct相当或更高（Figure 6）；Phi-4微调后在五数据集中的四个上高于Phi-3，不含SimpleQA，且多数数据集上与Qwen2.5-14B-Instruct相当或更好（Figure 7）。这两张图的逐项分数正文未写出。Mistral四数据集平均从82.9到82.0；作者写MMLU与HellaSwag约降2分，同时又写HellaSwag与PIQA略有提升（Figure 8正文）。
• 隐写作答：ARC-Challenge零样本、明文表面限制为拒绝、实质答案走隐写通道时，微调GPT-4.1从明文97.35%降到stegotext 72.78%（Table 1）。论文并列写出Llama-2-70B 57.40%、Llama-2-13B 48.80%、Mistral-7B 55.50%，但未说明这三项是否为本实验实测。作者称72.78%仍高于这些分数，模型仍能以隐蔽方式编码并传递信息。

评审对照、越狱基线与模型规模

• GPT-4看解码前：AdvBench上，微调后的GPT-4.1、Phi-4、Mistral-Small-24B在解码前全部被GPT-4标为Good Bot（100.0% / 0.0% / 0.0%，Table 3）。作者转述Halawi et al.的Walnut53为Good Bot 4.6%、Unclear 91.1%、Bad Bot 4.2%；EndSpeak的Bad Bot为9.0%，其余两类论文写原文未报告。作者称本文隐蔽性更高。Figure 9用一条样例比较界面显示，不在此复述内容。
• GPT-4看解码后：作为Llama Guard的补充，GPT-4评微调GPT-4.1的AdvBench：原模型Good Bot 99.8%、Bad Bot 0.2%；本文解码前Good Bot 100.0%；解码后Good Bot 9.8%、Unclear 2.7%、Bad Bot 87.5%（Table 4）。
• JBB与AdvBench-50：JBB-Behaviors上，微调GPT-4.1解码前unsafe interaction rate为0.0%，解码后91.0%，原模型1.0%（Table 5）。AdvBench-50上，MSJ为0.0%，LACE为18.0%，AutoDAN-Turbo为90.0%，本文解码后为96.0%（Table 6）。AutoDAN-Turbo用DeepSeek-V3.2-Exp的thinking模式作attacker、scorer和summarizer。这两段没有再次写明分类器。作者假设MSJ为0%是因为GPT-4.1比GPT-3.5更难被该攻击模式诱导。
• 更小模型：同一设置、GPT-4评判、AdvBench上，解码前Bad Bot均为0.0%；解码后Gemma-3-1B-PT为18.9%，Llama-3.1-8B为31.5%，Llama-3.1-70B为96.7%（Table 7）。作者称较小的两个模型不能稳定地用隐写产生有意义的回答，并称模型容量与学会该隐写的能力之间存在正相关；更大模型可能带来更大安全风险。

其他消融与分析

• 去掉base-4轨（Phi-4，Llama Guard只评生成回答，Table 2）：本文1 epoch解码后unsafe response rate为82.50%；去掉base-4、训练2 epoch后为64.81%。作者称下降17.69个百分点，并称回答质量下降。解码前两者均为0.0%。
• 字符过滤（微调GPT-4.1，Llama Guard，Table 8）：解码前、解码后unsafe rate均为0.0%；无防御对照为0.0%与93.3%。作者称这会去掉可能在良性语境中正当使用的Unicode字符。
• 频率惩罚=2.0（Table 8）：解码前unsafe rate 12.5%，解码后3.4%。作者称高惩罚下解码输出往往很短，常在一个完整词之前停止；该设置只把解码输出交给Llama Guard，其余设置同时给输入和输出。
• 失败转写：附录B.2有一条普通cover下未针对目标问题给出有效有害回答的例子。作者称换用专门设计的cover后常常仍能引出有害内容，且该stegotext仍避开Llama Guard。论文未报告这类失败的比例。附录B另有成功转写，此处不复述内容。

作者指出的局限与后续方向

• 回答比例与质量：Section 5写，对一部分恶意提示，解码输出仍是良性的，或偏离预期目标。作者认为方法在恶意回答的比例和质量上还可以改进。
• 生成开销：Section 5写，所用隐写明显增加模型生成的token数，从而降低响应效率。作者把研究更少增加token的隐写技术列为值得做的后续方向。
• 防御需求：Conclusion称这些发现暴露了当前安全机制的盲点，并强调需要针对基于微调的攻击建立更稳健的防御。

实验覆盖范围

• 主安全评测：AdvBench 520条，温度0，全部样本同一cover question；分类器为Llama-Guard-3-8B及其14个不安全类别（Section 3.1）。报告该指标的微调模型为GPT-4.1、Llama-3.3-70B-Instruct、Phi-4、Mistral-Small-24B-Base-2501。
• 附录安全评测：JBB-Behaviors 100条、AdvBench-50；另微调Gemma-3-1B-PT、Llama-3.1-8B、Llama-3.1-70B，并用GPT-4按Good Bot / Unclear / Bad Bot评判（附录D.4、D.5）。论文未报告安全评测的重复次数。Table 5与Table 6未再次写明分类器。
• 效用：GPT-4.1使用simple-evals的MMLU、GPQA-Diamond、MGSM、HumanEval、SimpleQA；Llama-3.3-70B-Instruct的前四项用lm-evaluation-harness；Mistral在MMLU、HellaSwag、PIQA、WinoGrande上为5-shot（附录C、D.1）。隐写作答的效用只报告了GPT-4.1在ARC-Challenge上的结果（Table 1）。
• 防御与消融：字符过滤和frequency penalty=2.0只在微调后的GPT-4.1上报告（附录D.6）。去掉base-4轨只在Phi-4上报告，且对照训练了2个epoch、本文方法为1个epoch（附录D.3）。
• 训练侧模型：编码学习用过滤后的Alpaca-GPT4。恶意问答来自STAR-1提示，由Qwen-2.5-32B经Shen et al. (2024) 的越狱方法生成，约1000对；GPT-4.1用350对，每个开源模型用850对（Section 2.3）。

这篇工作用零宽字符隐写做恶意微调，使对齐模型在聊天界面上维持良性问答，同时把有害问答藏在同一段文本里。

• 问题：作者认为，可见的有害或不连贯输出会成为失配信号。他们要的是一种对人与自动护栏都不可见的失配：界面只显示cover交换，本地解码才得到恶意问答。
• 威胁模型与做法：闭源攻击者只使用finetuning API；开源攻击者控制训练和推理。五种零宽字符把明文编成四进制隐写序列。训练是隐写轨加辅助base-4轨，每轨四个过程监督子任务；推理只用隐写版subtask 4。约99%的数据是解码后仍无害的编码样本，另用STAR-1提示、经Qwen-2.5-32B生成的隐写恶意对破坏对齐。
• 安全结果：AdvBench 520条、温度0、Llama-Guard-3-8B下，GPT-4.1、Llama-3.3-70B-Instruct、Phi-4、Mistral-24B-Base的解码前交互全部判为safe；解码后unsafe交互率分别为93.3%、96.4%、94.6%、95.0%。GPT-4.1对明文有害提示的拒绝率仍为100%（OpenAI API）。换GPT-4作评审时，同一GPT-4.1设置解码后Bad Bot为87.5%（Table 4）。JBB-Behaviors上解码后unsafe interaction rate为91.0%（Table 5，该段未重申分类器）。
• 效用与例外：作者称多数基准上的效用下降相对有限。正文写出的GPQA从66.3到48.7，同步数良性微调也到55.2。ARC-Challenge上，隐写作答从97.35%到72.78%。Mistral-24B-Base的明文有害响应从83.9%到微调后unsafe交互率28.9%，作者称表面上安全性反而提高。Gemma-3-1B-PT与Llama-3.1-8B解码后被GPT-4标为Bad Bot的比例只有18.9%和31.5%。
• 作者的结论：作者称该攻击绕过了OpenAI微调API的数据审核与推理护栏，隐写输出也避开Llama Guard；并称这暴露了当前安全机制的盲点。他们提出的缓解是过滤隐写字符，或在生成时加频率惩罚（惩罚2.0时，解码后unsafe rate为3.4%）。作者同时指出，部分解码输出仍良性或偏离目标，且隐写增加生成token、降低响应效率。