OMNIGUARD：跨语言与跨模态的 AI 安全审核高效方法

1. 01这篇论文试图解决什么问题？

   用内部表示训练分类器，检测跨语言与跨模态的有害提示。

   有害提示检测在低资源语言、cipher 以及 image、audio 上容易被绕过。

   • 场景：作者认为 LLM 大规模部署后，既要防止即时有害滥用，也要防未来潜在危害。高资源语言（如英语）上的防护常能检出有害查询，低资源自然语言、cipher，以及 image、audio 仍常绕过，即越狱。
   • 现有不足：作者采纳 Wei et al. (2023) 的说法，将原因归于 safety training 的 mismatched generalization：预训练数据比安全微调更多样，安全能力不泛化而一般能力仍在。LlamaGuard、AegisGuard、WildGuard 等独立 guard model 还要把输入再送进单独模型。
   • 观察：作者认为 LLM/MLLM 会在某些层形成跨语言、跨模态相近的表示，并用自定的 Universality Score（U-Score）挑选这些层。
   • 方法：提出 OMNIGUARD，在所选层的 embedding 上训练轻量有害性分类器；推理复用生成时已经算出的表示，不改原模型。作者称只适用于能读取 embedding 的开源模型。
   • 威胁模型：
     • 防护目标：判断输入是否有害，而不是改写生成模型的激活。
     • 攻击输入：低资源自然语言、cipher languages，以及 image、audio 中的有害提示。
     • 受害系统：接受查询的 LLM 或 MLLM；分类器接在其内部表示上。
     • 防御者前提：需要该开源模型的内部表示。论文未把攻击者知识写成 white-box 或 black-box。

   收起这一问

2. 02有哪些相关研究？

   相关工作覆盖越狱、多语言与多模态攻击，以及 guard model。

   Related Work 按攻击面和审核方式分组；量化差别主要写在内部表示方法和多语言 guard 上。

   • 英语越狱：早期依赖手工提示（Shen et al., 2024b; Andriushchenko et al., 2024）。随后有白盒梯度搜索（Zou et al., 2023b; Jones et al., 2023; Zhu et al., 2023），以及遗传算法、fuzzing、强化学习自动产提示。另有 helper LLM 生成攻击（Chao et al., 2024; Ding et al., 2024; Mehrotra et al., 2024）、少样本上下文演示，以及多轮对话（Russinovich et al., 2024; Li et al., 2024c）。
   • 多语言与 cipher：Deng et al. (2024)、Yong et al. (2024)、Wang et al. (2024a) 等写到，中低资源语言的攻击成功率高于英语等高资源语言。Jin et al. (2024)、Jiang et al. (2024)、Yuan et al. (2024a) 用插入 cipher 字符、ASCII art，或 Morse、Atbash、Caesar 等 cipher 绕过文本防护。
   • 多模态越狱：Liu et al. (2024b) 使用与有害问题相关的图像。Hu et al. (2025) 认为有害图像配看似良性的文本会进一步提高越狱可能。Gong et al. (2025) 与 Wang et al. (2024b) 把有害查询排版进图像。音频越狱见 Yang et al. (2025)。
   • 审核与内部表示：内在手段是微调或 RLHF；外在手段包括困惑度过滤（Jain et al., 2023; Alon and Kamfonas, 2023; Hu et al., 2024）和独立 guard model。Jailbreak Antidote（Shen et al., 2025）与 AdaSteer（Zhao et al., 2025）直接改内部表示，论文称它们只防御英语文本，耗时与底层 LLM 推理相当。DuoGuard 用双人 RL 生成多语言数据并微调 Llama3.2-1B；PolyGuard 用 17 种语言、1.91M 条样本微调 Qwen-2.5-7B-Instruct。视觉侧有 LlamaGuard3 Vision、VLMGuard、LLavaGuard。作者称就其所知，OMNIGUARD 是有害音频输入的 first guard model。
   • 基线与基准：文本对照为 LlamaGuard 1/2/3、AegisGuard（Permissive/Defensive）、WildGuard、HarmBench 的 llama 与 mistral 分类器、MD-Judge、DuoGuard、PolyGuard；后两者还用与本文相同的 37 种语言做 LoRA 微调。视觉对照为 Llama Guard 3 Vision、VLMGuard、LLavaGuard。SpeechGuard 只加噪声、不做分类，未作音频基线。基准见 Table 1，包括 MultiJail、Xsafety、RTP-LX、HarmBench、AdvBench、Hades、FigStep、MM SafetyBench、AIAH、VoiceBench。

   作者把 OMNIGUARD 定位为独立的内容安全分类器：用跨语言、跨模态共享的表示做判别，而不改写激活；结论中称其准确率以及训练、推理开销优于标准 guard model。

   收起这一问

3. 03论文如何解决这个问题？

   用 U-Score 选跨语言或跨模态的层，再训轻量分类器。

   OMNIGUARD 不另训一个 guard LLM，而是在生成模型中找跨语言或跨模态对齐的层，用该层表示训练轻量有害性分类器。

   设定与表示

   • 输入：用户提示，可以是自然语言或 cipher，模态为文本、image 或 audio。
   • 表示：一条提示在某层的表示，是该提示全部 token 表示的平均。
   • 输出：有害或良性的二分类。原模型参数不更新，只训练分类器。

   用 U-Score 选层

   • U-Score 是互译句对的平均余弦相似度减去非互译句对的平均余弦相似度：U-Score:=1/N∑_iCosSim(Emb(e_i),Emb(l_i))−1/(N(N−1))∑_{i≠ j}CosSim(Emb(e_i),Emb(l_j))。e_i、l_i 为英语句及其译文，Emb 为某层表示。
   • 换模态时，把译文 embedding 换成另一模态的 embedding，如 caption 对 image，或转写对 audio。
   • 文本：Flores200 的 53 种自然语言，再加上 20 种 cipher；在 Llama3.3-70B-Instruct 各层计算并对语言取平均。自然语言在中层较高，正文写 layer 57（共 81 层）最高。cipher 的 U-Score 低得多，作者认为模型未能在这些语言中表示语义相似。
   • 图像与音频：MM-Vet v2 有 517 条，caption 由 Molmo-7B 生成，再用 Molmo-7B 提 embedding。正文写峰值在 layer 22（共 28 层），Figure 2 注写 21–25 层最高。音频用 VoiceBench 的 Alpacaeval，636 对，模型为 LLaMA-Omni 8B；正文写峰值 layer 21（共 32 层），图注写 20–23 层。纵轴名是 Universality Score (U-Score)，图注把后两条曲线称为 Cross-Model Alignment Score。

   分类器与推理

   • 取 U-Score 最高层的 embedding，训练 MLP：两个隐层，宽度 512 和 256。论文未写优化器、epoch 或学习率。
   • 生成时把该层已经算出的 embedding 送入分类器。作者称额外计算只来自这个 MLP。闭源模型取不到 embedding，不适用。

   三种训练数据

   • 文本：layer 57。从 Aegis AI Content Safety 随机抽 2,800 条，有害与良性平衡。译成另外 52 种自然语言（Google Translate API）和 20 种 cipher（固定规则），共 73 种语言；训练只用一半，附录 A 列出，正文称为 37 种语言。作者称该集合约比基线训练数据小 18×；结果节另写 OMNIGUARD 103K 条、PolyGuard 1.91M 条。
   • 视觉：layer 22。有害样本为 JailBreakV-28K 的 2,000 对 image-query，加 VLSafe 的 1,024 对；良性为 MM-Vet v2 的 517 对。作者称训练量约 3,500，LlavaGuard 约 5,500。
   • 音频：layer 21。使用文本设定训练数据的英语部分，经 Kokoro 做 text-to-speech。论文未单列音频训练集条数。

   收起这一问

4. 04论文做了哪些实验？

   多语言平均 86.36%，图文平均 95.44%；MML Base64 仅 0.40%。

   实验设置

   • 骨干：文本主实验是 Llama3.3-70B-Instruct 的 layer 57。Table B3 另用 Llama3.1-8B-Instruct、Gemma-3-4B-Instruct、Qwen-3-4B-Instruct、Olmo-2-7B-Instruct、Mistral-8B-Instruct，各取该模型 U-Score 最高层。视觉为 Molmo-7B layer 22，音频为 LLaMA-Omni 8B layer 21。音频由 Kokoro 从文本合成。
   • 训练规模：文本 2,800 条平衡样本，译到 37 种训练语言。视觉有害样本 2,000+1,024，良性 517。代码攻击实验只在英语子集上训练。作者称 PolyGuard 为 1.91M 条，OMNIGUARD 为 103K 条。
   • 基线：Table 2 的 guard，以及结果表中的 MD-Judge。DuoGuard、PolyGuard 用同样 37 种语言做 LoRA，全部线性层，rank 8、alpha 16、1 epoch、学习率 2e-4。VLMGuard 使用与 OMNIGUARD 相同的视觉训练数据。论文称没有现成的有害音频分类模型。
   • 数据：Table 1。多语言集含 MultiJail（315）、Xsafety（28,000）、RTP-LX（30,300）、AyaRedTeaming（2662）、Thai Toxicity tweets（3,300）、Ukr Toxicity（5,000）。其余英语文本译到 72 种其他语言（52 种自然语言、20 种 cipher）。视觉含 Hades（750）、FigStep（500）、MM SafetyBench（1680）等。音频含 AIAH（350）及 Kokoro 合成的文本基准。
   • 指标与硬件：有害性分类 accuracy。推理时间在 1 块 L40、4 CPU、50 GB RAM 上测 AdvBench 的英语、西班牙语、法语、Telugu 与 base64。Few-shot 对 50 组随机示例取平均，误差为均值标准误。
   • 判定：相对数据集标签。论文未写 LLM 裁判、分类阈值，也未报告主表重复次数。

   主结果

   下表为各表印出的平均 accuracy（%）。未见语言的微调结果不并入此表。

   表格较宽，可左右滑动

   方法	多语言 Avg.	翻译文本 Avg.	图文 Avg.	排版图 Avg.
   OMNIGUARD	86.36	84.85	95.44	79.76
   PolyGuard	83.19	66.07	未报告	未报告
   AegisGuard (D)	80.62	80.28	未报告	未报告
   LlamaGuard 3	56.52	62.98	未报告	未报告
   HarmBench (llama)	14.92	14.12	未报告	未报告
   VLMGuard	未报告	未报告	88.74	42.84
   Llama3 Vision GRD	未报告	未报告	47.36	74.36
   LLavaGuard	未报告	未报告	18.46	2.28

   据 Table 3(A)(B)、Table 4(A)(B)。表中省略 LlamaGuard 1/2、AegisGuard (P)、WildGuard、HarmBench (mistral)、MD-Judge、DuoGuard；DuoGuard 的多语言平均为 54.56%。

   • 作者称多语言与翻译设定的平均最高，并称 MultiJail、RTP-LX、Aya RedTeaming 为新 SOTA。Table 3(A) 中 Xsafety、Thai Tox、Ukr Tox 上 PolyGuard 更高（96.41%、70.43%、76.07%）；Table 3(B) 中 TJS、ToxText 上 PolyGuard 更高，AdvBench 上 AegisGuard (D) 为 90.77%。
   • 作者称两类图像基准的分组平均最高，并称未能检出的是 MML Base64（0.40%；Llama3 Vision GRD 为 98.80%）。RTVLM 上 VLMGuard 为 94.00%，OMNIGUARD 为 89.00%。
   • 摘要写多语言比最强基线高 11.57%、图像提示高 20.44%，与上表 Avg. 之差不是同一数字，论文未写出口径。引言另写 53 种自然语言平均 86.22%、图像 88.31%、音频 93.09%；88.31% 不是 Table 4 的分组平均，Table 5 也未印出总平均。

   未见语言、音频与少样本

   • 未见语言：Table 3(C) 平均为 OMNIGUARD 81.88%、FT PolyGuard 75.13%、FT DuoGuard 37.1%。TJS 上 FT PolyGuard 74.07% 高于 72.82%，ToxText 上 72.33% 高于 71.44%。
   • 音频：Table 5 中 OMNIGUARD 从 TJS 的 82.03% 到 AdvBench 的 98.85%；AIAH 为 91.14%。作者称音频与英语文本相近或更高。对照中 FQ 音频 90.42%、英语文本 93.3%；TJS 音频 82.03%、英语文本 93.2%。LlamaGuard3 只报告英语文本。
   • 代码少样本：三种 CodeAttack，只在英语子集上训练。作者称无示例时接近 50%，少于五个示例即接近 100%；基线上升更慢。50 组随机示例取平均。正文称略去零样本已达 90% 及以上的 guard。Figure 3 未以表格给出端点。

   层选择、速度与语言

   • Table 6（Thai Tox、Ukr Tox、TJS、ToxText）：layer 57 平均 73.4，layer 10 为 64.42，layer 75 为 68.26，最后一层 59.05。作者称提高 5% 到 14%。Table B2 中 layer 55 平均 73.06，与 layer 57 的 73.40 接近。
   • Table 7：OMNIGUARD 0.04 秒，DuoGuard 4.85 秒，PolyGuard 409.90 秒。作者称约 120× 快于最快基线 DuoGuard。
   • Table B1：高资源 PolyGuard 94.47%、OMNIGUARD 88.25%；低资源 85.56% 对 PolyGuard 79.22%；cipher 上 AegisGuard (D) 83.21%，OMNIGUARD 73.06%，PolyGuard 21.28%。Figure 4 标注 R^2 = 0.24。作者称有害性准确率与零样本情感分类大体相关，自然语言高于 cipher；情感分类近 50% 时，有害性准确率仍可以较高。情感分类用 Llama3.3-70B-Instruct，数据为 SST-2 的 72 种译文。

   其他消融与分析

   • Table B3 平均：Llama3.3-70B-Instruct 84.85，Mistral-8B-Instruct 82.81，Llama3.1-8B-Instruct 82.16，Olmo-2-7B-Instruct 81.99，Gemma-3-4B-Instruct 76.60，Qwen-3-4B-Instruct 76.11。作者称较小 LLM 的平均更低。
   • Table B2：layer 58–62 的平均在 71.50 到 72.82，低于所选 layer 57 的 73.40。
   • Figure 2：自然语言 U-Score 在中层较高；cipher 曲线更低。图像、音频的峰值层见第 3 问。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称依赖底层模型是否理解输入，且需要内部表示。

   作者指出的局限与后续方向

   • 依赖底层模型是否理解输入：若模型不理解该语言、image 或 audio，OMNIGUARD 可能检不出有害性。作者称这不是其独有限制（Limitations）。
   • 共享表示是经验观察：作者称在所用模型和模态上找到了 universally similar representations，但没有穷尽检查所有模型，未使用的模型上该假设可能不成立（Limitations）。
   • 需要内部表示：因此不适用于闭源模型（Limitations）。
   • 评测集是固定基准：结果基于该领域常用的一组评测数据集，真实场景表现可能不同（Limitations）。
   • 分类器会失败：Ethics 写明它不是完美分类器，意外失败仍可能使 LLM 被有害滥用。

   Limitations 与 Conclusion 没有另列实验性的后续工作清单。

   实验覆盖范围

   • 文本主结果骨干是 Llama3.3-70B-Instruct；Table B3 另报告 Llama3.1-8B-Instruct、Gemma-3-4B-Instruct、Qwen-3-4B-Instruct、Olmo-2-7B-Instruct、Mistral-8B-Instruct。
   • 语言为 Flores200 的 53 种自然语言和 20 种 cipher；训练用其中 37 种，Table 3(C) 报告未见语言。
   • 视觉骨干是 Molmo-7B，音频骨干是 LLaMA-Omni 8B。论文写明 SpeechGuard 只加噪声、不做有害性分类，故未作音频分类基线；音频对照是英语文本上的 OMNIGUARD 与 LlamaGuard3。
   • 主指标是相对数据集标签的 accuracy。论文未报告主表重复次数，也未报告与人工判定的一致性或分类阈值。
   • Few-shot 覆盖三种 CodeAttack 格式、50 组随机示例；该分类器只在英语训练子集上训练。

   收起这一问

6. 06总结一下论文的主要内容

   OMNIGUARD 在共享内部表示上检测有害提示，并复用生成 embedding。

   OMNIGUARD 是接在开源 LLM/MLLM 内部表示上的有害提示分类器，针对安全训练泛化不到的语言和模态。

   • 问题：高资源语言上的防护常能拦住有害查询；低资源自然语言、cipher、image 和 audio 仍常绕过。作者把这归于 mismatched generalization。
   • 做法：U-Score 用互译或跨模态配对的余弦相似度，减去非配对的相似度，以选择对齐较强的层。分类器是宽度 512、256 的两层 MLP，输入为该层 token 平均 embedding。文本用 Llama3.3-70B-Instruct 的 layer 57，图像用 Molmo-7B 的 layer 22，音频用 LLaMA-Omni 8B 的 layer 21。推理复用生成时的 embedding，不更新原模型。
   • 文本：Table 3(A) 多语言平均 86.36%，表内 PolyGuard 为 83.19%；Xsafety、Thai Tox、Ukr Tox 上 PolyGuard 更高。翻译文本平均 84.85%，未见语言平均 81.88%。Table B1 高资源上 PolyGuard 为 94.47%，cipher 上 AegisGuard (D) 为 83.21%，分别高于 88.25% 与 73.06%。
   • 模态与时间：图文对平均 95.44%，排版图平均 79.76%（Table 4）；MML Base64 为 0.40%。引言写音频准确率 93.09%。Table 7 中 AdvBench 五语言平均推理时间为 0.04 秒，作者称约比最快基线 DuoGuard 快 120 倍。
   • 作者结论：作者称该方法能跨语言和模态检出有害提示，训练与推理都比标准 guard model 更省；同时写明它依赖底层模型是否理解输入，且不能用于闭源模型。摘要中的 11.57% 与 20.44%，论文未写出与表格 Avg. 对应的计算过程。

   收起这一问

相关论文