NYUAD 参与 ArGuard 共享任务:用于检测阿拉伯语仇恨表情包与不安全提示词的多模态嵌入向量模型
NYUAD at ArGuard Shared Tasks: Multimodal Embedding Models for Detecting Arabic Hateful Memes and Unsafe Prompts
作者用预训练与 LoRA 微调的多语言嵌入模型接 LR/RF 分类器,检测阿拉伯语仇恨模因和不安全提示词,并报告了 ArGuard 2026 各任务上的准确率与 F1。
论文未给出攻击者视角的威胁模型;任务是防御性内容审核:把阿拉伯语模因分为 hateful/not-hateful,把用户提示词分为 safe/unsafe 及七个细分类别。
- 阿拉伯语内容审核资源不足,方言多、数据集少,需要自动方法识别仇恨模因和不安全提示词。
- 用预训练或 LoRA 微调的多语言嵌入模型提取文本/图像向量,再接 logistic regression 或 random forest 分类;盲测阶段对 safe/unsafe 改用基于余弦距离的 kNN。
- 开发集上微调 Gemma 3(mean pooling)在模因任务 accuracy 0.79;OpenAI text-embedding-3+LR 在 safe/unsafe 上 accuracy 0.96、七分类上 0.86;盲测阶段模因 macro F1 0.7707,safe/unsafe kNN macro F1 0.8449。
- 作者指出数据标注主观性带来不一致、阿拉伯语方言仍是瓶颈、模型缺乏本地文化知识;实验仅在 ArGuard 2026 数据集上进行,论文未报告重复次数和统计显著性检验。
- 被测模型
- Google Gemini embedding 2OpenAI text-embedding-3-largeOmartificial-Intelligence-Space/Arabic-Triplet-Matryoshka-V2unsloth/gemma-3-4b-ptunsloth/gemma-4-E4B-itgoogle/gemma-4-E2B
- 基准
- ArabicNLP ArGuard 2026 challenge
- 指标
- AccuracyMacro F1-scorePrecisionRecall
NYUAD 团队在 ArabicNLP ArGuard 2026 共享任务中用预训练并微调的多语言嵌入向量模型检测阿拉伯语仇恨表情包与不安全提示词。模型从文本与视觉内容中学习语义表示,在挑战赛数据集上的评测显示基于 LLM 的嵌入向量模型表现更优。该工作旨在改进内容审核,为阿拉伯语用户营造更安全可信的网络环境。
深度解读
这篇论文试图解决什么问题?
用嵌入模型+传统分类器检测阿拉伯语仇恨模因和不安全提示词,覆盖 ArGuard 2026 三个任务。
核心问题:如何自动识别阿拉伯语仇恨模因(hateful/not-hateful)和不安全用户提示词(safe/unsafe 及七个细分类别)。
- 场景与重要性:作者称社交媒体和生成式 AI 使阿拉伯语文本、模因和提示词增多,这些内容可能被用于传播仇恨言论和有害指令;阿拉伯语约有 3.8 亿使用者且包含六大方言群,内容审核资源不足。
- 现有方法不足:作者称英语内容审核进展较多,而阿拉伯语受方言多样、高质量训练数据短缺和工具缺乏限制。
- 核心思路:用预训练和微调的 LLM 嵌入模型学习文本与视觉语义表示,再接传统机器学习分类器,适合低资源、方言多样的阿拉伯语内容。
- 论文提出什么:参加 ArabicNLP ArGuard 2026 挑战的三个任务——模因二分类、提示词 safe/unsafe 二分类、提示词七分类(adult content、hate speech、bullying、harassment、fraud & deception、harm to others、self-harm),并提出两个研究问题(RQ1:预训练嵌入+ML 分类器是否有效;RQ2:微调嵌入能否提升准确率)。
- 威胁模型:论文未给出攻击者视角的威胁模型;这是防御性内容审核任务。
- 受害系统:面向阿拉伯语用户的内容审核场景。
- 检测对象:模因(图像+阿拉伯语文本)和用户提示词。
- 论文未写攻击者目标、知识和能力。
有哪些相关研究?
相关工作分有害提示词检测和阿拉伯语仇恨模因检测两组,本文定位是把嵌入模型用于 ArGuard 2026 三个任务。
有害提示词检测
- 商用审核接口:论文提到 Azure、OpenAI、Alibaba 的审核工具,称它们一般结合规则拦截与在安全基准上训练的机器学习模型(Yang et al., 2025)。
- Llama Guard 系列(Inan et al., 2024):在大规模标注数据上训练语言模型,判断输入提示词或模型回复是否违反预定义安全策略。
- 子类别提示词分类(Gupta et al., 2024):识别 LLM 输入中的具体危害类型并使用可解释 AI。
- 阿拉伯语提示词检测(Mubarak et al., 2025):构建 24K 阿拉伯语安全数据集(12K 自然人类撰写 + 12K 由 GPT-4o 生成的合成有害提示词),并基准测试了 7B 到 13B 参数范围的阿拉伯语和多语言模型。
阿拉伯语仇恨模因检测
- 多模态分析(Alam et al., 2024):融合 AraBERT 文本特征和 ConvNxT 图像特征检测阿拉伯语模因中的仇恨。
- 嵌入模型对比(AlDahoul and Zaki, 2025b):测试 base、微调和预训练嵌入模型检测模因仇恨,作者称微调模型(具体是 Gemini 2.5 Flash)表现更好。
- 融合与集成架构(Zaytoon et al., 2025; El Attar, 2025; Safwan, 2025):包括 cross-attention 模型、渐进式 CNN 融合模型、用自定义训练嵌入加门控融合分类器的两阶段模型。
基线与基准:论文未设独立基线方法;比较对象是多个嵌入模型(Google Gemini embedding 2、OpenAI text-embedding-3-large、Arabic-Triplet-Matryoshka-V2、微调的 Gemma 3/Gemma 4)与两种分类器(LR、RF),数据来自 ArabicNLP ArGuard 2026 挑战(Alam et al., 2026; Kmainasi et al., 2026)。
作者将本文定位为把 LLM 嵌入(含 LoRA 微调)接 LR/RF 分类器,应用于 ArGuard 2026 的模因与提示词检测任务。
论文如何解决这个问题?
提取嵌入向量后接 LR/RF 分类器;模因任务微调 Gemma 3/4,提示词任务微调 Gemma 4,盲测阶段 safe/unsafe 改用 kNN。
整体思路:用预训练或 LoRA 微调的多模态/文本嵌入模型把模因(图像+文本)或提示词编码为稠密向量,再接 logistic regression(LR) 或 random forest(RF) 分类器,在开发集上调参选最优组合。
数据
- 模因数据集:图像加提取的阿拉伯语文本;训练 3,500 条、开发 500 条、测试 500 条(开发阶段发布),测试阶段另有 500 条盲测集。
- 提示词数据集:训练 16,831 条(13,436 unsafe、3,395 safe),开发 2,406 条(1,930 unsafe、475 safe),盲测 4,810 条;七分类训练集各类数量为 adult content 4,592、harm to others 3,039、self-harm 2,722、harassment 2,254、fraud and deception 1,764、bullying 1,517、hate speech 943;safe 或 unsafe 提示词都可能带 self-harm、adult content、harassment、harm to others 四类标签。
模因仇恨检测
- 预训练嵌入:Google Gemini embedding 2(多模态输入,3072 维)、OpenAI text-embedding-3-large(仅文本,3072 维)、Arabic-Triplet-Matryoshka-V2(仅文本,768 维,基于 aubmindlab/bert-base-arabertv02 微调)。
- 微调嵌入:用 Unsloth 的 SFT trainer 和 UnslothVisionDataCollator 微调 unsloth/gemma-3-4b-pt 与 unsloth/gemma-4-E4B-it;batch size 8、梯度累积 2 步(有效 batch 16)、fused AdamW、3 epoch、cosine 学习率峰值 0.0002、3% warmup、梯度裁剪 0.3。
- LoRA 设置:通过 FastVisionModel 应用 LoRA,开启全部四个微调 flag、目标 "all-linear" 模块;Gemma 3 的 r=lora_alpha=16,Gemma 4 的 r=lora_alpha=32,dropout 为 0;vision_layers、language_layers、attention_modules、mlp_modules 均设为 True。
- 向量聚合:mean pooling 与 last-token pooling 两种;Gemma 3 和 Gemma 4 均生成 2560 维向量;嵌入接 LR,调 LR 的正则强度倒数 C。
提示词检测
- 嵌入模型:OpenAI text-embedding-3、Arabic-Triplet-Matryoshka-V2、google/gemma-4-E2B(文本输入);微调 Gemma 4 时用 4-bit NF4 量化(双重量化)、batch size 4、fused AdamW、3 epoch、LoRA r=lora_alpha=16;Gemma 3/4 生成 1536 维向量。
- 分类器:safe/unsafe 用 LR;七分类用 LR 和 RF,调 RF 的树数量、max depth、min samples split,并用 weighted classes 处理类别不平衡。
盲测阶段的距离方法
- 针对 safe/unsafe 盲测集的分布变化,作者训练了一个 kNN:只用 L2 归一化的 OpenAI Text-Embedding 3 的已知 unsafe 训练样本嵌入,计算测试样本与 5 个最近 unsafe 邻居(k=5)的余弦距离均值,阈值 0.45,距离大于等于阈值判 safe,否则判 unsafe。
评测方式
- 指标为 accuracy、macro F1、precision、recall;开发阶段结果在带标签的开发集上生成,另在开发阶段发布的无标注测试数据上比较嵌入方法;最终在盲测集上评测。论文未报告重复次数。
论文做了哪些实验?
三个任务在开发集上调 C 和 RF 超参,另测无标注测试数据与盲测集;模因 macro F1 最高 0.77,提示词 safe/unsafe 最高 0.96。
实验设置
- 被测嵌入模型:模因任务为 Google Gemini embedding 2、OpenAI text-embedding-3-large、Arabic-Triplet-Matryoshka-V2、微调 Gemma 3(mean/last token pooling)、微调 Gemma 4(mean/last token pooling);提示词任务为 OpenAI text-embedding-3、Arabic-Triplet-Matryoshka-V2、微调 Gemma 4(mean/last token pooling)。
- 数据集:ArGuard 2026 模因数据集(训练 3,500、开发 500、测试 500,另有 500 条盲测)和提示词数据集(训练 16,831、开发 2,406、盲测 4,810)。
- 分类器与调参:LR 调 C(0.001 到 1000);RF 调树数量(100/300/700)、max depth(7/20)、min samples split(10/2)。
- 指标:accuracy、macro F1、precision、recall;分类报告按类给出 support。
- 评审方式:使用数据集自带标签,无 LLM 评审;论文未报告重复次数和统计显著性检验。
- 结果来源:开发阶段结果来自带标签开发集;另有开发阶段无标注测试数据上的比较和最终盲测阶段结果。
主结果
开发集上各任务最优组合的 accuracy / macro F1(据 Table 5、Table 6、Table 8,均取各列最优值):
表格较宽,可左右滑动
任务 最优组合 Accuracy Macro F1 模因二分类 微调 Gemma 3(mean pooling)+LR,C=0.001 0.79 0.77 safe/unsafe OpenAI text-embedding-3+LR,C=0.01 0.96 0.93 七分类(LR) OpenAI text-embedding-3+LR,C=0.001 0.86 0.85 七分类(RF) OpenAI text-embedding-3+RF,depth 20、700 树、split 10 0.81 0.79 - 作者称模因任务中微调 Gemma 3(mean pooling)优于 Gemma 3 last token、微调 Gemma 4 和预训练嵌入(Table 4、Table 5);预训练嵌入中 OpenAI text-embedding-3 最高 accuracy 0.73(C=0.001,Table 4)。
- 作者称对比 Table 7 和 Table 8,LR 在所有嵌入模型上都优于 RF,并认为嵌入特征与目标的关���在高维空间可能接近线性。
- 开发阶段无标注测试数据上:Gemma 4(last token)accuracy 0.754、F1 0.729 最高;Gemma 3(mean)0.744/0.717;Gemma 4(mean)0.734/0.699;Gemma 3(last token)0.730/0.688;OpenAI Embedding 3 最低,0.696/0.658。
盲测阶段结果
- 模因分类:Gemma 3 嵌入+LR,macro F1 0.7707、precision 0.7724、recall 0.7691、accuracy 0.8100。
- safe/unsafe:kNN(L2 归一化 OpenAI Text-Embedding 3 嵌入,k=5,阈值 0.45),macro F1 0.8449、precision 0.86124、recall 0.8456、accuracy 0.8468。
- 七分类:OpenAI Text-Embedding 3+LR,macro F1 0.7234、precision 0.7337、recall 0.7295、accuracy 0.7377。
错误分析
- 分布偏移:作者称盲测集与训练/验证集分布不同——训练和验证集多数为 unsafe,盲测集更大且一半为 safe,导致验证集上高分模型在盲测集上性能下降,为此改用上述 kNN 方法。
- 七分类弱点:据 Table 3 和 Figure 10,harm-to-others 类 F1 0.74 最低,作者称模型常把实际属于 bully、self-harm 的内容误判为 harm-to-others,并认为原因是 harm-to-others 语义范围宽,与 bullying、harassment、fraud 重叠。
其他消融与分析
- C 的影响(模因,Table 4、5):预训练嵌入在 C=0.001 最好,C 增大性能下降;Google Embedding 2 在 C=100、1000 时 LR 未收敛(表中记为 x)。
- C 的影响(提示词,Table 6、8):safe/unsafe 上各嵌入在 C=0.001–0.01 最好;七分类趋势相同。
- RF 超参(Table 7):max depth 20、700 树普遍优于 depth 7、100 树。
- t-SNE(Figure 12):模因的 hateful 与 not-hateful 嵌入点交错散布,未形成可分的簇;作者据此认为该模型的嵌入不能在低维空间区分两类。
- t-SNE(Figure 11):safe 与 unsafe 嵌入分属不同区域,但部分点有重叠,没有完全被间隔分开。
有什么可以进一步探索的点?
作者指出标注主观性、方言和文化知识三项局限;实验仅覆盖 ArGuard 2026 数据与所列嵌入模型。
作者指出的局限与后续方向
- 标注主观性(Limitations 节):作者称数据标注高度主观,不同标注者对同一内容解读不同,给训练集引入不一致,可能降低模型整体性能。
- 方言问题(Limitations 节):作者称阿拉伯语方言的多变仍是最大技术瓶颈;模型一般能读现代标准阿拉伯语,但网络模因几乎都用口语方言写成。
- 文化知识缺乏(Limitations 节):作者称即使微调后,模型因主要在西方数据上训练,缺乏本地文化知识,难以识别地区口音、本地网络潮流或阿拉伯公众人物在模因中的用法,对视觉内部笑话和文化编码的隐性仇恨言论常常无效。
- 论文未写明确的未来工作计划。
实验覆盖范围
- 被测嵌入模型共 6 个:Google Gemini embedding 2、OpenAI text-embedding-3-large、Arabic-Triplet-Matryoshka-V2、unsloth/gemma-3-4b-pt、unsloth/gemma-4-E4B-it、google/gemma-4-E2B(含其微调版本)。
- 数据仅来自 ArabicNLP ArGuard 2026 挑战的模因数据集(训练 3,500、开发 500、测试 500、盲测 500)和提示词数据集(训练 16,831、开发 2,406、盲测 4,810)。
- 分类器为 logistic regression、random forest 和盲测阶段的 kNN(k=5,阈值 0.45)。
- 论文未报告重复次数、统计显著性检验和人工评估。
- 论文未报告训练耗时、推理成本或与其他参赛系统的排名对比。
总结一下论文的主要内容
嵌入模型+LR/RF 检测阿拉伯语仇恨模因与不安全提示词,开发集 accuracy 最高 0.96,盲测 macro F1 最高 0.8449。
这是一篇 ArabicNLP ArGuard 2026 共享任务的参赛报告,目标是用嵌入模型检测阿拉伯语仇恨模因和不安全用户提示词。
- 问题:阿拉伯语内容审核资源不足,方言多样;任务包括模因二分类(hateful/not-hateful)、提示词 safe/unsafe 二分类和七分类。
- 方法:用预训练嵌入(Google Gemini embedding 2、OpenAI text-embedding-3-large、Arabic-Triplet-Matryoshka-V2)和 LoRA 微调的 Gemma 3/Gemma 4 提取向量,接 LR 或 RF 分类器,在开发集上调参。
- 模因任务:开发集上微调 Gemma 3(mean pooling)+LR 最优,accuracy 0.79、macro F1 0.77(Table 5);盲测阶段 macro F1 0.7707、accuracy 0.8100。
- safe/unsafe:开发集上 OpenAI text-embedding-3+LR accuracy 0.96(Table 6);作者称盲测集分布偏移(一半为 safe)导致原模型性能下降,改用 kNN(k=5、阈值 0.45)后盲测 macro F1 0.8449、accuracy 0.8468。
- 七分类:开发集上 OpenAI text-embedding-3+LR accuracy 0.86、macro F1 0.85(Table 8),优于 RF(最高 0.81/0.79,Table 7);盲测 macro F1 0.7234;harm-to-others 类最弱(F1 0.74),作者称因其语义与其他类别重叠。
- 作者结论:作者认为 LLM 嵌入模型(尤其微调后)能提升阿拉伯语内容检测性能,微调 Gemma 4 是可免费部署的开源替代方案;同时指出标注主观性、方言和文化知识缺乏是主要局限。