ArGuard 共享任务：阿拉伯语模因与 LLM 提示词中的有害内容检测

阿拉伯语有害内容检测被拆在表情包与 LLM 提示词两个场景里，且标签往往过粗，缺少可复现的统一评测。

• 场景：作者称，社交媒体上的阿拉伯语表情包可用图像、嵌入文本、幽默、讽刺和文化指涉攻击受保护群体；与 LLM 交互时，用户可提交索取有害信息或试图绕过安全防护的提示词。可靠检测既要拦住有害内容，也要避免对良性内容施加不必要限制。
• 语言难点：作者称阿拉伯语横跨现代标准阿拉伯语（MSA）与地区方言，网络文本还有语码转换、非规范拼写和 Arabizi；有害意图常通过委婉、讽刺、刻板印象或文化指涉间接表达。转写也可能削弱 LLM 防护。
• 现有资源：作者称 ArMeme、ArAIEval、MAHED 等推进了宣传与有害表情包研究，AHA-Memes 补了细粒度攻击类型与非仇恨子类型；HarmBench、WildGuard、AraSafe、ArabicDialectSafety 等覆盖提示词安全。但多模态表情包与 LLM 提示词大多分开评测，且许多资源偏宣传或二分类。
• 本文提出：作者组织 ArGuard 2026 共享任务，含两条赛道、四个子任务：Track A 为阿拉伯语表情包仇恨检测（A1 二分类、A2 十类细粒度多标签），Track B 为阿拉伯语 LLM 提示词有害检测（B1 安全二分类、B2 七类伤害类别）。并发布数据集、基线、指标与评分工具。

多模态仇恨表情包

• Hateful Memes Challenge（Kiela et al., 2020）——把表情包仇恨检测定义为需要联合推理图像与文本的跨模态问题。后续工作探索多模态融合、外部知识、视觉转文本提示和基于解释的推理（Kumar and Nandakumar, 2022; Cao et al., 2022; Sharma et al., 2022; Kmainasi et al., 2025）。
• MultiOFF 与 MAMI（Suryawanshi et al., 2020; Fersini et al., 2022）——把该设定扩展到政治与厌女表情包并使用更细标签；近期工作扩展到更多语言与文化（Bui et al., 2025; Shahroor et al., 2026）。作者称文献仍以英语为中心，或依赖规模较小的非英语数据。
• 阿拉伯语资源：文本侧 OSACT4、OSACT5（Mubarak et al., 2020, 2022）评测冒犯性语言、仇恨言论及细粒度仇恨类别。多模态侧 ArMeme、ArAIEval、SemEval-2024、MAHED（Alam et al., 2024; Hasanain et al., 2024; Dimitrov et al., 2024; Zaghouani et al., 2025）覆盖宣传与仇恨。AHA-Memes（Kmainasi et al., 2026b）提供 5,000 条阿拉伯语表情包，含二分类仇恨标签以及仇恨攻击类型与非仇恨子类型的细粒度标注。

LLM 提示词安全

• HarmBench、WildGuard（Mazeika et al., 2024; Han et al., 2024）——以标准化红队与审核基准推进 LLM 安全评测与防护模型。作者称多语言安全研究仍以英语为中心（Yong et al., 2025）。
• 阿拉伯语：Al Ghanim et al. (2024) 显示转写与 Arabizi 可能削弱防护。后续资源包括文化适配的安全问题（Ashraf et al., 2025）、细粒度提示词安全的 AraSafe（Mubarak et al., 2025）、阿英双语审核的 FanarGuard（Fatehkia et al., 2026），以及 ArabicDialectSafety（Zaghouani et al., 2026）：25,071 条人工整理提示词，覆盖 MSA 与五种地区方言，支持二分类安全检测和七个伤害类别。

基线与数据

• 基线方法：四个子任务均用组织者基线，Tables 5–6 写明为 AraBERTv2；Tables 7–8 只标 Baseline，论文未在表内写明其模型名。
• 基准/数据集：Track A 使用 AHA-Memes；Track B 合并 ArabicDialectSafety 与 AraSafe。

作者把本文定位为：在上述工作之上，把多模态表情包与 LLM 提示词放入同一评测框架，并以二分类和细粒度分类覆盖两种设定。

ArGuard 2026 把阿拉伯语有害内容检测做成共享任务：Track A 看表情包，Track B 看 LLM 提示词，各含二分类与细粒度分类。

任务定义

• A1：把表情包分为 Hateful 与 Not Hateful。直接或间接基于受保护特征（种族、宗教、国籍、性别、性取向、残疾或疾病）攻击他人即为仇恨；不针对受保护群体的冒犯内容标为 Not Hateful。
• A2：十类多标签。仇恨攻击类型为 Mocking、Incitement、Dehumanization、Slurs、Contempt、Inferiority、Exclusion；非仇恨子类型为 Humor、Sarcasm；Other 可用于任一二分类。一条表情包可有多个细粒度标签。
• B1：提示词分为 Safe 与 Unsafe。Unsafe 表达显式或隐式有害意图；Safe 可以讨论敏感话题但不请求有害行为。
• B2：在任务专用池上做与 B1 安全标签独立的单标签七分类：Self-Harm、Harm to Others、Harassment、Fraud & Deception、Bullying、Hate Speech、Adult Content。
• 两条赛道都要求结合证据：A 中仇恨可能来自图像与叠加文本的关系；每条样本含表情包图像及其 OCR 文本。

数据与划分

• Track A：AHA-Memes 共 5,000 条人工标注阿拉伯语表情包，来自 Facebook、Instagram、Pinterest、Twitter/X 的公开来源，经去重和 OCR 过滤，保留同时有视觉与文本的实例。母语标注者按双语指南标注。Cohen’s κ 在标签与标注者对上做宏平均：二分类 0.91，仇恨类型 0.75，非仇恨子类型 0.67。
• 划分：开发期用 train 与 dev 训练、对 dev_test 提交；随后公布 dev_test 标签，最终训练可用 4,500 条，盲测 500 条。Table 1：train/dev/dev-test/test 为 3,500/500/500/500。已标注划分中 37.8% 为 Hateful。细粒度中 Mocking 最多（合计 1,007），Exclusion 最少（合计 17）。
• Track B：合并 ArabicDialectSafety 与 AraSafe，两源无重复提示词。前者提供 21,066 条人工标注提示词，覆盖 MSA、叙利亚、埃及、阿尔及利亚、巴勒斯坦、摩洛哥六种变体；AraSafe 增加 5,981 条测试集提示词。train 与 dev 只用 ArabicDialectSafety，测试集合并两源。B1 共 27,047 条，B2 任务池 25,219 条。
• 标签对齐：若干 AraSafe 细标签被重编码到 ArabicDialectSafety 方案，例如 Safe→safe、Illegal Activities→Bully、Violence or Harm→harm-to-others。作者称部分映射并不精确，尤其 harm-to-others、harassment 与 Bully，会使系统误分类少量测试项。测试集在比赛期间保持盲态；赛后向参赛者披露该差异。ArabicDialectSafety 的 Cohen’s κ：safe/unsafe 为 0.88，伤害类别为 0.81。
• 分布：Table 2 中 B1 的 train/dev 以 Unsafe 为主（13,437/1,930），test 接近平衡（Safe 3,958、Unsafe 3,851）。伤害类别中 Adult Content 最多（合计 6,560），Hate Speech 最少（合计 1,429）。

评测协议

• 官方指标为 macro-F1。A1 对 Hateful 与 Not Hateful 的 F1 取平均；A2 对十个细粒度标签分别算 F1 再宏平均，使高频与稀有类等权。B1 对 Safe 与 Unsafe 的 F1 取平均；B2 对七个伤害类别分别算 F1 再宏平均。
• 分析时另报 accuracy；A 还报 macro precision、recall、weighted F1 与逐类 F1。B 另报 accuracy。
• 四个子任务都有组织者基线。A1–A2、B1、B2 的提交数分别为 16、11、22、17。

参赛系统的主要设计

• Track A：多数系统把阿拉伯语文本编码器（多为 MARBERTv2 或 AraBERT）与 CLIP、SigLIP、ViT 或 ResNet 做晚期、门控或注意力融合；也有用 LoRA 或 QLoRA 适配 Qwen3-VL、Llama-3.2-Vision、Gemma 4，或对 LLM 嵌入做分类。A1 也有仅用文本的 MARBERTv2。A2 常用多任务学习、标签感知目标、层级约束、集成和类别阈值。
• A1 最优系统（iMak AI Lab）：22 个模型的集成，其中 18 个基于 Qwen3-VL 的 VLM、4 个基于 MARBERTv2 与 AraBERTv02-twitter 的阿拉伯语文本编码器。VLM 同时处理图像与 OCR 文本，文本分支只用 OCR。文本模型以二分类为主、辅以 10 类多标签目标。概率融合为 P(Hateful) = 0.85 P_VLM + 0.15 P_text。只用官方数据，无外部数据或增强。
• A2 最优系统（Ahmed Younis）：在已适配阿拉伯语表情包理解的 Qwen3-VL-8B-Instruct（QCRI/MemeLens-VLM）上用 LoRA 继续微调，视觉塔冻结，最终隐状态接分类头而非生成文本。联合训练 A1 与 A2：一个二分类输出和 10 个 sigmoid 输出，并用类别加权二元交叉熵。最终对 8 个随机种子模型的概率取平均，其中 5 个用官方训练集、3 个用 train 加 dev。
• Track B：以 MARBERTv2、AraBERT、CAMeLBERT 等编码器为主，常做集成，或辅以 TF-IDF 与字符 n-gram；另有微调 Jais、基于 ALLaM 的推理、先翻译再分类、LLM 嵌入和轻量词法模型。部分系统用方言专用模型、路由或输入前缀显式加入方言信息。
• B1 最优系统（AK_QMUL）：用 4-bit QLoRA 适配 Jais-6.7B，在最后一个非填充隐状态上接线性分类器，类别加权交叉熵，并在 train 加 dev 上做最终重拟合。方言分解目标预测四类：safe-MSA、safe-other、unsafe-MSA、unsafe-other，推理时折叠为二分类。因 safe-MSA 在数据中占比低，用 AraSafe 中人工撰写的安全 MSA 提示词增强该类。
• B2 最优系统：同一 Jais-6.7B 与 QLoRA 设置，改为直接的七类分类器，不用外部增强。对种子 42–46 的五个模型的 softmax 概率取平均，选平均概率最高的类；无额外堆叠、阈值调整或后处理。
• 跨赛道常见做法包括类别加权或 focal loss、多种子与多模型集成、数据增强和阈值调整。若干 Track B 系统还识别并校正训练–测试的类别先验偏移。

实验设置

• 任务规模：58 支队伍注册，35 支进入最终评测，27 支提交系统描述论文。A1、A2、B1、B2 提交数分别为 16、11、22、17。
• 数据：Track A 盲测 500 条表情包（AHA-Memes 共 5,000）。Track B 的 B1 测试集 7,809 条（总计 27,047），B2 测试池 5,979 条（总计 25,219）。
• 被测系统：参赛主模型包括 AraBERT、MARBERTv2、CAMeLBERT、Qwen3-VL（含 8B/32B 与 Qwen3-VL-8B-Instruct）、Jais-6.7B、CLIP、SigLIP、ViT、ResNet、Llama-3.2-Vision、Gemma 4、ALLaM-7B、DeepSeek-V4 等；Tables 3–4 按队伍列出骨干与技术。
• 基线：A1、A2 为 AraBERTv2。B1、B2 表中为 Baseline，论文未在表内写明模型名。
• 指标：官方排名为 macro-F1。A2 另报 micro-F1。分析指标含 accuracy；A 还含 macro precision、recall、weighted F1 与逐类 F1。论文未报告重复次数或显著性检验。
• 评审：标签来自人工标注；系统提交预测，由组织者按 macro-F1 排名。论文未写 LLM 评审模型。

主结果

官方测试集 macro-F1（A1/B1/B2 同时给出 accuracy；A2 为 micro-F1 与 macro-F1）。只列各表前几名、基线，以及该表中最低分。

Swipe horizontally to read the table

子任务	系统	Acc 或 Mi-F1	Ma-F1	出处
A1	iMak AI Lab	Acc 0.846	0.823	Table 5
A1	AraBERTv2 基线	Acc 0.706	0.678	Table 5
A1	kannanrrk	Acc 0.734	0.692	Table 5
A2	Ahmed Younis	Mi-F1 0.576	0.419	Table 6
A2	AraBERTv2 基线	Mi-F1 0.411	0.295	Table 6
A2	NAMAA（第 10）	Mi-F1 0.420	0.242	Table 6
B1	AK_QMUL；Lattice AI	Acc 0.984	0.984	Table 7
B1	Baseline	Acc 0.624	0.592	Table 7
B1	_orni_	Acc 0.368	0.295	Table 7
B2	AK_QMUL	Acc 0.801	0.790	Table 8
B2	Baseline	Acc 0.702	0.687	Table 8
B2	kannanrrk	Acc 0.221	0.056	Table 8

• 作者称四个子任务的全部 A1 提交都高于基线；A2 最高 0.419，细粒度明显更难。B1 前两名同分 0.984，分别来自微调 Jais 解码器与阿拉伯语编码器集成。B2 最高 0.790，对基线 0.687，前两名只差 0.002。
• Table 5 中 A1 第二名为 DetectorAI，macro-F1 0.790。Table 6 中 A2 第二名 iMak AI Lab 为 0.390；排名第 6 的 QuadCore（0.335）高于第 7 名之后的若干系统，但有两支 NAMAA 提交分别为 0.314 与 0.242，后者低于基线 0.295。Table 7 中排名第 16–20 的系统 macro-F1 为 0.654 至 0.609，仍高于基线 0.592，第 21 名 _orni_ 为 0.295。Table 8 中 CalibGuard（0.689）高于基线，其后 scalarlab（0.681）、dbilianos（0.612）低于基线。
• 表中省略了中间名次。A1 未列入第 2–15 名中除已提及以外的队伍；A2 未列入第 3–9 名的具体分数；B1 未列入第 2–20 名中除基线位置以外的全部分数；B2 未列入第 2–13 名。

表情包：模态与误差

• 测了什么：作者比较仅文本系统与文本–视觉融合，并引用参赛论文中的模态消融。
• 结果：作者称仅文本 MARBERTv2 超过许多融合 CLIP、SigLIP、ViT 或 ResNet 的系统；Hossain (2026) 与 Tonny et al. (2026) 发现加入图像特征有害，融合有帮助时增益很小（Ilesanmi et al., 2026）。前三名都在两种模态上用 LoRA 微调 Qwen3-VL；优胜者的 VLM 集成比其自身仅文本集成高 8 个点（Lipinski and Makarov, 2026）。论文未单列该 8 个点对应的两个 macro-F1。
• 作者的解读：OCR 文本承载了大部分预测信号，最强系统仍受益于多模态 VLM、集成和类别感知训练。剩余误差集中在区分仇恨性 Mocking 与良性 Sarcasm、Humor，关键在于攻击对象是谁。

分布偏移与稀有类

• A2：作者称测试集相对训练含更少仇恨表情包、更多 Humor、Sarcasm 与 Contempt。Younis (2026) 微调类别决策阈值并使用层级感知解码。Dynamos 与 DetectorAI 在稀有类 Exclusion 上表现尤其低（Wahid et al., 2026; Al-Ani and Hassaan, 2026）；论文未给出该类的逐类 F1。
• B1：Unsafe 约占 train 与 development 的 80%，但只占测试集的 49%。若干系统使用阈值调整或先验校正。作者称这表明校准与表示学习同样重要。Table 2 的计数为 train Unsafe 13,437/16,833、dev 1,930/2,405、test 3,851/7,809。
• B2：作者称进一步提升可能需要更好地区分相近伤害类别。AraSafe 标签映射不精确导致少量测试项被误分类；论文未给出误分类条数。

其他消融与分析

• 作者比较模型族：表情包赛道由多模态与 VLM 集成领先；提示词安全上路解码器 LLM 与阿拉伯语编码器集成都强，没有单一模型族在各任务上同时领先。
• 强系统中常见类别感知训练、集成和阈值调整。iMak 的融合权重为 0.85（VLM）与 0.15（文本）；AK_QMUL 的 B2 使用种子 42–46 共五个模型。
• A2 标签从数百条 Mocking 到仅数条 Exclusion；Table 1 中 Exclusion 的 train/dev/dev-test/test 为 10/4/0/3。
• B1 最优系统因 safe-MSA 占比低而用 AraSafe 人工撰写的安全 MSA 提示词做增强；B2 最优系统不用外部数据。
• 论文未报告逐类 F1 的完整数值表，也未报告统计显著性。

作者指出的局限与后续方向

• 稀有类：Limitations 写明 Track A 细粒度标签高度不平衡，少数攻击策略类别（如 Exclusion）训练样本相对少，可能使逐类估计更不稳定。Conclusion and Future Work 写明未来工作应提高稀有仇恨攻击类型的覆盖。
• 方言覆盖：Limitations 写明 Track B 目前覆盖六种阿拉伯语变体，更多方言与语码转换文本留待扩展。Conclusion 同样写明把提示词安全评测扩展到更多方言与语码转换阿拉伯语。
• 稳健性：Conclusion and Future Work 写明应研究跨文化语境与数据源的稳健性。
• 标签映射：第 3.2 节作者承认 AraSafe 到 ArabicDialectSafety 的标签映射差异是一项局限，并在赛后向参赛者披露。
• 部署风险：Ethics 写明在该数据上训练的系统可能漏掉有害内容，也可能过度标记良性内容，应配合人工监督，而不是当作自动审核器。这是作者对使用方式的说明。

实验覆盖范围

• 最终评测有 35 支队伍、27 篇系统描述；四个子任务提交数分别为 16、11、22、17，均按 macro-F1 对盲测集排名。
• Track A 数据为 AHA-Memes 的 5,000 条表情包，盲测 500 条；标注一致性为二分类 κ 0.91、仇恨类型 0.75、非仇恨子类型 0.67。
• Track B 合并 ArabicDialectSafety（21,066 条，六种变体）与 AraSafe 测试提示词；B1 共 27,047 条，B2 池 25,219 条。safe/unsafe 的 κ 为 0.88，伤害类别为 0.81。
• 组织者报告了参赛系统的模型族、融合、不平衡处理和集成，并讨论 OCR 与图像特征、训练–测试先验偏移。论文未在正文给出完整逐类 F1，也未报告显著性检验或重复次数。
• 数据发布：作者写明 Task A（AHA-Memes）已公开用于非商业研究；Task B 通过受控访问流程提供。

ArGuard 2026 是面向阿拉伯语有害内容的共享任务，把表情包仇恨检测和 LLM 提示词安全放在同一评测框架里。

• 问题：阿拉伯语有害内容跨 MSA 与方言，并以图像–文本表情包或试图引出不安全回答的提示词出现。已有资源往往分开研究，且偏二分类或宣传标签。
• 任务：A1 判断表情包是否仇恨，A2 做十类多标签（七种攻击类型、Humor、Sarcasm，以及 Other）。B1 判断提示词 Safe/Unsafe，B2 做七类伤害类别。官方指标都是 macro-F1。Track A 用 5,000 条 AHA-Memes，盲测 500 条；Track B 合并 ArabicDialectSafety 与 AraSafe。
• 参与：58 队注册，35 队进入最终评测，27 队提交系统描述。系统覆盖阿拉伯语编码器、VLM、解码器 LLM 和词法模型。
• 结果：A1 最高 macro-F1 为 0.823（iMak AI Lab；AraBERTv2 基线 0.678）。A2 最高 0.419 macro-F1、0.576 micro-F1（Ahmed Younis；基线 0.295）。B1 上 AK_QMUL 与 Lattice AI 均为 0.984（基线 0.592）。B2 最高 0.790（AK_QMUL；基线 0.687），前两名相差 0.002。
• 作者的结论：细粒度分类难于二分类，表情包上的落差最大。OCR 文本承载表情包的大部分信号，最强系统仍用到 VLM、集成和类别感知训练。提示词侧，训练–测试的类别先验与来源偏移影响泛化；分布感知策略、外部数据或零样本 LLM 表现稳健。类别感知训练、集成和阈值调整在强系统中常见。未来工作指向稀有攻击类型、更多方言与语码转换，以及跨文化与跨数据源的稳健性。