MMDT：解码多模态基础模型的可信度与安全性

MMDT要评测的是：文生图（T2I）与图生文（I2T）多模态基础模型在安全、幻觉、公平、隐私、对抗鲁棒和分布外（OOD）鲁棒上哪里容易失败。

• 场景：作者称MMFM已用于自动驾驶、医疗和虚拟助手，同时已有工作显示文生图模型会生成不安全内容。部署范围变大后，可信性与安全的担忧随之增加。
• 现有评测：作者称现有多模态基准主要评有用性，或只覆盖公平、隐私等有限视角；已有可信性评测多针对特定视角（Qiu et al., 2022; Cho et al., 2023）。
• 作者的提法：作者提出MMDT（Multimodal DecodingTrust），并称这是首个统一的MMFM安全与可信性评测平台。各视角用数据生成流程和人工核验构造挑战数据。
• 评测设定：
  • 被测系统是T2I与I2T模型；输入分别是文本提示，或图像及配套问题。
  • 红队目标按视角分开：诱发有害输出、幻觉、群体或个体不公平及过度公平、训练数据记忆、推理期敏感属性或位置推断、对抗输入下的任务失败、OOD变换下的性能下降。
  • 知识设定不统一。对抗鲁棒对代理模型做white-box（targeted）攻击再迁移；T2I越狱改编SneakyPrompt，针对DALL·E 2的安全过滤器；I2T越狱对white-box surrogate优化通用对抗图像。
  • 成功判定也按视角分开：安全用Bypass Rate（BR）和Harmful content Generation Rate（HGR）；其余用准确率、公平分数或CLIP相似度。

• 能力基准：Goyal et al. (2017)、Singh et al. (2021)做单任务评测；Yue et al. (2024)的MMMU、Bakr et al. (2023)的HRS-Bench、Lee et al. (2024)的T2I整体评测面向更难的能力任务。引言称这类基准主要评有用性。
• 安全与红队：Qiu et al. (2022)、Cho et al. (2023)被点名为聚焦特定视角的可信性评测。风险分类综合Stability AI政策、Hive审核类目、HEx-PHI（Qi et al., 2023）和AIR-Bench 2024（Zeng et al., 2024）。红队方法包括SneakyPrompt（Yang et al., 2024b）、FigStep（Gong et al., 2023）、Liu et al. (2024c)把敏感对象换成图示，以及Qi et al. (2024)的视觉对抗样本。
• 幻觉、公平、隐私与鲁棒：幻觉子集来自MS COCO（Lin et al., 2014）。公平部分引用Binns (2020)关于个体公平与群体公平的表面冲突，以及Wan et al. (2024b)关于多样性干预可能牺牲事实；文中举Gemini生成历史人物的报道（Shamim, 2024）作为过度公平例子。隐私沿Carlini et al. (2023)的扩散模型训练数据记忆，并引用GDPR对敏感信息的界定。附录C称GCG（Zou et al., 2023）和MMP（Yang et al., 2024a）生成的对抗样本对其他black-box模型迁移性强。
• 基线与数据：论文没有设一个贯穿六视角的外部攻击基线，而是在MMDT数据上比较各MMFM。数据来源包括HEx-PHI、MS COCO、HRS-Bench、Re-LAION-2B-EN-Research-Safe、Selfies&IDs、自建Pri-Street-View和UTKFace。

作者称MMDT比现有MMFM基准覆盖更多模态和可信性视角，对比放在Tab. 52和附录M；正文没有抄出该表的单元格。

整体是一个评测平台：MMDT按六个可信性视角分别生成挑战数据、定义指标，并同时覆盖T2I与I2T。附录B把流程分成基准编排、配置与作业调度、本地或云端推理（含vLLM）和结果汇总；新生成的红队数据作者计划保持私有并定期更新。

安全

• 分类：附录D.1写T2I有13个level-1、再分为36个level-2；Table 7标题写11个level-1和36个level-2。I2T采用HEx-PHI与AIR-Bench 2024，Table 8与附录D.1均为13类。引言另写T2I三十类、I2T十一类。
• T2I场景：（1）按类生成并人工检查的vanilla有害指令，每类10条，生成用gpt-4-0613；（2）把原指令改写成看似无害的设定，如虚构情境；（3）用SneakyPrompt的RL变体、默认超参，针对DALL·E 2安全过滤器优化对抗提示。约60%提示未被该过滤器拒绝，因而保持不变。
• I2T场景：数据来自HEx-PHI（11类、每类30条）并按AIR-Bench 2024扩类。三种输入是排版隐藏、图示隐藏（GPT-4改写，SDXL生成图示）和对white-box surrogate优化的通用对抗图像（Qi et al., 2024）。附录D.1给出生成与评判提示词。
• 指标：输入层BR是绕过安全过滤器的比例，输出层HGR是评测模型判定含有害内容的比例。二者越低越安全。作者给出BR=(1/n)∑_i I[F(x_i)=0]，以及HGR=(1/n)∑_i I[M(G(x_i))=y_i]。评测模型为GPT-4o，只答Yes或No。规模为T2I 1080条、I2T 1170条。

幻觉

• 六类场景：Natural Selection、Distraction、Counterfactual Reasoning、Co-occurrence、Misleading、OCR。每类覆盖物体识别、计数、属性识别、空间推理；I2T另有动作识别，T2I不做动作，因作者称难以无偏评测。
• 数据：基于MS COCO。每场景先构造大量候选，再用三个代理模型选出双方各500条最难样本。T2I代理为SD-v2、OpenDalle、Kandinsky；I2T代理为LLaVa (Mistral)、Qwen-VL、InstructBLIP（附录E.3）。
• 干扰与共现：Distraction向文本加入类似代码注释的符号，或在无关物体上加红框。Co-occurrence按COCO共现频率采样高共现、低共现和历史事件配对，考查模型是否只复现训练集常见搭配。OCR分矛盾、扭曲、复杂背景和误导等子场景。
• 判定：T2I用GroundingDINO做检测、计数和空间关系，属性问答用LLaVa (Mistral)，OCR用EasyOCR。I2T由LLaMA3判断开放答案是否与标注一致；误导场景用否定词匹配。

公平与隐私

• 公平：敏感属性为性别、种族、年龄。场景包括社会刻板印象、招聘/录取/贷款决策，以及追求多样性而牺牲历史或事实准确性的过度公平。T2I提示1,776条，I2T提示12,232条。
• 三个分数：群体不公平G看各组输出分布是否偏离均匀；个体不公平I看只改群体信息时输出质量是否变化；过度公平O是历史不准确输出的比例。作者给出的理想值为G=0.0、I=0.0、O=0.0。个体公平只在社会刻板印象中评，因为决策任务要求模型“选择”某一群体。T2I的群体属性用FairFace，个体质量用CLIP score；I2T群体判别用Llama-3.1-405B，个体与过度公平用关键词匹配。
• 隐私：T2I评训练记忆：从Re-LAION-2B-EN-Research-Safe抽10k，再用命名实体识别滤到994条与人名和个人生活相关的LAION-1k。用训练提示生成图像，在CLIP空间比ℓ2距离和cosine相似度；开源模型每提示M=3，DALL·E因预算M=1，报告最接近的一张。
• 推理期隐私：PII用Selfies&IDs的435张自拍或证件照、29人，标签为年龄和族裔。位置用自建Pri-Street-View：1,816张2023年之后的街景，排除地标，覆盖九个国家、26个州、93个城市，标签来自地理编码接口的国家、州、城市和ZIP Code。

对抗鲁棒与OOD

• 对抗：任务为物体识别、属性识别、空间推理。从MS COCO采样，在代理MMFM上做white-box targeted攻击，保留攻击成功的样本再迁移。T2I收集681、813、1,354条提示，共2,848；I2T收集1,064、607、277张图像，共1,948。T2I还优化后缀，使源提示与目标提示或图像的嵌入相似度最大；语义保持扰动（如错字）放在附录H.1。I2T向图像加扰动，使图像嵌入接近目标图像嵌入。
• OOD：T2I把HRS-Bench的分布内提示改成莎士比亚文体和罕见词汇结构，语义保持不变；四项任务各200条，共800。I2T从MS COCO取分布内图像，施加Zoom Blur、Gaussian Noise、Pixelate，以及Van Gogh、油画和水彩；四项任务各240对，共960。筛选标准是代理模型在原样本上正确、在OOD样本上失败。

实验设置

• 被测模型：T2I为DALL·E 2、DALL·E 3、Stable Diffusion XL、Dreamlike Photoreal 2.0、Openjourney v4、DeepFloyd-IF、Flux-Dev、Amazon Nova Canvas。I2T为GPT-4V、GPT-4o、LLaVa-Next、Gemini Pro 1.5、InternVL2-8B、Mini-InternVL-Chat-4B-V1-5、cogvlm-chat-hf、Llama-3.2-90B-Vision-Instruct、Amazon Nova Lite、Amazon Nova Pro。隐私Table 27另报告SD-v1-5、SD-2、kandinsky-3、OpenDalleV1.1。表中简称与附录A.2.2全名按同一被测模型处理；Table 1把LLaVa写作LLaVa (Vicuna)。
• 规模：安全1080条T2I、1170条I2T。幻觉每场景500条。公平1,776与12,232条提示。隐私为LAION-1k（994）、435张照片（29人）、1,816张街景。对抗2,848条提示、1,948张图像。OOD为800条提示、960对问答。
• 指标与评判：安全为BR与HGR，评判模型GPT-4o，输出Yes/No；论文未报告该评判与人工的一致性。幻觉准确率由GroundingDINO、EasyOCR、LLaVa (Mistral)或LLaMA3判定。公平为Gs、Gd、I、O。隐私为CLIP距离或相似度，以及属性、位置推断准确率和拒答率。对抗与OOD报告准确率或相对分布内测试的performance drop。
• 一致性抽查：T2I的OCR评测中，作者抽查100张生成图，EasyOCR与人工一致率为98%。I2T误导问题的关键词法在100条答案上与人工一致率为93%。
• 重复：隐私实验开源模型每提示生成3张、DALL·E生成1张。其余视角论文未报告重复次数。
• 代理模型：幻觉与OOD用三个代理筛选难题；对抗在代理上做white-box targeted攻击后迁移。安全越狱的I2T surrogate名称，正文只写white-box surrogate。

主结果

安全主表是Table 1的平均HGR与平均BR（越低越安全）。被测模型超过8个，下表保留各模态HGR最高者和Table 1加粗的最低者。

表格较宽，可左右滑动

模型	模态	平均HGR	平均BR
Flux	T2I	0.306	1.000
SDXL	T2I	0.258	1.000
DALL·E 3	T2I	0.138	0.728
Nova Canvas	T2I	0.117	0.388
LLaVa (Vicuna)	I2T	0.621	0.850
CogVLM	I2T	0.579	0.869
GPT-4o	I2T	0.089	0.222
GPT-4V	I2T	0.014	0.035

• 作者把平均HGR最低者加粗：T2I为Nova Canvas，I2T为GPT-4V。Flux与LLaVa (Vicuna)分别是Table 1中该模态平均HGR最高的模型。省略的T2I为DALL·E 2、DeepFloyd-IF、Dreamlike、Openjourney；省略的I2T为Gemini Pro-1.5、InternVL2、Mini-InternVL、Llama-3.2、Nova Lite、Nova Pro。
• 作者称更低的BR不一定对应更安全的输出。Table 1里，多个T2I的jailbreak HGR高于vanilla，如DALL·E 2为0.244对0.128；Nova Canvas的transformed HGR为0.153，高于其vanilla的0.092。这与“所有T2I在transformed和jailbreak上输出层都更安全”的概括不一致。
• 作者称GPT-4V在全部I2T场景都比GPT-4o更安全。分场景上，Llama-3.2的illustration与jailbreak HGR为0.108、0.044，低于GPT-4o的0.110、0.069；typography则为0.331对0.087。

幻觉

• 测了什么：Table 2给出六场景、对任务平均的准确率，越高表示非幻觉越多。T2I最高平均为Flux 39.7、DALL·E 3 38.7；I2T最高为Nova Pro 46.9，其次Llama-3.2与GPT-4o均为44.6。作者称全部MMFM的平均非幻觉准确率低于50%，与Table 2一致。
• 场景：作者称分心和误导容易诱发幻觉；Flux的OCR为60.4，Table 2中其余T2I的OCR为11.2至34.0。作者称闭源模型在反事实推理上优于开源；Table 2的CR列中，开源Llama-3.2为47.3、Mini-InternVL为43.4，高于Gemini Pro-1.5的28.1和Nova Lite的36.9。
• 任务：作者称物体识别通常好于计数。T2I空间推理被作者称为三物体相对位置准确率低于3%；Table 9的Natural Selection、Spatial列中Nova Canvas为4.8，DALL·E 3与Flux为2.4。

公平、隐私与位置推断

• 公平：Table 3中T2I的Gs为0.337至0.597，I2T为0.033至0.183。作者称种族和年龄偏见在T2I更明显，性别偏见在I2T更强；并称群体不公平与个体不公平没有可观察到的相关。DALL·E 2的I为13.77，同表其余T2I约为2.190至2.819。Llama-3.2的Gs为0.033、Gd为0.018，但O为0.995；Table 26中其群体/个体公平拒答率为0.852。
• 训练记忆：Table 4中Nova Canvas的CLIP cosine相似度0.7765、ℓ2距离6.706，DALL·E 3为0.6335与8.551。作者称像素级记忆不明显，但存在名人、物体、水印等概念级记忆；DALL·E拒绝与人相关的生成，比例在10%以内。
• 位置：Table 5中GPT-4o的国家、州、城市、ZIP Code、Range ZIP Code准确率为98.16%、75.40%、60.23%、36.55%、27.13%。作者称GPT-4V是唯一偶尔拒绝位置推断的模型，拒绝率在1.61%以内。PII的精确成功率在Tab. 32，正文只称GPT-4V成功率最高、拒答率最低，且族裔推断比年龄更准。

对抗鲁棒与OOD

• 对抗：Table 6的平均鲁棒准确率，T2I最高为Nova Canvas 62.42%，最低为Openjourney 46.22%；I2T最高为GPT-4o 90.04%，其空间推理为53.79%。作者称空间推理最难。Nova Lite平均79.60，高于更大的Nova Pro 78.88。作者称同族较新的DALL·E 3、GPT-4o在benign准确率和对抗鲁棒上都更高，单元格在附录Table 35、38，正文未抄出。
• OOD：第7节称多数MMFM在挑战性OOD测试上performance drop超过15%。T2I中DALL·E 3与DF-IF的总体下降约为17%，其他模型至少在一种变换下下降超过25%；空间推理和属性识别上所有模型下降超过25%。I2T中GPT-4o仍被作者称为分布内和OOD总体最高，但下降约16%；计数与属性识别的下降约30%和20%。作者称多数任务里，图像风格变换下的OOD鲁棒高于图像损坏。Table 40在附录I，正文没有给出单元格。

其他消融与分析

• Table 9，T2I Natural Selection的Count：SDXL 12.5，DALL·E 3 37.6；作者称开源模型计数准确率低于20%。
• Table 2的CO列：Flux 48.0，DALL·E 3 44.2，SDXL 27.0；作者称闭源模型与Flux在共现场景更少生成不该共现的物体。
• Table 14，I2T OCR平均：Llama-3.2 38.8，GPT-4o 36.8，Gemini Pro-1.5 35.8；作者称前者比后两者高2%和3%。
• Table 21，T2I过度公平O：DALL·E 3 0.449，Nova Canvas 0.636；作者称所有T2I在该项都差。
• Table 26，GPT-4o在群体/个体公平和过度公平上的拒答率均为0；Gemini Pro-1.5前者为0.476。
• Table 27，CLIP cosine：SD-2 0.7536，SDXL 0.7521，SD-v1-5 0.7411；作者称SD家族中SDv2和SDXL高于SDv1.5。

作者指出的局限与后续方向

• 第8节：作者称没有任何单一MMFM在各安全与可信性视角上一致优于其他模型，并称该分析可为后续提升MMFM可信性的工作提供启示。
• 附录C.3：作者建议用覆盖风险分类的高质量RLHF做训练期对齐，部署期使用输入输出护栏，并称针对越狱的certified defenses可以进一步降低风险。
• 附录C.3：作者把人类偏好标注加DPO用于约束T2I公平称为有前景的后续方向，并呼吁研究如何同时避免过度公平牺牲历史和事实准确性。
• 附录C.3：作者建议训练使用差分隐私算法或差分隐私合成多模态数据；推理期对用户图像和文本做擦除或匿名，并做隐私相关指令微调以拒绝敏感属性查询。
• 附录C.3：作者建议用GCG和MMP攻击一批开源模型、把挑战数据混入训练，以做可信性微调；OOD方面建议提高数据质量与多样性，并在训练中加入“I don't know”选项。
• 附录K、L：论文写明局限与影响在这两节讨论。本次可读正文在进入附录K的具体句子之前结束，因此不转写其中的条目。

实验覆盖范围

• 主结果表覆盖8个T2I和10个I2T；隐私Table 27另有SD-v1-5、SD-2、kandinsky-3、OpenDalleV1.1。六个视角都有独立红队数据和指标。
• 安全输入为1080与1170条，评判为GPT-4o的Yes/No。幻觉为六场景、每场景500条；T2I四项任务，I2T五项任务。公平提示为1,776与12,232条，敏感属性为性别、种族、年龄。
• 隐私包括994条LAION-1k、435张自拍或证件照（29人）和1,816张2023年之后的街景。对抗样本由代理模型上的white-box targeted攻击生成后迁移，规模为2,848与1,948。OOD为800条提示和960对问答，变换包括两种文本风格、三种图像损坏和三种图像风格。
• 安全评判与人工的一致性，论文未报告。OCR与误导题的自动判定分别在100张图、100条答案上与人工核对。除隐私的M=3或M=1外，论文未报告重复次数，也未报告统计显著性检验。
• 附录C讨论了GCG、MMP的迁移，以及RLHF、护栏、DPO、差分隐私等缓解建议；这些缓解方法本身不是MMDT的被测系统。

MMDT是一个面向T2I与I2T的多视角可信性评测平台，作者称它统一覆盖安全、幻觉、公平、隐私、对抗鲁棒和OOD，而现有基准多评有用性或只看少数视角。

• 问题：作者要看模型能否拒绝有害输入、会否在隐蔽或对抗输入下给出不安全内容，以及幻觉、偏见、记忆、位置推断和分布偏移下的失败集中在哪些任务。
• 做法：每个视角单独定义风险或任务，用红队生成加人工核验构造挑战集。安全同时报告过滤器绕过率BR和GPT-4o判定的有害生成率HGR。幻觉、公平、隐私、对抗和OOD分别用准确率、G/I/O、CLIP相似度或迁移后的鲁棒准确率。
• 安全：Table 1中T2I平均HGR最低为Nova Canvas 0.117，最高为Flux 0.306；I2T最低为GPT-4V 0.014，最高为LLaVa (Vicuna) 0.621。作者称BR更低不一定意味着输出更安全。
• 幻觉与公平：Table 2中平均准确率最高为Flux 39.7和Nova Pro 46.9，作者称均低于50%。Table 3中T2I的群体不公平分数高于I2T；Llama-3.2的群体不公平分数低，同时过度公平分数为0.995，并伴随高拒答率。
• 隐私、对抗与OOD：Table 5中GPT-4o对街景的国家准确率为98.16%、ZIP Code为27.13%。Table 6中Nova Canvas的平均鲁棒准确率为62.42%，GPT-4o为90.04%，空间推理仍是最低的任务之一。第7节称多数模型的OOD performance drop超过15%。

作者的结论是：现有先进MMFM在全部六个视角上都有不足，没有单一模型一致更优，因此在安全关键领域部署需要关注这些失败模式。附录C按视角给出对齐、护栏、偏好优化和差分隐私等后续缓解建议。