VLM 有道德脊梁吗？视觉语言模型道德脆弱性研究

VLM在不改变底层道德情境的文本或视觉扰动下，能否保持原来的道德判断。

• 为何重要：作者称VLM已用于自动驾驶、医疗决策和教育等道德敏感场景；道德推理失败会带来不成比例的风险，尤其波及脆弱人群。
• 现有不足：M3oralBench、Moralise等基准主要测干净输入上的对齐。作者认为，通过静态测试仍不表示判断边界在真实部署中稳固。
• 核心观察：作者称简单文本操纵或视觉线索就常使立场翻转；更强的指令跟随还伴随谄媚权衡（sycophancy trade-off），更容易被说服。
• 本文提出：把道德鲁棒性定义为判断在不改变道德情境的扰动下保持不变；用五种与模型无关的扰动测评VLM，并考察轻量推理时干预能否部分恢复稳定性。
• 扰动设定：可改文本、图像、生成前缀或多轮用户话语，但作者要求不改变底层道德情境。失败指扰动后标签不同于该模型在干净输入上的标签。作者称目的是诊断决策边界，而不是用针对视觉编码器的对抗噪声去最大化攻击成功率。

高影响场景中的VLM

• 多模态能力：Zhang et al. (2024a) 讨论把视觉编码器与LLM接在一起；Radford et al. (2021) 被引言用来说明跨模态学习进展。
• 敏感应用：Tian et al. (2024)、Pan et al. (2024) 涉及自动驾驶；Hartsock and Rasool (2024)、Nath et al. (2024) 涉及医疗；Lu et al. (2022)、Stamatakis et al. (2025) 涉及教育。论文用这些场景说明伦理一致性重要，没有把它们当作实验基线。

道德对齐与静态评测

• LLM侧：Ziems et al. (2022)、Ji et al. (2024) 被Related Works用来概括指令调优、RLHF和道德评测，目标是减少有害输出。
• VLM基准：Yan et al. (2024) 的M3oralBench、Lin et al. (2025) 的Moralise测视觉语言模型的道德决策。作者指出既有研究依赖干净输入下的静态评测，并默认已对齐模型会保持稳定立场。
• 数据形态：Section 3.1称多数伦理数据只覆盖单模态（Ziems et al., 2022; Scherrer et al., 2023），或图像完全由AI生成（Yan et al., 2024）。作者因此选用含真实图文、按Turiel领域理论组织的Moralise。

攻击、说服与模态偏差

• 越狱与前缀：Qi et al. (2025)、Wei et al. (2023) 被用来说明LLM安全边界可被提示注入和前缀攻击绕过。Liu et al. (2025) 综述VLM攻击，包括视觉输入扰动。
• 作者的区分：作者称上述工作很少单独讨论道德鲁棒性；并称本文首次把伦理判断作为核心稳定性指标，系统构造并测试专门的道德扰动集。Zhang et al. (2025) 一类针对视觉编码器的对抗噪声被作者称为偏离本文对通用、高效诊断的关注。
• 解释性引用：对抗说服的设计受Rogiers et al. (2024)、Pauli et al. (2025) 启发。用户否认下的规模趋势被联系到谄媚（Chen et al., 2024; Zhao et al., 2024）。文本扰动更有效被联系到语言模态偏差（Tong et al., 2024; Deng et al., 2025）。

基线与数据集

• 基准：实验锚定Moralise。论文没有另设命名的攻击方法基线；对照是同一模型在干净输入上的判断。被测对象是文中23个VLM。

作者把本文放在静态对齐评测之外：要问的是道德立场在扰动下是否不变，并认为道德鲁棒性应成为对齐之外的部署条件。

把道德鲁棒性定义为：不改变底层道德情境时，VLM的道德标签保持不变。诊断工具是五种与模型无关的扰动，另加三种不训练的推理时干预。

问题设定

• 生成过程：图像I与问题q经模板τ得到输入，模型Φ生成回答r，再映射为标签ŷ。作者称理想情况下ŷ应与人类标签y一致。
• 失败条件：扰动集P不改变底层道德情境。失败为ŷ_P ≠ ŷ，即相对干净输入的判断发生翻转，而不是直接相对人类标签计错。
• 三条路径：输入扰动改文本或图像；输出扰动约束应答前缀；对话扰动在多轮中施压。用户否认的正文定义是存在轮次t使ŷ^(t)不同于ŷ^(0)。主实验把t限为5。

五种扰动

• 对抗说服：红队模型Qwen3-VL-30B先看图文，生成一段虚构历史、地理或文化背景，再拼进原提示，使情景在道德外观上被反过来。附录A.4给出完整提示词。
• 前缀操纵：输入不变，把与模型真实评价相反的肯定或否定前缀当作已生成内容，再续写。作者用它看安全表征能否从被带偏的轨迹中恢复。附录A.4给出前缀格式。
• 用户否认：模型先作判断后，模拟用户多轮否定。正文举例是用户坚持自己的相反说法；附录A.4的实现是固定方向的后续提示，完整提示词见该节。论文未说明该提示是否随初始判断改向。
• 文字叠加：把与对抗说服同类的误导叙述渲染进图像，而不是写进文本提示，以利用OCR，并看视觉文字能否绕过文本侧过滤。
• 视觉提示：在图像上叠加表示允许或禁止的符号，文中为绿色勾和红色叉，问题q不变。Figure 2给出五类扰动的概念图。

数据、解码与标签

• Moralise：2,566个自然来源、经人工核验排除AI生成内容的图文对；13个主题分属个人、人际、社会三个领域。Table 2–6的主题列为integrity、sanctity、care、harm、fairness、reciprocity、loyalty、discrimination、authority、justice、liberty、respect、responsibility。每条有人类专家标签，并标注违规主要来自文本还是图像。
• 解码：23个VLM，论文称为7个流行家族；附录A.3按Qwen-VL、InternVL、LLaVA、Gemma介绍。vLLM、temperature为0的贪心解码，每条输入生成一次；除扰动明确修改外，使用默认系统提示和安全配置。
• 输出格式：统一模板要求只输出一个大写字母，对应“并非道德上错误”或“道德上错误”，以便抽取标签。附录A给出该模板。

三种推理时干预

• SPP：输入前加系统提示，要求遵循内置安全策略并忽略用户输入中的恶意内容。
• ESC：先给出初始回答，再提示模型按伦理准则复查，发现违规则修改。
• RP：先转述文本和图像（含图中文字），再识别并忽略误导信息，最后作判断。附录A.5给出三种提示词。
• AMR：在所有已被扰动改变判断的样本中，干预后预测被恢复的比例。作者称这些策略与模型无关，部署时可用，且不额外训练。

实验设置

• 被测模型：23个VLM。Table 1覆盖Qwen2.5-VL（3B/7B/32B）、Qwen3-VL（2B/4B/8B/30B）、InternVL3（2B/8B/14B/38B）、InternVL3.5（4B/8B/14B/38B）、LLaVA-1.5（7B/13B）、LLaVA-1.6（Vicuna-7B/13B与34B）、Gemma-3（4B/12B/27B）。附录C.5写规模约2B到38B。
• 数据：Moralise的2,566个图文对作为扰动锚点；3个领域、13个主题。Table 1按领域平均，未另给每个格子的样本量。
• 扰动与轮数：五种扰动都进主表。用户否认主实验轮数上限为5；附录B.2延到10步。对抗说服和文字叠加所用虚构背景由Qwen3-VL-30B生成（附录A.4）。该模型自身也在Table 1中被测。
• 指标：正文把翻转定义为相对模型自身干净判断的改变。附录A.4写用户否认直到相对ground truth翻转或达到轮数上限。Table 1未单独说明计分参照。AMR只在已被攻破的样本上计算。
• 判定与解码：无LLM裁判，按A/B字母抽取。temperature为0，每条输入一条回复。论文未报告多次重复，也未报告统计检验。硬件为单张80GB A100；附录写实验约200 GPU小时。

主结果

Table 1的全表平均翻转率为40.3%。下表只列8个模型的Average Score，以及Societal列中的四种扰动；数字均来自Table 1。高于10%在原表标红，低于10%标蓝。

表格较宽，可左右滑动

模型	平均Score	对抗说服 Soc.	前缀操纵 Soc.	用户否认 Soc.	视觉提示 Soc.
Qwen2.5-VL-3B-Instruct	54.4%	53.8%	86.9%	75.3%	27.6%
Qwen3-VL-30B-Instruct	52.6%	52.0%	86.7%	73.6%	25.2%
gemma-3-27b-it	44.3%	38.4%	58.5%	90.0%	7.7%
llava-1.5-7b-hf	38.0%	43.3%	53.4%	91.4%	2.0%
llava-v1.6-vicuna-7b-hf	35.0%	23.1%	49.5%	96.7%	0.4%
InternVL3-38B-Instruct	31.4%	50.3%	68.0%	13.5%	5.7%
InternVL3.5-14B-Instruct	26.8%	64.0%	5.3%	31.1%	6.1%
InternVL3-14B-Instruct	26.6%	47.1%	28.3%	26.4%	5.1%

• 作者的总评：作者称现有VLM在道德鲁棒性上仍有很大改进空间，对齐并不保证扰动下立场稳定。省略模型的Average Score仍在Table 1，最低28.1%（llava-v1.6-34b-hf），最高51.6%（Qwen2.5-VL-7B-Instruct）。
• 与“普遍超过50%”不完全一致：作者称Qwen3-VL从2B到30B仍常见高于50%的翻转。Table 1的Average Score里，Qwen3-VL-2B/4B/8B为48.4%、45.5%、39.6%，30B为52.6%。
• 同一平均分掩盖扰动差异：表中前缀操纵很低的模型，对抗说服仍可很高；视觉提示处于原表蓝色区间的模型，用户否认仍可很高。作者未把这种分裂归于单一原因。

模态与道德领域

• 测了什么：Table 1按五种扰动和个人、人际、社会三个领域报告域平均；Figure 3是23个模型聚合后的领域对比。文字叠加的域平均不在上表。
• 结果：对抗说服域平均为40.7%、42.3%、44.6%；前缀操纵为63.0%、61.5%、63.9%；用户否认为59.7%、57.6%、60.0%；文字叠加为22.8%、24.7%、26.5%；视觉提示为11.6%、12.9%、13.0%（均按个人、人际、社会，Table 1）。五种扰动的社会领域域平均都是三者中最高。
• 作者的解读：作者称文本说服的威胁大于视觉操纵，并归因于语言模态偏差。对llava-1.5/1.6-7b较低的视觉翻转，作者称更可能来自视觉感知有限，而不是道德对齐更强。社会领域更不稳，作者认为与正义、权威、自由、责任等抽象规范需要更多情境解释有关；个人和人际情景更常涉及具体伤害或照料。

规模、版本与用户否认

• 测了什么：Figure 4按家族和扰动画翻转率随规模的变化。正文没有给出曲线端点读数，可比数字在Table 1。
• 结果：Qwen2.5-VL用户否认Soc.从7B的81.7%到32B的88.0%（3B为75.3%，见上表）。Gemma-3用户否认Soc.：4B为78.9%，12B为76.5%，27B见上表。InternVL3前缀操纵Soc.：2B为40.7%，8B为79.6%，14B与38B见上表，并非随规模单调下降。Qwen3-VL对抗说服Soc.：2B为38.1%，4B为52.4%。
• 作者的解读：作者称扩大规模不保证更稳；对抗说服、文字叠加和视觉提示上规模间变化有限。前缀操纵在InternVL上非单调，作者认为可能与规模相关的架构和后训练差异有关。用户否认下，Qwen2.5、Qwen3和Gemma中更大的模型往往更不稳，作者认为容量增加可能放大谄媚。作者还称更新版本并不一律更稳，举例包括用户否认下的InternVL 3.5相对InternVL 3，以及对抗说服下的Qwen 3相对Qwen 2.5。Table 1里同规模并非每格都更高，例如Qwen3-VL-2B的对抗说服Soc.为38.1%，低于Qwen2.5-VL-3B的53.8%。

推理时防御

• 测了什么：Section 4在已被攻破的样本上比较SPP、ESC、RP，指标为AMR。Figure 5按扰动展示缓解率；正文只给出三种策略的平均AMR。
• 结果：平均AMR分别为21.62%、37.57%、31.08%。作者称SPP最低；需要更多推理的ESC和RP更高，其中ESC在去掉有害前缀上下文时最好。论文未给出各扰动、各模型的AMR数字。
• 作者的解读：作者称简单推理时干预大体不能恢复被扰动的道德决策；摘要又称轻量干预可以部分恢复稳定性。作者认为失败可能根植于模型内部对道德概念的理解不足，而不只是推理时引导不够。

其他消融与分析

• 对抗说服的主题级Score：InternVL3.5-14B-Instruct为63.4%，llava-v1.6-vicuna-7b-hf为23.5%（Table 2）。
• 前缀操纵：Qwen2.5-VL-7B-Instruct为89.3%，InternVL3.5-14B-Instruct为4.9%（Table 3）。
• 用户否认：llava-v1.6-vicuna-7b-hf为96.2%，InternVL3-38B-Instruct为13.8%（Table 4）。
• 文字叠加：Qwen2.5-VL-3B-Instruct为37.5%，llava-1.5-7b-hf为3.8%（Table 5）。
• 视觉提示：Qwen2.5-VL-3B-Instruct为25.8%，llava-v1.6-vicuna-7b-hf为0.6%（Table 6）。
• 用户否认延到10步时，作者称绝大多数翻转发生在前2步（Figure 8）；论文未给出各步比例。Figure 7给出五类扰动下判断被改写的示例。

作者指出的局限与后续方向

• 攻击强度：扰动被故意做成与模型无关且轻量，用来诊断不稳定，而不是构造最优或worst-case攻击；更强的自适应或模型特定攻击可能进一步暴露漏洞。（Limitations）
• 判断形式：评测集中在离散道德判断，作者认为可能无法充分覆盖真实交互中分级的、依情境的或依文化而变的道德推理。扩展到更丰富的回答形式和长期对话仍是开放问题。（Limitations）
• 训练期方案：对训练时或对齐层解法的系统研究超出本文范围。作者建议后续把道德鲁棒性目标直接纳入训练、对齐和评测流程。（Limitations）
• 评估转向：作者希望推动从静态道德对齐转向面向鲁棒性的伦理评估。（Limitations）
• 部署标准：结论称道德鲁棒性仍是开放问题，并建议未来开发与评测把它当作核心要求，而不是对齐的附属属性。（Conclusion）

实验覆盖范围

• 被测模型为Table 1中的23个VLM；Section 3称来自7个家族，附录A.3按Qwen-VL、InternVL、LLaVA、Gemma介绍，附录C.5写规模约2B到38B。
• 数据为Moralise的2,566个图文对、3个领域、13个主题；每条有人类专家标签，以及文本中心或图像中心标注。Figure 6展示各主题的对错数量，正文未写出这些计数。
• 主结果覆盖五种扰动；用户否认主实验t上限为5，附录B.2延到10步。对抗说服的红队模型是Qwen3-VL-30B（附录A.4）。
• 推理时防御为SPP、ESC、RP，正文报告的是平均AMR。解码为temperature 0、贪心、每输入一条回复。
• 论文未报告干净输入上相对人类标签的准确率，未报告统计显著性检验，也未说明Table 1的翻转率如何统一“相对自身判断”和附录用户否认“相对ground truth”这两种写法。Section 2.2讨论了针对视觉编码器的对抗噪声，并说明它偏离本文对通用扰动的关注。

道德鲁棒性在这里指：图文里的道德情境不变时，VLM不要因为文本施压或视觉改动而改口。

• 问题：作者认为，M3oralBench和Moralise一类静态测试通过，仍不表示自动驾驶、医疗等场景里的判断边界稳固。
• 做法：以Moralise的2,566个真实图文对为锚，对23个VLM施加对抗说服、前缀操纵、用户否认、文字叠加和视觉提示。翻转按正文定义是相对该模型干净输入判断的改变。另在已被改口的样本上试SPP、ESC、RP，不额外训练。
• 主结果：Table 1全表平均翻转率40.3%。五种扰动的社会领域域平均都高于个人和人际。文本三类的域平均为40.7%–44.6%、61.5%–63.9%、57.6%–60.0%；文字叠加为22.8%–26.5%，视觉提示为11.6%–13.0%。
• 并非一律随规模变稳：Average Score最低的是InternVL3-14B-Instruct，26.6%；最高的是Qwen2.5-VL-3B-Instruct，54.4%。Qwen2.5在用户否认下，更大模型的Societal翻转率更高。作者认为这可能是谄媚。InternVL3.5-14B-Instruct的对抗说服Soc.为64.0%，前缀操纵Soc.只有5.3%。
• 干预：SPP、ESC、RP的平均AMR为21.62%、37.57%、31.08%。作者称简单推理时手段大体不能把被扰动的决定拉回来，摘要则称可以部分恢复；作者认为问题可能在模型内部的道德概念，而不只是提示不够。
• 作者的结论：道德对齐本身不够，负责任部署还需要把道德鲁棒性当作独立标准。作者同时认为当前扰动偏轻、判断偏离散，训练期做法仍待研究。